NIA roadmap 2022-2023

Gestart door hiskodevries, november 04, 2022, 12:44:22 PM

Vorige topic - Volgende topic

hiskodevries

Op dit moment wordt gewerkt aan een caraibisch model.
Dit komt los te staan van het huidige eur model.
Welk model gebruikt gaat worden zal bepaald worden door de lokatie van je waarneming.
De planning van de release van het caraibisch model is eind 2022 begin 2023.
Het nu gebruikte eur model zal dan begin 2023 worden vernieuwd.

De kans is aanwezig dat het model 'slechte foto's ' zelf al gaat filteren

In de bijlages de werkgebieden van beide models. als je een waarneming buiten dit werkgebied invoert zul je een waarschuwing krijgen. Dit moet via alle invoermogelijkheden mogelijk zijn (site en apps)

Onder voorbehoud:
NIA zal meerdere soorten op 1 foto gaan herkennen
NIA zal rekening houden met soortenlijsten van landen
NIA zal gevoed gaan worden met foto data uit andere bronnen
NIA zal kennis hebben van de taxonomische boom en op een hoger niveau resultaat teruggeven als op soort niveau niets bepaald kan worden
NIA gaat onnatuurlijke objecten zelf herkennen
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Jan Mudde

Hey Hisko,

Mooi nieuws! Zeker dat laatste gaat denk ik een hoop ergernis op veel plekken in de keten voorkomen!!

Grtz, Jan
Jan Mudde

"Gutta cavat lapidem non vi sed saepe cadendo" (Ovidius)

Favoriete soortgroepen; Korstmossen, Nachtvlinders, Vogels en verder eigenlijk zeer breed natuurgeïnteresseerd. https://waarneming.nl/users/50310/observations/?advanced=on

Platbuik

Citaat van: hiskodevries op november 04, 2022, 12:44:22 PMDe kans is aanwezig dat het model 'slechte foto's ' zelf al gaat filteren
Maar dat weet je bij dit soort systemen dus nooit van te voren, toch?
Mijns inziens is dat mensenwerk.
---88:  A. van Leur (Þlatbuik)

hiskodevries

Je zult verbaasd zijn wat technisch allemaal mogelijk is. Google maar eens op blur detection
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Platbuik

Citaat van: hiskodevries op november 07, 2022, 07:35:15 AMJe zult verbaasd zijn wat technisch allemaal mogelijk is. Google maar eens op blur detection
Dan bedoel je met slechte foto's dus foto-technisch gebrekkig. Ik dacht dat het om de kwaliteit ging, in die zin dat de kenmerken van de afgebeelde soort er ook daadwerkelijk goed op staan.
Sorry voor het misverstand.
---88:  A. van Leur (Þlatbuik)

Michel Langeveld

Een gemiddelde telefoon stelt automatisch scherp door de stand te bewaren met het grootste contrast. Denk dat ook foto's met zeer lage contrast minder geschikt zijn om te gebruiken als trainingsdata.

Bedankt voor het delen van de roadmap :duim: .

SlechtValk

Een goede stap in de goede richting, denk ik!

Al denk ik dat er ook nog veel te verbeteren is aan het Europese model... opsplitsen bijvoorbeeld... soorten in IJsland zullen heel anders zijn dan op de Canarische eilanden... en die zullen weer heel anders zijn dan in Turkije...

Al met al, hoe meer er met regionale verschillen, en misschien zelfs seizoenen rekening gehouden wordt... hoe beter het gaat worden!

Geen idee hoe dat met verschillende modellen zit... maar ik zou me zelfs kunnen voorstellen dat het op gebiedsniveau zou moeten kunnen... m.a.w. dat locatie een veel belangrijker aspect wordt in de determinatie. Dat bij een determinatie aan de kust aan de kust, er andere soorten uit kunnen komen dan bij een determinatie in het binnenland... uiteraard binnen grenzen...

Een Jan-van-gent op het Nederlands Continentaal Plat is immers veel aannemelijker dan op de Veluwe...
Met Vriendelijke Groeten,
SlechtValk (a.k.a. Stefan)


Na de paartijd gaan de vogels trekken.

hiskodevries

okay. de selecties voor een update van het europese model zijn gestart.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

Vandaag 14-12-2022 zijn de nieuwe fotobestanden en taxonomie naar naturalis gestuurd
met een minimum van 2 en een maximum van 80.000 gevalideerde waarnemingen per europese soort.
Waarom 2?
De hoop is dat andere partners uit de UK, Denemarken, Noorwegen en de Zweden aanvullende data hebben
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Citaat van: hiskodevries op december 14, 2022, 15:00:58 PMWaarom 2?
De hoop is dat andere partners uit de UK, Denemarken, Noorwegen en de Zweden aanvullende data hebben
Welke partners gaat het hier over? Het is natuurlijk een logische keuze om de kwantiteit van de foto's uit te breiden, maar hiermee zijn we ook afhankelijk van het validatieproces, de taxonomische keuzes en de mate van bewijs die deze partners hanteren. Alle drie kunnen (zeker in specifieke gevallen) anders zijn dan 'bij ons', waardoor het mengen van de twee ongunstig kan blijken en tot onverwachte resultaten kan leiden. En dat zonder dat we daar zelf direct iets aan kunnen doen voor een volgende versie van NIA, want de keuzes van NIA zijn dan ten dele niet meer te herleiden tot waarnemingen op waarneming.nl, waarnemingen.be of observation.org.
Vriendelijke groeten,
Martijn

hiskodevries

Martijn, vind ik ook spannend. Uiteraard testen we het model op identieke wijze als de voorgaande versies. Dus rare zaken vallen dan op. Met wat extra aandacht voor de soorten die nu vaak fout gaan
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Prima. Ik ben (zoals wel vaker  ;D ) sceptisch. Grondige analyse lijkt mij inderdaad op zijn plaats voor het uitrollen van een NIA die deels getraind is op data die wij niet zelf gevalideerd hebben.
Vriendelijke groeten,
Martijn

hiskodevries

We gaan precies weten welke soorten dat zijn. Aan de andere kant, als het goed uitpakt kan het een enorme verrijking zijn voor het noordelijke deel van Europa
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

#13
zojuist bij een bijeenkomst om bij gebruik van NIA rekening te houden met of een soort wel/niet voorkomt op een locatie.
Zou september klaar moeten zijn
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

#14
Wordt dat een kwestie van de resultaten nafilteren of wordt de locatie straks meegenomen tijdens het trainen van het model (dus ipv foto geven aan model, foto + locatie geven) (location embedding, zie bijv. https://inf.news/en/tech/fe120ee6c96f52c780e3a562e6de7f88.html, maar zeker ook https://arxiv.org/pdf/2203.03253v1.pdf)?
Vriendelijke groeten,
Martijn

hiskodevries

Nee dat gaat gebruikt worden bij de herkenning zelf. Bv in obsidentify, obsmapp, iobs, site, api
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Blijven de twee genoemde mogelijkheden over:

1. Model trainen gebeurt alleen op basis van foto's. NIA wordt na trainen aangeroepen met alleen een foto. NIA geeft een voorspelling. De resultaten van die voorspelling worden vervolgens gefilterd op basis van locatie voordat de gebruiker de resultaten te zien krijgt.

2. Model trainen gebeurt op basis van een combinatie van foto en locatie (en evt datum). NIA wordt na trainen aangeroepen door het aanleveren van een foto en locatie (en evt datum). NIA gebruikt de combinatie van deze informatie om tot een voorspelling te komen, waarbij de locatie dus ín het model en voor het voorspellen wordt meegenomen. Er hoeft in dit scenario in principe geen nafilteren plaats te vinden.
Vriendelijke groeten,
Martijn

hiskodevries

ad 1 wordt het. Anders hebben we daar geen invloed op
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

#18
Oké!  :duim:

Bij 2 is er vanzelf invloed op door de locaties van de gevalideerde waarnemingen, die worden dan in feite gebruikt als een extra stukje data. Is ook veel gedetailleerder, bijvoorbeeld planten die alleen langs de kust voorkomen, waarbij een vergelijkbare soort alleen in het binnenland te vinden is. Dat red je niet met nafilteren, dan moeten veel te kleine gebieden worden ingesteld. En bij 2 zou ook fenologie automatisch meegenomen kunnen worden, analoog aan hoe de locatie mee wordt genomen. Ik kan de tweede link die ik eerder stuurde van harte aanraden, daar wordt het beter toegelicht dan ik hier in een kort bericht kan: https://arxiv.org/pdf/2203.03253v1.pdf.

Een combinatie van de twee opties is ook nog mogelijk overigens.
Vriendelijke groeten,
Martijn

hiskodevries

je wilt iets te veel, voorlopig gaat het op landsniveau
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Ja dat dacht ik al :angel:. Een mens mag dromen.
Vriendelijke groeten,
Martijn

armin.dahl

Een domme vraag: wat is het schema voor de nieuwe versie van de NIA? Ik zie een groot aantal mottensoorten uit Zuid-Europa die met het nieuwe model goed te herkennen zijn...


/google translator ;D
Armin: https://observation.org/users/116008/
A fool is a man who never tried an experiment in his life. - Erasmus Darwin

hiskodevries

Armin, i hope we will start end august or september
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

#23
de nieuwe versie zal 5-9-2023 live gezet worden
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Citaat van: hiskodevries op juni 21, 2023, 14:12:52 PMzojuist bij een bijeenkomst om bij gebruik van NIA rekening te houden met of een soort wel/niet voorkomt op een locatie.
Zou september klaar moeten zijn
Gezien het nu eind september is: is hier al meer over bekend qua tijdspad?
Vriendelijke groeten,
Martijn

hiskodevries

ja, dat feest gaat voorlopig niet door. Het standpunt is dat NIA die informatie moet gaan leveren. NIA draait bij naturalis, dus naturalis gaat nu puzzelen.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Vriendelijke groeten,
Martijn

hiskodevries

ja sorry, ik wist het ook pas sinds eergisteren
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

The first steps are taken to give a taxonomical hierarchy in the NIA results.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0