Test the new NIA european model

Gestart door hiskodevries, juni 21, 2023, 09:21:35 AM

Vorige topic - Volgende topic

hiskodevries

On 19/6  I got the message from naturalis that the model generation has been completed, including morph recognition.

Read the contents on https://old.observation.org/nia_eur_global_results.php carefully before you read the test results.
These tests are mainly intended to get a general impression. Don't go too deep into individual species.
From this view you can download a csv with the results from all species which are tested per speciesgroup
The mismatch link can be used to identify species which are misidentified to often
For validators: in this view you see a list with species for which server foto validation is on but the results are lower.
---------------
Morph recognition is no part of the general tests, you can evaluate this when opening an insect observation with photo on the old site and choose 'check european nia model' for example https://old.observation.org/waarneming/view/277094537 -> https://old.observation.org/check_nia_eur_one_obs.php?w=277094537
-----------------
We first train a shared (sub) model with data from all partners and from all taxa of the different partners. Taxa names of different partners have been translated to each other so that any differences in naming are not a problem.

Subsequently, based on the shared model, a derived model is trained that only uses taxa and data from Observation.org. That way the model only predicts taxa that Observation.org knows and the model is still focused on Observations.org's own database with its own specifc choices about how to name species. The advantage of this is that data is shared between partners, that computing power is used better, but that Observation.org still has its own model
----------------------------------------------------------------------------------------------
Lees de inhoud op https://old.waarneming.nl/nia_eur_global_results.php goed door voordat u de testresultaten leest.
Deze tests zijn vooral bedoeld om een algemene indruk te krijgen. Ga niet te diep in op individuele soorten.
Het csv bestand bevat de resultaten voor elke soort afzonderlijk, op te roepen apart voor Waarneming.nl en Observation.org
De mismatches link is bedoeld om soorten te vinden die veel te vaak onterecht geïdentificeerd worden.
Het 'voor validatoren' deel bevat een overzicht van soort waarvoor de automatische foto validatie aan staat maar minder goed herkend worden. De link leidt je naar het foto overzicht van die soort . Als je validator bent vind je daar een optie om 1 scherm vol in 1 keer testen, waarbij de resultaten van zowel de nieuwe als de oude nia versie vergeleken worden.

--------------
Morf herkenning is geen onderdeel van de algemene testen, dit kan je beoordelen bij het openen van een insectenwaarneming met foto op de oude site en kies bijvoorbeeld voor 'check european nia model' https://old.observation.org/waarneming/view/277094537 -> https://old.observation.org/check_nia_eur_one_obs.php?w=277094537
---------------
Uitleg over de samenstelling van het model:
We trainen eerst een gedeeld (sub)model met data van alle partners en van alle taxa van de verschillende partners. Taxa namen van verschillende partners zijn naar elkaar vertaald zodat eventuele verschillen in naamgeving geen probleem zijn.

Vervolgens wordt er op basis van het gedeelde model een afgeleid model getraind die alleen taxa en data van Observation.org gebruikt. Op die manier voorspelt het model alleen maar taxa die Observation.org kent en is het model nog steeds gericht op Observations.org eigen database met zijn eigen specifeke keuzes omtrent hoe soorten op naam gebracht moeten worden. Het voordeel hiervan is dat data gedeeld wordt tussen partners, dat rekenkracht beter wordt benut, maar dat Observation.org nog steeds een eigen model heeft

-------------------------------
Naturalis test results
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

#1
Een voorzichtige eerste paar opmerkingen alvast (bredere cijferanalyses komen later als alles klaar is met evalueren): ik merk dat de nieuwe versie van NIA wat beter lijkt te presteren op ongeziene data. Dat is belangrijk als positieve hoofdboodschap van dit bericht. Maar nogmaals, dit moet later beter cijfermatig onderbouwd worden.

Hiernaast lijkt nieuwe NIA ook een stuk beter te presteren op tijdens trainen geziene data dan voorgaande versies van NIA. Naast betere soortherkenning lijkt het dus alsof nieuwe NIA ook beter de foto's is gaan herkennen die tijdens trainen zijn gebruikt, ipv voornamelijk de taxa op de foto's te herkennen. Dit kan duiden op overfitting, en suggereert een lagere mate van generalisatie van het model.

Zie bijvoorbeeld https://old.waarneming.nl/waarneming/view/260213637. Deze foto wordt met nieuwe NIA met 100% zekerheid herkend als Siberische Sprinkhaanzanger - Helopsaltes certhiola. Nu ben ik zelf niet zo van de vogelherkenning, maar het lijkt mij sterk dat dit vanaf deze foto te zien is (of deze waarneming dan wel een groene vink moet hebben is weer een ander verhaal). Dergelijke hoge mate van valse zekerheid van NIA bij onduidelijke maar goedgekeurde foto's zag ik niet eerder bij de huidige- of eerdere versies van NIA.

Dit heeft m.i. tenminste drie directe gevolgen:
1. Na implementatie van deze versie van NIA heeft het een stuk minder 'nut' dan bij vorige versies van NIA om eens te kijken wat de nieuwe versie van NIA van een oude (al goedgekeurde) waarneming maakt, omdat de kans dat NIA het eens is met de huidige determinatie (mogelijk ten onrechte) een stuk hoger is dan bij een meer gegeneraliseerd model.

2. Bij de huidige testmethode heeft nieuwe NIA al een licht voordeel omdat het (zeker bij de minder ingevoerde/gevalideerde taxa) een grotere kans heeft dat het de geëvalueerde foto's al zag tijdens het trainen van het model dan oude NIA. Dit voordeeleffect wordt behoorlijk versterkt wanneer het model bovendien beter de trainingsfoto 'herkent' tov een meer generalistische oude versie van NIA. Zelfs foto's die ook tijdens trainen van de oude NIA al door NIA werden gezien, worden hierdoor waarschijnlijk beter herkend door nieuwe NIA, terwijl dat niets hoeft te zeggen over de capaciteiten van oude NIA vs nieuwe NIA op ongeziene data.

3. Een ongeziene foto krijgt waarschijnlijk een hogere kans om door NIA een bepaalde determinatie te krijgen door hoge mate van overeenkomstigheid met slechts één of een paar foto's ipv hoofdzakelijk een determinatie te krijgen door hoge mate van overeenkomstigheid met het beeld dat NIA heeft van een volledig taxon. Dit kan er bijvoorbeeld voor zorgen dat een laag aantal foutief gevalideerde waarnemingen er eerder toe kan leiden dat een foto foutief benoemd wordt, maar ook voor wat we eerder zagen bij (volgens mij) de Grutto, waarbij een bepaalde context van de foto altijd leidt tot een bepaalde voorspelling, terwijl dat niet op basis van de op de foto staande soort is.

Ik neem aan dat het NIA team zelf ook testen draait of heeft gedraaid, maar wél met alleen data die niet gezien werd door zowel oude als nieuwe NIA tijdens het trainen. Zijn daar uitkomsten van beschikbaar?
Vriendelijke groeten,
Martijn

Martijn van Sluijs

Of hier bijvoorbeeld: https://old.observation.org/waarneming/view/78013178

Als NIA deze niet had gezien tijdens trainen, wat is de kans dat NIA (zoals nu) met 100% zeker is van Desertastormvogel - Pterodroma deserta?
Vriendelijke groeten,
Martijn

hiskodevries

CiteerIk neem aan dat het NIA team zelf ook testen draait of heeft gedraaid
klopt, die draaien.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Wat zijn de grenspercentages op dit moment in de verschillende apps en op de site waaronder getoond wordt 'NIA is te onzeker om een voorspelling te kunnen geven' (of vergelijkbare tekst, maar gebruiker krijgt iig geen NIA output)? Is dit grenspercentage op alle plekken hetzelfde?

Dit is van belang wanneer bijv. gekeken wordt naar https://old.observation.org/nia_test_mismatches.php?s=186845&g=0. Als dit grenspercentage 15% is, dan krijgen we hierdoor geen problemen (alles valt op dit moment <15%). Als het 10% is een paar, maar als het 5% of lager is wordt het al snel problematischer (zie kolom 3).
Vriendelijke groeten,
Martijn

hiskodevries

je bedoelt wanneer een waarneming als zeker wordt bestempeld ? was dat niet 90%
of bedoel je dat invoer niet mogelijk is ? die grenswaardes zitten alleen in iobs en obsmapp
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Nee, wanneer het percentage zo laag is dat de UI zegt: ik ga je helemaal niks geven want dit is me te onzeker.
Vriendelijke groeten,
Martijn

Martijn van Sluijs

#7
Ok, ik dacht dat dit iig bestond in ObsIdentify (met de grens op 5% of 10% ofzo), maar ik test net even en ik krijg gewoon voorspellingen terug waarbij NIA 3% zeker is. Mijn testfoto heeft geen locatiegegevens, maar ik neem aan dat als dat wel zo was, ik de 'waarneming' gewoon had kunnen uploaden... Ik vraag mij sterk af hoeveel foto's waarbij NIA <5% zeker is uiteindelijk een goedkeuring krijgen (of beter gezegd, hoeveel daarvan afgekeurd moeten worden), maar dat is een discussie voor elders.

Dit betekent ook gelijk dat https://old.observation.org/nia_test_mismatches.php?s=186845&g=0 mogelijk een stuk problematischer is dan ik eerst dacht. Ik dacht: die foutieve herkenningen zijn niet erg zolang er heel lage percentages in kolom 3 staan.

Kunnen we misschien iets doen in de richting van:
Alles wat via het hoofdmodel als plant herkend wordt, maar door het plantenmodel een herkenningszekerheid van <10% krijgt óf geen voorstel óf plant onbekend voorstellen? (bij die laatste optie kan iig nog alles ingevoerd worden, daar is ook wel wat voor te zeggen, want anders kunnen waarnemingen van bijzondere soorten die NIA ivm te weinig referentiedata slecht herkent helemaal niet meer ingevoerd worden)

Dan komt de bulk van mijn link hierboven ook bij Plant onbekend ipv Rietorchis, wat voor deze waarnemingen een prima oplossing lijkt. Zelfde geldt overigens voor de andere plantentaxa die nu bij https://old.observation.org/nia_test_mismatches.php staan
Vriendelijke groeten,
Martijn

hiskodevries

Martijn, we zijn hier een model aan het testen en geen wensen voor de software aan het maken. ik ga het in dit topic bij het onderwerp houden.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

In dat geval merk ik op dat Rietorchis zich aan het ontpoppen is als dumptaxon.
Vriendelijke groeten,
Martijn

Michel Langeveld

#10
Hisko,
1) Bedankt voor het delen de lopende testresultaten. Transparrant en heel waardevol. De eerste resultaten zijn gunstig, maar er moet nog heel veel getest worden zo te zien.
2) De ondergrens van '10 photographic observations' is wel wat laag om een soort op te nemen in het model. Is deze grens getest als juiste grens?
3) Ik ben benieuwd hoe korstmossen en paddenstoelen scoren. Wat gebeurt er als een soortgroep fundamenteel lager scoort dan het oude model?
4) Sommige soorten zijn gevalideerd op A terwijl het nieuwe model 100% B zegt. Is er nog een plan om daar wat mee te doen? Validatoren maken ook wel eens een foutje.
5) De invoering van het nieuwe model zal werk opleveren bij validatoren. Omdat voor sommige soorten autovalidatie uitgezet moet worden en voor andere weer aan. Mogelijk dat de lopende testrestultaten hier al indicatie voor geven waar gesleuteld moet worden. Is er nog een plan om bv. als het nieuwe model een half jaar draait om alles wat niet gevalideerd is en waar autovalidatie voor aan gezet is opnieuw door NIA te halen?
Mvg,
M.

hiskodevries

ad 2, daar werkt naturalis sinds de start mee, we hebben nog nooit geconstateerd dat dit niet werkt
ad 3, geduld
ad 4, nee bestaande waarnemingen worden niet opnieuw langs de automatische foto validatie gehaald
ad 5, dat hoeft niet perse, maar het is altijd goed om geregeld even de resultaten te checken.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

Citaat van: Martijn van Sluijs op juni 21, 2023, 12:44:15 PMIn dat geval merk ik op dat Rietorchis zich aan het ontpoppen is als dumptaxon.
absoluut
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Maar ik zie het dus niet direct als een heel groot probleem. Het zijn bijna allemaal taxa waarvan op dit moment nog niet verwacht mag worden dat NIA ze tot op soortniveau kan herkennen. En gezien deze versie ook nog geen weet heeft van taxonomie, moet het model ze toch ergens bij een soort kwijt. Dan is het best gunstig dat ze bij één taxon (of een paar taxa, want hetzelfde is zichtbaar bij oa Braam spec., Teunisbloem spec., en Wilg spec.) belanden, zéker in combinatie met zo'n laag percentage.

Voor de toekomst is de hoop natuurlijk dat het model een voor het model onbekende soort iig bij het juiste geslacht neerzet ipv bij een ogenschijnlijk willekeurige soort met een laag percentage, maar dat kan nu nog niet.

Als NIA ontwikkelteam in kan bouwen (if soortgroep == planten and hoogste_herkenningspercentage < 10%: suggest Plant onbekend) dan is het volgens mij prima opgelost op basis van wat ik nu zie.
Vriendelijke groeten,
Martijn

hiskodevries

and hoogste_herkenningspercentage < 10%, die waarnemingen wil je helemaal niet hebben, sssttt
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Ik weet dat mijn voorstel waarschijnlijk een realistischere kans van slagen heeft.
Vriendelijke groeten,
Martijn

Martijn van Sluijs

Citaat van: hiskodevries op juni 22, 2023, 12:48:36 PMdie waarnemingen wil je helemaal niet hebben
Hoeft trouwens niet eens per se zo te zijn. Het is zowel het allerslechtste wat je kunt krijgen (heel laag herkenningspercentage door slechte/wazige foto's etc.), maar ook het beste wat je kunt krijgen: prachtige foto's van (zeldzame) soorten die een laag herkenningspercentage krijgen omdat er te weinig gevalideerd referentiemateriaal van de soort aanwezig was voor het model.

Bundelen in Plant onbekend is vanuit dat oogpunt misschien wel beter dan niet toelaten. Dat is dan een plek waar we de pareltjes eruit kunnen vissen, en de troep staat er niet echt in de weg.
Vriendelijke groeten,
Martijn

hiskodevries

Citaat van: Martijn van Sluijs op juni 22, 2023, 12:57:31 PMBundelen in Plant onbekend is vanuit dat oogpunt misschien wel beter dan niet toelaten.
ik denk niet dat dit een generieke oplossing is. maar dit is voor een andere topic
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Punt voor dit topic is iig wel: ja, er komen al een paar taxa bovendrijven die 'dumptaxon' zijn, maar vooralsnog zijn er vrij eenvoudige oplossingen te bedenken en is het niet zo problematisch als de aantallen in eerste instantie doen vermoeden.
Vriendelijke groeten,
Martijn

hiskodevries

@martijn, over het testen zelf, die soorten die in deze orchis lijst staan met een heel laag percentage, hebben we daar wel 10 goedgekeurde waarnemingen van in de observation familie sites?
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Het zijn volgens mij bijna allemaal waarnemingen van plantensoorten met tussen de 2 en ca. 50 goedgekeurde waarnemingen verdeeld over de obs sites. Behalve een aantal andere Dactylorhiza-soorten, maar die worden werkelijk verward met Rietorchis (wat niet heel vreemd is), maar daar zien we dan ook gelijk een hoger percentage.
Vriendelijke groeten,
Martijn

hiskodevries

ik bedoelde ook puur de soorten met <=10%, dank je
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

in de eerste post een tabel toegevoegd van de naturalis test.
Het linker gedeelte is het huidige model en het rechter gedeelte het nieuwe model.
Bij deze test zijn alleen waarnemingen gebruikt die niet voor het genereren van het model zijn gebruikt.
De waarheid ligt dan tussen de naturalis test en 'onze' test in
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

#23
Citaat van: hiskodevries op juni 23, 2023, 07:41:54 AMin de eerste post een tabel toegevoegd van de naturalis test.
Top, daar zullen (en mogen) ze trots op zijn.

Citaat van: hiskodevries op juni 23, 2023, 07:41:54 AMDe waarheid ligt dan tussen de naturalis test en 'onze' test in
Waarom?
Vriendelijke groeten,
Martijn

hiskodevries

Naturalis heeft alleen foto's getest die niet gebruikt zijn voor het genereren van het model.
Onze test doet dat wel als te weinig recente data aanwezig is.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Maar dan is de Naturalis test toch gewoon 'de waarheid' op dit vlak?

Uit de obs test is natuurlijk wel andere/aanvullende info te halen.
Vriendelijke groeten,
Martijn

Daandrukker

Is het nog een idee om voor de soorten waarvoor de beeldherkenningsvalidatie aan staat een extra test te doen met 50 of 100 simulaties in plaats van 20?
Vriendelijke groeten,
Daan Drukker
Validatiecoördinator bij EIS-Kenniscentrum Insecten

hiskodevries

ik denk niet dat dit de uitkomst veel zal veranderen, tenzij je sturend optreedt en b.v. alleen imago`s meeneemt uit de juiste 'vlieg' tijd.
dat gaat weken servertijd kosten, deze test draait nu al 5 dagen en ik ben pas bij planten.
Ik had hier zelf ook al aan gedacht, maar tijd....
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

Citaat van: Martijn van Sluijs op juni 23, 2023, 09:16:59 AMMaar dan is de Naturalis test toch gewoon 'de waarheid' op dit vlak?

Uit de obs test is natuurlijk wel andere/aanvullende info te halen.
In overleg met Naturalis ligt de waarheid in het midden. Hun cijfers zijn erg voorzichtig, die van ons te positief.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Jan Mudde

Hallo Hisko en allen betrokken bij de ontwikkeling NIA/ObsIdentify,

Waar ik altijd zeer kritisch sta tegenover de "vermarkting" van deze producten en dat ook zeker blijf zolang er niet een zeer goede handleiding voor ontwikkelt wordt gericht op "sooortgroep leken" wil ik jullie allen hier toch even een zeer groot compliment maken!!

Jullie hebben een prachtige tool ontwikkelt en zijn die aan het doorontwikkelen tot iets met een enorme potentie (waar ik altijd in gelooft heb overigens!!!!) Ik ben zeer blij dat het steeds beter werkt en dat de betrouwbaarheid daarmee navenant toeneemt. Daar mogen jullie met zijn allen rete-trots op zijn!!!!

Zelf ben ik er ook enorm blij mee want best vaak gebruik ik de NIA in ObsMapp om in de voor mij niet echt bekende soortgroepen een zoekrichting te krijgen. Daarbij valt mij op dat meer en meer direct tot op soortniveau correct "herkend" wordt door de NIA/ObsIdentify. Hiermee wordt de "natuurbeleving" alleen maar vergroot onder de mensen.
Bij totale leken omdat ze nu relatief eenvoudig een naam kunnen scoren bij een organisme dat ze waarnemen en anderzijds omdat deze ontwikkeling het mogelijk maakt voor reeds in één of meer soortgroepen gespecialiseerde waarnemers om laagdrempelig ook andere soortgroepen te gaan ontdekken en data te verzamelen!

Dank jullie wel voor het vele werk en ga a.u.b. zo door!!! Blijf goed luisteren naar de opmerkingen van zowel de validatoren, ervaren gebruikers en de relatieve nieuwelingen. Maak een goede handleiding voor ObsIdentify met daarin vooral ook de nadruk op de "mitsen en maren" en de mogelijkheden die de NIA nog niet heeft ( en soms ook nooit zal krijgen )en jullie hebben er nog enthousiaste promotor bij!

Veel succes en nogmaals dikke complimenten en grote dank!!!!

Grtz, Jan
Jan Mudde

"Gutta cavat lapidem non vi sed saepe cadendo" (Ovidius)

Favoriete soortgroepen; Korstmossen, Nachtvlinders, Vogels en verder eigenlijk zeer breed natuurgeïnteresseerd. https://waarneming.nl/users/50310/observations/?advanced=on