Test the new NIA european model

Gestart door hiskodevries, juni 21, 2023, 09:21:35 AM

Vorige topic - Volgende topic

Axel de F

Hoeveel goedgekeurde waarnemingen zijn er ongeveer nodig om een taxon in de komende NIA-versie te krijgen?

Martijn van Sluijs

Voor de aankomende versie (de versie waar dit topic over gaat) zal dat niet meer mogelijk zijn, omdat de trainingsdata al geruime tijd geleden verzonden is.

Op dit moment is de minimumgrens aan foto's/fotowaarnemingen erg laag (stuk of 10 volgens mij). Waar het in de praktijk vooral om draait is hoeveel foto's het model als trainingsdata nodig heeft om een soort te 'herkennen' op nieuw binnenkomende foto's. Dat is vanzelfsprekend ook deels afhankelijk van hoe eenvoudig de visueel soort te herkennen is (en dus te onderscheiden is van gelijkende soorten). Ga er maar vanuit dat voor een beetje degelijke herkenning door NIA van een doorsnee soort mínstens 100 goedgekeurde foto's nodig zijn, maar een precieze grens is moeilijk te trekken, en is van veel factoren afhankelijk.

Een 'beter' model zou met minder foto's evenveel/meer moeten kunnen herkennen, dus dat speelt ook nog mee, gezien de volgende NIA versie vermoedelijk weer >1 jaar in de toekomst gemaakt zal worden (?), en de ontwikkelingen niet stil staan. Zo merk ik dat tijdens testen van de NIA versie die er nu aan komt minder goedgekeurde foto's per taxon nodig waren voor degelijke herkenning dan bij de vorige versie. Bij de vorige versie (de versie die op dit moment nog 'live' is) waren er taxa die ondanks 400 goedgekeurde foto's ten tijde van verzenden trainingsdata alsnog nooit herkend werden/worden.
Vriendelijke groeten,
Martijn

Axel de F

Dankjewel Martijn,
éen van de dingen waar ik benieuwd naar ben is of de komende NIA-versie betere voorstellen gaat doen van de waarnemingen die op taxa met weinig waarnemingen horen.
Het is te hopen dat zulke waarnemingen wél en ook een beetje zinnig binnenkomen.
Hoe doet de versie het met verzamelsoorten?

De excel-sheet vond ik soms wel verdacht goed ;-)

Martijn van Sluijs

Citaat van: Axel de F op juli 30, 2023, 11:39:17 AMHoe doet de versie het met verzamelsoorten?
Is voor zover ik weet niet getest. Idem voor infraspecifieke taxa. Zie ook https://forum.waarneming.nl/index.php/topic,504370.msg2566538.html#msg2566538

Citaat van: Axel de F op juli 30, 2023, 11:39:17 AMDe excel-sheet vond ik soms wel verdacht goed ;-)
Ja, die moet zeker bij de taxa met weinig waarnemingen met een korrel zout worden genomen. Grote kans dat daar voornamelijk of alleen foto's getest werden die het model al zag tijdens het trainen. Dat levert een capaciteitsoverschatting op tov prestaties op ongeziene data. Ik kan aanraden om via de oude site als steekproef de nieuwe versie van NIA te testen bij waarnemingen die werden goedgekeurd vanaf begin 2023, dan weet je zeker dat het model de foto nog niet zag tijdens trainen. Dat geeft een beter beeld van wat je kunt verwachten nadat de nieuwe versie geactiveerd wordt.
Vriendelijke groeten,
Martijn