Test the new NIA european model

Gestart door hiskodevries, juni 21, 2023, 09:21:35 AM

Vorige topic - Volgende topic

hiskodevries

Citaat van: Martijn van Sluijs op juni 27, 2023, 10:45:30 AMIk dacht dat alles per geteste waarneming gelogd was, dan was het zo gepiept geweest.
alleen de foute
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Daandrukker

Ik heb even wat tests gedaan bij de soorten die ik valideer waar ik de automatische beeldherkenning heb aan staan.

Gewone schorpioenvlieg: veel lagere percentages en er wordt opvallend vaak bessenglasvlinder en Melieria crassipennis gesuggereerd. Slechte ontwikkeling dus.

Weideschorpioenvlieg: veel lagere percentages en ook hier regelmatig bessenglasvlinder en enkele andere totaal niet gerelateerde soorten.

Duitse schorpioenvlieg: veel lagere percentages en ook hier regelmatig bessenglasvlinder en enkele andere totaal niet gerelateerde soorten.

Limnephilus marmoratus: ziet er over het algemeen preciezer uit.

Gevlekte mierenleeuw: ziet er over het algemeen preciezer uit.

Gewone slijkvlieg: vergelijkbare resultaten. In beide versies regelmatig vreemde fouten.

Ik moet zeggen dat ik ontzettend baal van die schorpioenvliegresultaten. Ik heb hard gewerkt om die krengen goed te valideren en slechte foto's op niet te beoordelen of blauw vinkje te zetten. Ze worden ontzettend veel ingevoerd en de automatische beeldherkenningsvalidatie was tot nu toe echt een heel prettige oplossing. Als ik de resultaten zo zie vrees ik weer dat mijn adminscherm overspoeld gaat raken met foto's die anders prima (en terecht) door de autoval heen zouden komen.
Vriendelijke groeten,
Daan Drukker
Validatiecoördinator bij EIS-Kenniscentrum Insecten

hiskodevries

#62
Daan, dat van die schorpioenvliegen viel mij ook op.
Maar "Ik heb hard gewerkt om die krengen goed te valideren en slechte foto's op niet te beoordelen of blauw vinkje te zetten.", is dat niet de oorzaak ?
Waarnemingen waar de soort op de foto bijna beeldvullend van boven is genomen gaan volgens mij wel goed. Zie jij dit ook ?
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

#63
Dat kan eigenlijk alleen de oorzaak zijn wanneer bij deze soorten

- na de vorige versie van NIA (heel veel) oude groene vinkjes zijn omgezet naar NTB of blauwe vink

óf

- sinds de vorige versie van NIA veel selectiever groene vinkjes zijn toegepast, dit er zeer veel zijn (bijna of meer dan 10.000 per soort), en de 10.000 meest recente foto's per soort naar Naturalis gestuurd zijn

Als beide niet het geval is, dan zie ik qua brondata niet echt reden waarom de herkenning slechter zou moeten zijn dan de vorige versie.
Vriendelijke groeten,
Martijn

Martijn van Sluijs

#64
Citaat van: Martijn van Sluijs op juni 28, 2023, 09:06:06 AMAls beide niet het geval is, dan zie ik qua brondata niet echt reden waarom de herkenning slechter zou moeten zijn dan de vorige versie.
Tenzij er veel fouten bij de andere databronnen zijn natuurlijk...

Het helpt daarbij niet dat we nog steeds niet weten wat daarvan nu eigenlijk gebruikt is qua data. Is dat wel gevalideerde data? Van welke bron? En dan bedoel ik niet de bron: verzamelportaal, maar welke primaire bronnen binnen die verzamelportalen deden mee? Allemaal?

Het is op een manier ook jammer dat we nooit zullen weten hoe de nieuwe versie van NIA zou presteren als deze alleen getraind was op observation data, zonder aanvullende data. Ik zie dat de herkenning van mediterrane soorten ook veel beter is geworden, dus ook zonder aanvullende data zouden flinke stappen zijn gezet. Of de aanvullende data van andere bronnen nu echt een meerwaarde was of juist niet zullen we denk ik nooit weten. Dat twee volledige nieuwe versies van NIA trainen om dat te achterhalen wat veel van het goede was begrijp ik wel. Of weet Naturalis meer?
Vriendelijke groeten,
Martijn

Daandrukker

Citaat van: hiskodevries op juni 28, 2023, 07:42:17 AMDaan, dat van die schorpioenvliegen viel mij ook op.
Maar "Ik heb hard gewerkt om die krengen goed te valideren en slechte foto's op niet te beoordelen of blauw vinkje te zetten.", is dat niet de oorzaak ?
Waarnemingen waar de soort op de foto bijna beeldvullend van boven is genomen gaan volgens mij wel goed. Zie jij dit ook ?

Ik heb alleen de echte bagger op niet te beoordelen gezet, die daadwerkelijk ook niet te beoordelen was. Blauwe vinkjes heb ik maar weinig toegepast en er zijn nog steeds zat slechte foto's waarop je de soort goed kon herkennen die ik wel een groene vink heb gegeven.

Citaat van: Martijn van Sluijs op juni 28, 2023, 09:06:06 AMDat kan eigenlijk alleen de oorzaak zijn wanneer bij deze soorten

- na de vorige versie van NIA (heel veel) oude groene vinkjes zijn omgezet naar NTB of blauwe vink

óf

- sinds de vorige versie van NIA veel selectiever groene vinkjes zijn toegepast, dit er zeer veel zijn (bijna of meer dan 10.000 per soort), en de 10.000 meest recente foto's per soort naar Naturalis gestuurd zijn

Als beide niet het geval is, dan zie ik qua brondata niet echt reden waarom de herkenning slechter zou moeten zijn dan de vorige versie.

Dit is allebei niet van toepassing
Vriendelijke groeten,
Daan Drukker
Validatiecoördinator bij EIS-Kenniscentrum Insecten

hiskodevries

uitleg totstandkoming van het model met data van de diverse bronhouders toegevoegd in de eerste post
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Citaat van: hiskodevries op juni 28, 2023, 12:58:00 PMuitleg totstandkoming van het model met data van de diverse bronhouders toegevoegd in de eerste post
Dat zegt nog niet veel over welke data dan gebruikt is van de andere bronhouders, terwijl dat wel van belang is voor de herkenning, en om te achterhalen waarom bepaalde soorten nu slechter herkend worden ipv beter. Ik zie alleen omschreven hoe de taxonomie 'opgelost' wordt.
Vriendelijke groeten,
Martijn

hiskodevries

nee dan heb je het niet juist gelezen, dit gaat echt over de data
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Ik lees geen antwoord op deze vragen hieronder, alleen over hoe verschillen in taxonomie tussen de verschillende 'bronhouders' zijn opgelost:
Citaat van: Martijn van Sluijs op juni 28, 2023, 09:29:20 AMHet helpt daarbij niet dat we nog steeds niet weten wat daarvan nu eigenlijk gebruikt is qua data. Is dat wel gevalideerde data? Van welke bron? En dan bedoel ik niet de bron: verzamelportaal, maar welke primaire bronnen binnen die verzamelportalen deden mee? Allemaal?
Vriendelijke groeten,
Martijn

hiskodevries

Voor de validatoren die hier meelezen:
Ik heb even gesproken met Naturalis over de slechtere resultaten vwb soorten waarbij foto validatie aan staat.
Ik heb een extra parameter gekregen. Daarvoor ga ik niet alle tests opnieuw draaien, maar als je een foto overzicht van 1 soort opent zie je daar nu 2 links (op de oude site). Vergelijk die eens voor een aantal soorten waarvoor de automatische foto validatie aan staat. Ik zie verschillen, maar vaak subtiel.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Daandrukker

Neemt het model de referentiefoto's op chronologische volgorde? In dat geval zou je kunnen denken dat bij soorten waar de beeldherkenningsvalidatie aan staat alleen de "buitenbeentjes" worden meegenenomen, namelijk de foto's die niet door de autoval heen kwamen en dus handmatig gekeurd moesten worden. Dat zijn over het algemeen slechtere foto's waar de soort niet randje-randje op staat. Die kunnen best een groene vink hebben gekregen, maar zijn minder geschikt als er een heleboel van in het referentiemodel staan.
Vriendelijke groeten,
Daan Drukker
Validatiecoördinator bij EIS-Kenniscentrum Insecten

Martijn van Sluijs

Dat hoop ik inderdaad niet. Liever wordt inderdaad een chronologisch willekeurig samengestelde set opgestuurd. Nóg liever: een zo divers mogelijke set qua ingevuld levensstadium, waarnemingsmaand, waarnemingsjaar, en waarnemer (ik denk in die volgorde van prioriteit).

Als er van een vlindersoort 300 foto's van rupsen in de db zitten met groene vink en 30.000 van imago's, dan wil je bijvoorbeeld wel dat al die rupsenfoto's 'mee mogen doen' natuurlijk, en niet dat er 9.900 foto's van imago's en 100 foto's van rupsen op worden gestuurd wanneer de totaalgrens 10.000 is. Zelfde geldt voor levensstadia bij andere soortgroepen.

Maar misschien gebeurt dit al wel.
Vriendelijke groeten,
Martijn

armin.dahl

Hisko,
Citaat van: hiskodevries op juni 28, 2023, 14:04:27 PMIk heb een extra parameter gekregen. .... Ik zie verschillen, maar vaak subtiel.
ja, das ist auch meine meine Beobachtungen für einige der Motten: ja vor allem die seltenen Stadien (Exuvie, Raupe, Mine, schlecht beschnittene Fotos) erhalten immer noch niedrige Prozentzahlen und werden ziemlich oft in falsche Tiergruppen gesteckt.

[with Google translator] for the moths: yes, especially the rare stages (exuvia, caterpillar, mine, poorly cropped photos) are quite often downgraded or put in the wrong animal groups 



Armin: https://observation.org/users/116008/
A fool is a man who never tried an experiment in his life. - Erasmus Darwin

armin.dahl

BTW: is there a chance to see data which species are newly recognized with the new model? Or have I overlooked this?
Armin: https://observation.org/users/116008/
A fool is a man who never tried an experiment in his life. - Erasmus Darwin

hiskodevries

kijken jullie even mee naar deze berekening
ongeveer 1.258.100 waarnemingen zijn door de test gehaald.
dat leverde 130.796 fout gedetermineerde waarnemingen op
Dan zijn 10% van de test waarnemingen fout gedetermineerd.

Van deze foute determinaties is 50% met een zekerheid van >=70% vastgelegd
en 1/3 met een zekerheid >=90% . Dit is dus niet bepaald met die extra optie besproken in https://forum.waarneming.nl/index.php?msg=2565914
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

#76
Citaat van: armin.dahl op juni 29, 2023, 09:40:59 AMBTW: is there a chance to see data which species are newly recognized with the new model? Or have I overlooked this?

i created this list -->> https://drive.google.com/file/d/1VoCmfrGPtjTaw2IwOLbf3Ifb8NnT24dt/view?usp=sharing
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Citaat van: hiskodevries op juni 29, 2023, 09:43:00 AMkijken jullie even mee naar deze berekening
ongeveer 1.258.100 waarnemingen zijn door de test gehaald.
dat leverde 130.796 fout gedetermineerde waarnemingen op
Dan zijn 10% van de test waarnemingen fout gedetermineerd.

Van deze foute determinaties is 50% met een zekerheid van >=70% vastgelegd
en 1/3 met een zekerheid >=90% . Dit is dus niet bepaald met die extra optie besproken in https://forum.waarneming.nl/index.php?msg=2565914

Dit soort berekeningen kunnen nu dus juist níet met de data die je nu uit de obs testen haalt, omdat van die foto's veel foto's gezien zijn tijdens trainen van het model. Resultaten worden dan veel te rooskleurig.
Vriendelijke groeten,
Martijn

hiskodevries

#78
ik heb hetzelfde proces voor het huidige NIA model gedraaid
daarmee zijn 778.220 waarnemingen door het model gehaald wat 178.638 fout gedetermineerde waarnemingen opleverde.
Dat is ongeveer 23%
Natuurlijk is hierbij de kans groter dat de fotos niet voor de training van dit model zijn gebruikt, maar toch.
Citeeromdat van die foto's veel foto's gezien zijn tijdens trainen van het model
De fotos zijn in januari 2023 aangeleverd, de kans dat bij het testen nieuwe fotos zijn gebruikt is bij de algemenere soorten best wel groot.
in nl 7.495 soorten van de 31.396
in xx 10.350 soorten van de 49.855
hadden minder dan 20 waarnemingen met een invoerdatum na opleveren van de testdata
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

#79
Citaat van: hiskodevries op juli 03, 2023, 12:07:43 PMin nl 7.495 soorten van de 31.396
in xx 10.350 soorten van de 49.855
hadden minder dan 20 waarnemingen met een invoerdatum na opleveren van de testdata
Het gaat niet om waarnemingen met invoerdatum na opleveren, het gaat erom hoeveel van de twintig meest recente waarnemingen die nu een groene vink hebben nog geen groene vink hadden tijdens opleveren. Als dat al te bepalen is, dan wordt het alsnog een vreemde subset van data, omdat je een specifiek deel van het jaar hebt, wat niet representatief is voor veel soorten, en daarnaast sterk afhankelijk bent van validatie-inspanningen tussen soortgroepen en binnen soortgroepen in die tussenliggende periode.
Vriendelijke groeten,
Martijn

hiskodevries

Martijn, ik heb het al eerder gezegd, dat is niet afwijkend t.o.v. alle voorgaande tests van een nieuw NIA model
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Ik heb ook al eerder uitgebreid toegelicht dat het nieuwe model zich m.i. anders gedraagt bij het doen van voorspellingen voor tijdens trainen geziene data dan eerdere versies van NIA, waardoor berekeningen die vorige keren al op het randje van dubieus waren nu via dezelfde methode m.i. gewoonweg niet mogelijk zijn.

Voor volgende keren: testen dienen te worden gedraaid op tijdens trainen ongeziene data. Dat is zo'n beetje machine learning regel 1.

Zo'n testset zou hier kunnen bestaan uit bijvoorbeeld willekeurig 10% van de foto's per taxon, tot een maximum van 20 per taxon oid. Idealiter gebruikt Naturalis dezelfde testset als obs (zodat niet eerst bijv. 10% van de data achter wordt gehouden door obs bij opleveren, en nog eens 10% achter wordt gehouden door Naturalis bij trainen, maar slechts 10% in totaal). Of er wordt slechts één test gedraaid ipv een aparte Naturalis test en een aparte observation test. Met een ruwe log van die ene test kan alles wat nodig is worden bepaald.
Vriendelijke groeten,
Martijn

hiskodevries

prima, doen we volgende keer.
De test is beëindigd.
Conclusie:
We moeten rekening houden met een veel hoger herkennings percentage bij zowel een correcte als een niet correcte herkenning.
dit zou gevolgen kunnen hebben voor de automatische validatie van sommige soorten.
Validatoren zullen daarvan bijtijds van op de hoogte worden gebracht.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

 :duim:

In de test(s) zaten natuurlijk geen subtaxa of verzameltaxa, maar we gaan er voor het gemak maar even vanuit dat daar geen bijzondere dingen mee aan de hand zullen zijn.
Vriendelijke groeten,
Martijn

Martijn van Sluijs

Hoe ziet de implementatietijdlijn er ongeveer uit?
Vriendelijke groeten,
Martijn

hiskodevries

nee die heb ik bewust uit de test gelaten, anders was het helemaal geen doen. ik heb een aantal met de hand gedaan via het waarneming detailscherm op de oude site en zag geen opvallende zaken.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

Citaat van: Martijn van Sluijs op juli 04, 2023, 13:28:21 PMHoe ziet de implementatietijdlijn er ongeveer uit?
goede vraag waar ik nog geen antwoord op heb. Het loopt tegen vakantietijd aan en dan gaat alles trager.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Citaat van: hiskodevries op juli 04, 2023, 13:28:33 PMnee die heb ik bewust uit de test gelaten, anders was het helemaal geen doen. ik heb een aantal met de hand gedaan via het waarneming detailscherm op de oude site en zag geen opvallende zaken.

Ik zag oa een paar keer een synoniem voorgesteld worden (deze meen ik https://waarneming.nl/species/211225/), maar als dat veel voorkomende dingen zijn is dat wel recht te trekken via doorverwijzing(en). Het zijn natuurlijk wel de taxa waar het combineren van de verschillende databronnen de grootste kans op issues geeft, maar goed.
Vriendelijke groeten,
Martijn

Martijn van Sluijs

Citaat van: hiskodevries op juli 04, 2023, 13:29:15 PM
Citaat van: Martijn van Sluijs op juli 04, 2023, 13:28:21 PMHoe ziet de implementatietijdlijn er ongeveer uit?
goede vraag waar ik nog geen antwoord op heb. Het loopt tegen vakantietijd aan en dan gaat alles trager.

Het zou mbt invoer tijdens en vlak na de vakantieperiode jammer zijn als het tot net na het zomerseizoen getild wordt, maar er moet aan de andere kant natuurlijk ook wel voldoende support aanwezig zijn mochten er dingen fout lopen (met in het ergste geval terug moeten vallen op de huidige versie).
Vriendelijke groeten,
Martijn

hiskodevries

zo is het, ik laat het hier weten als ik meer weet.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0