NIA geeft een heel merkwaardig resultaat? / NIA gives a very strange result?

Gestart door hiskodevries, juli 12, 2022, 19:43:28 PM

Vorige topic - Volgende topic

caliprobola

#180
Bij het valideren van dagvlinders valt het me op dat de NIA de laatste tijd opvallend vaak naar verschillende dagvlindersoorten (dagpauwoog, icarusblauwtje etc) wijst bij foto's van rupsen die in de verste verte niet op rupsen van dagvlinders lijken. Ik spendeer soms de helft van mijn validatietijd aan het omzetten van die waarnemingen naar (macro- of micro-)nachtvlinder onbekend of bladwesp onbekend. 1 keer werd voor een rups van een bladroller zelfs tijmblauwtje gesuggereerd, een soort waarvan in de gehele database geen rupsenfoto te vinden is...
Edit: en deze, ingevoerd met obsidentify als gewone zijde-erebia. Ik hoef niet te checken om te weten dat ook van die soort geen enkele rupsenfoto in de database zit: https://waarnemingen.be/observation/307899236/

hiskodevries

als ik bij die waarneming de beeldherkenning aanroep komt daar een onzekere Volgeling uit
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

caliprobola

#182
Dat kan best zijn maar ik kan je wel heel zeker zeggen dat de waarneming was ingevoerd als gewone zijde-erebia en dat de bron volgens mijn validatiepagina obsidentify was. Ik zou het anders niet zo vermeld hebben en ik zie ook geen andere reden waarom iemand een soort dagvlinder uit de Alpen zou kiezen om in te voeren. Via de website is dat alvast niet mogelijk want de soort staat niet actief voor w.be. Ik heb geen idee of het resultaat van de NIA via de app steeds hetzelfde is dan die van de website? Overigens lijkt de afgebeelde rups ook helemaal niet op de rups van een volgeling.
Van de als tijmblauwtje ingevoerde waarneming heb ik een printscreen om te staven dat de bron obsidentify was (ik kan hier echter geen bijlages meer toevoegen?). Dat was deze waarneming: https://waarnemingen.be/observation/307271663/

En het gaat ook niet over die ene waarneming maar over een veelvoud aan waarnemingen, dit zijn stuk voor stuk nachtvlinders of bladwespen waarbij de gelijkenis met de genoemde soorten ver te zoeken is:
icarusblauwtje: https://waarnemingen.be/observation/307078415/
klein koolwitje: https://waarnemingen.be/observation/307067803/
icarusblauwtje: https://waarnemingen.be/observation/307061762/
zwartsprietdikkopje: https://waarnemingen.be/observation/307061647/
kaasjeskruiddikkopje: https://waarnemingen.be/observation/307029737/
groot koolwitje: https://waarnemingen.be/observation/307025586/
icarusblauwtje: https://waarnemingen.be/observation/307024003/
atalanta: https://waarnemingen.be/observation/307010175/
sleedoornpage: https://waarnemingen.be/observation/307010175/
dagpauwoog: https://waarnemingen.be/observation/306865521/
klein koolwitje: https://waarnemingen.be/observation/306828703/
klein koolwitje: https://waarnemingen.be/observation/306654510/
citroenvlinder: https://waarnemingen.be/observation/306521361/
groot koolwitje: https://waarnemingen.be/observation/306498364/
groot koolwitje: https://waarnemingen.be/observation/306487607/
dagpauwoog: https://waarnemingen.be/observation/306482082/
etc

hiskodevries

de bron staat ook keurig bij de waarneming, geen discussie over. Maar wat nu ?
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

caliprobola

Hoi Hisko,

ik heb te weinig inzicht in zowel hoe de ontwikkeling van de app in elkaar zit als in de werking van de app zelf om hier advies te kunnen over geven. Ik kan enkel signaleren dat er recent naar mijn aanvoelen een stijging is in het aantal rupsenwaarnemingen die door de NIA overduidelijk fout worden geïdentificeerd. Ik heb zelf dus geen enkel idee of er mogelijkheden zijn om de algoritmes in de (liefst niet al te verre) toekomst in die mate te verbeteren dat de NIA bij nachtvlinderrupsen (en dat zijn voor Nederland & België al snel een twintigvoud aan soorten van dagvlinders) niet random een dagvlindersoort lijkt uit te pikken...

hiskodevries

Pieter, bedankt voor de signalering. De praktijk leert ons dat je op een nieuwe versie moet wachten.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

RutgerB

Dit gras is met Obsidentify ingevoerd en als Rivierfonteinkruid gemeld: https://waarnemingen.be/observation/308433528/

CiteerHoe heb je hier voor Rivierfonteinkruid gekozen? Als ik de opties van de beeldherkenning open, zie ik die suggestie daar niet tussen staan.

Zijn er verschillende versies van NIA actief?

Martijn van Sluijs

NIA aanroepen vanuit ObsIdentify levert inderdaad geregeld andere resultaten dan NIA aanroepen voor 'dezelfde foto' vanaf de site na uploaden.

Waarschijnlijk zitten er verschillen in hoe de app en de site de foto aanleveren aan NIA, bijvoorbeeld qua afbeeldingsdimensies, een ander type compressie (of zelfs met/zonder compressie), etc.

Meestal gaat het alleen om een klein verschil in de percentages. Is ook te verwachten. Klein verschil in input, klein verschil in output.

Soms zorgt het er inderdaad voor dat de twee totaal andere resultaten leveren, tot op het punt dat de topsuggestie van de één niet eens in de top 10 resultaten van de ander voorkomt. Dat zal vooral gebeuren wanneer NIA in één van de twee gevallen een totale misser maakt, of wanneer überhaupt weinig van de foto te bakken is, en de top 10 resultaten in beide gevallen bestaat uit wilde gokken (met lage herkennings %).

Levert inderdaad verwarrende situaties op...
Vriendelijke groeten,
Martijn

RutgerB

Dank voor de duidelijke uitleg. Het hoogste herkenningspercentage van de 9 suggesties op de site was maar 7% . Bij zulke %'s is de kans dus groter dat een klein verschil in aanlevering een ander resultaat geeft? Interessant.

Ga ik nu de waarneming wijzigen in IJle dravik.


Biedjee7

Ik heb een westelijke baardgrasmus gezien in Extremadura. NIA is echter van mening dat dit voor 99% een Balkanbaardgrasmus is, en slechts 1% westelijke baardgrasmus.
Daar de Balkanbaardgrasmus een zeer zeldzame soort in Spanje is met slechts 1 gefotografeerde waarneming op observation.org, ga ik er van uit dat NIA er naast zit. Snap alleen niet zo goed waarom.

https://es.observation.org/observation/307587808/

Edit: ik heb een tweede foto toegevoegd, NIA blijft stug volhouden, maar geeft me inmiddels voor 31% gelijk

Oscar Balm

Er staat een hoop 'rommel' om de vogel heen.
Als je alleen de vogel uitsnijd komt NIA al op 80% bij foto 1.
Met beide fotos strak uitgesneden wordt het zelfs 98%
Oscar Balm

Lijstje van bezochte landen: https://waarneming.nl/users/21807

Biedjee7

u zei?  ;)

screenshot_waarneming.jpg

Ik snap dat takjes en achtergrond de resultaten kunnen beïnvloeden, maar dat verklaart nog steeds niet dat de app zo stellig een zeldzaamheid suggereert. Als de Balkanbaardgrasmus al mogelijk zou zijn, zou het op zijn minst 50-50 moeten zijn gezien de minimale uiterlijke verschillen tussen de vogels.
Dus wellicht is dit een mooi voorbeeld om de AI herkenning wat bij te sturen.

Overigens, bij een eerdere waarneming van deze soort had NIA overigens totaal geen problemen met takjes of ruis.
https://es.observation.org/observation/307289963/#


Oscar Balm

Vreemd idd, want ik had het via de app obsidentify gedaan en die kwam dus wel met westelijke baardgrasmus, maar met verschillende percentages.
Oscar Balm

Lijstje van bezochte landen: https://waarneming.nl/users/21807

Pluijm

Als in Nederland de verkeersborden zo raar geplaatst zijn, zou ik het verkeer stilleggen. Kan dat met ObsId ook?
 
https://forum.waarneming.nl/index.php/topic,485299.msg2594348.html#msg2594348
Met vriendelijke groet,
Arno van der Pluijm