NIA geeft een heel merkwaardig resultaat? / NIA gives a very strange result?

Gestart door hiskodevries, juli 12, 2022, 19:43:28 PM

Vorige topic - Volgende topic

caliprobola

#180
Bij het valideren van dagvlinders valt het me op dat de NIA de laatste tijd opvallend vaak naar verschillende dagvlindersoorten (dagpauwoog, icarusblauwtje etc) wijst bij foto's van rupsen die in de verste verte niet op rupsen van dagvlinders lijken. Ik spendeer soms de helft van mijn validatietijd aan het omzetten van die waarnemingen naar (macro- of micro-)nachtvlinder onbekend of bladwesp onbekend. 1 keer werd voor een rups van een bladroller zelfs tijmblauwtje gesuggereerd, een soort waarvan in de gehele database geen rupsenfoto te vinden is...
Edit: en deze, ingevoerd met obsidentify als gewone zijde-erebia. Ik hoef niet te checken om te weten dat ook van die soort geen enkele rupsenfoto in de database zit: https://waarnemingen.be/observation/307899236/

hiskodevries

als ik bij die waarneming de beeldherkenning aanroep komt daar een onzekere Volgeling uit
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

caliprobola

#182
Dat kan best zijn maar ik kan je wel heel zeker zeggen dat de waarneming was ingevoerd als gewone zijde-erebia en dat de bron volgens mijn validatiepagina obsidentify was. Ik zou het anders niet zo vermeld hebben en ik zie ook geen andere reden waarom iemand een soort dagvlinder uit de Alpen zou kiezen om in te voeren. Via de website is dat alvast niet mogelijk want de soort staat niet actief voor w.be. Ik heb geen idee of het resultaat van de NIA via de app steeds hetzelfde is dan die van de website? Overigens lijkt de afgebeelde rups ook helemaal niet op de rups van een volgeling.
Van de als tijmblauwtje ingevoerde waarneming heb ik een printscreen om te staven dat de bron obsidentify was (ik kan hier echter geen bijlages meer toevoegen?). Dat was deze waarneming: https://waarnemingen.be/observation/307271663/

En het gaat ook niet over die ene waarneming maar over een veelvoud aan waarnemingen, dit zijn stuk voor stuk nachtvlinders of bladwespen waarbij de gelijkenis met de genoemde soorten ver te zoeken is:
icarusblauwtje: https://waarnemingen.be/observation/307078415/
klein koolwitje: https://waarnemingen.be/observation/307067803/
icarusblauwtje: https://waarnemingen.be/observation/307061762/
zwartsprietdikkopje: https://waarnemingen.be/observation/307061647/
kaasjeskruiddikkopje: https://waarnemingen.be/observation/307029737/
groot koolwitje: https://waarnemingen.be/observation/307025586/
icarusblauwtje: https://waarnemingen.be/observation/307024003/
atalanta: https://waarnemingen.be/observation/307010175/
sleedoornpage: https://waarnemingen.be/observation/307010175/
dagpauwoog: https://waarnemingen.be/observation/306865521/
klein koolwitje: https://waarnemingen.be/observation/306828703/
klein koolwitje: https://waarnemingen.be/observation/306654510/
citroenvlinder: https://waarnemingen.be/observation/306521361/
groot koolwitje: https://waarnemingen.be/observation/306498364/
groot koolwitje: https://waarnemingen.be/observation/306487607/
dagpauwoog: https://waarnemingen.be/observation/306482082/
etc

hiskodevries

de bron staat ook keurig bij de waarneming, geen discussie over. Maar wat nu ?
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

caliprobola

Hoi Hisko,

ik heb te weinig inzicht in zowel hoe de ontwikkeling van de app in elkaar zit als in de werking van de app zelf om hier advies te kunnen over geven. Ik kan enkel signaleren dat er recent naar mijn aanvoelen een stijging is in het aantal rupsenwaarnemingen die door de NIA overduidelijk fout worden geïdentificeerd. Ik heb zelf dus geen enkel idee of er mogelijkheden zijn om de algoritmes in de (liefst niet al te verre) toekomst in die mate te verbeteren dat de NIA bij nachtvlinderrupsen (en dat zijn voor Nederland & België al snel een twintigvoud aan soorten van dagvlinders) niet random een dagvlindersoort lijkt uit te pikken...

hiskodevries

Pieter, bedankt voor de signalering. De praktijk leert ons dat je op een nieuwe versie moet wachten.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

RutgerB

Dit gras is met Obsidentify ingevoerd en als Rivierfonteinkruid gemeld: https://waarnemingen.be/observation/308433528/

CiteerHoe heb je hier voor Rivierfonteinkruid gekozen? Als ik de opties van de beeldherkenning open, zie ik die suggestie daar niet tussen staan.

Zijn er verschillende versies van NIA actief?

Martijn van Sluijs

NIA aanroepen vanuit ObsIdentify levert inderdaad geregeld andere resultaten dan NIA aanroepen voor 'dezelfde foto' vanaf de site na uploaden.

Waarschijnlijk zitten er verschillen in hoe de app en de site de foto aanleveren aan NIA, bijvoorbeeld qua afbeeldingsdimensies, een ander type compressie (of zelfs met/zonder compressie), etc.

Meestal gaat het alleen om een klein verschil in de percentages. Is ook te verwachten. Klein verschil in input, klein verschil in output.

Soms zorgt het er inderdaad voor dat de twee totaal andere resultaten leveren, tot op het punt dat de topsuggestie van de één niet eens in de top 10 resultaten van de ander voorkomt. Dat zal vooral gebeuren wanneer NIA in één van de twee gevallen een totale misser maakt, of wanneer überhaupt weinig van de foto te bakken is, en de top 10 resultaten in beide gevallen bestaat uit wilde gokken (met lage herkennings %).

Levert inderdaad verwarrende situaties op...
Vriendelijke groeten,
Martijn

RutgerB

Dank voor de duidelijke uitleg. Het hoogste herkenningspercentage van de 9 suggesties op de site was maar 7% . Bij zulke %'s is de kans dus groter dat een klein verschil in aanlevering een ander resultaat geeft? Interessant.

Ga ik nu de waarneming wijzigen in IJle dravik.


Biedjee7

Ik heb een westelijke baardgrasmus gezien in Extremadura. NIA is echter van mening dat dit voor 99% een Balkanbaardgrasmus is, en slechts 1% westelijke baardgrasmus.
Daar de Balkanbaardgrasmus een zeer zeldzame soort in Spanje is met slechts 1 gefotografeerde waarneming op observation.org, ga ik er van uit dat NIA er naast zit. Snap alleen niet zo goed waarom.

https://es.observation.org/observation/307587808/

Edit: ik heb een tweede foto toegevoegd, NIA blijft stug volhouden, maar geeft me inmiddels voor 31% gelijk

Oscar Balm

Er staat een hoop 'rommel' om de vogel heen.
Als je alleen de vogel uitsnijd komt NIA al op 80% bij foto 1.
Met beide fotos strak uitgesneden wordt het zelfs 98%
Oscar Balm

Lijstje van bezochte landen: https://waarneming.nl/users/21807

Biedjee7

u zei?  ;)

screenshot_waarneming.jpg

Ik snap dat takjes en achtergrond de resultaten kunnen beïnvloeden, maar dat verklaart nog steeds niet dat de app zo stellig een zeldzaamheid suggereert. Als de Balkanbaardgrasmus al mogelijk zou zijn, zou het op zijn minst 50-50 moeten zijn gezien de minimale uiterlijke verschillen tussen de vogels.
Dus wellicht is dit een mooi voorbeeld om de AI herkenning wat bij te sturen.

Overigens, bij een eerdere waarneming van deze soort had NIA overigens totaal geen problemen met takjes of ruis.
https://es.observation.org/observation/307289963/#


Oscar Balm

Vreemd idd, want ik had het via de app obsidentify gedaan en die kwam dus wel met westelijke baardgrasmus, maar met verschillende percentages.
Oscar Balm

Lijstje van bezochte landen: https://waarneming.nl/users/21807

Pluijm

Als in Nederland de verkeersborden zo raar geplaatst zijn, zou ik het verkeer stilleggen. Kan dat met ObsId ook?
 
https://forum.waarneming.nl/index.php/topic,485299.msg2594348.html#msg2594348
Met vriendelijke groet,
Arno van der Pluijm

hiskodevries

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Datura

Citaat van: hiskodevries op mei 19, 2024, 13:21:20 PMWat denk je zelf?

Probleem blijft natuurlijk dat al zo lang als de herkenning modellen in wn.nl actief zijn, er soorten met hoge percentages 'herkend' worden die het heel erg overduidelijk niet zijn. Bij de volgende update gaat het dan voor die soorten even goed, maar vaak bij andere soorten weer fout. Dit komt op mij over als een weeffout in het model die nog steeds niet gevonden is.
Natuurlijke groeten van
Kim Lotterman

Crossbill guides

hiskodevries

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

caliprobola

Citaat van: Biedjee7 op mei 10, 2024, 22:49:40 PMIk heb een westelijke baardgrasmus gezien in Extremadura. NIA is echter van mening dat dit voor 99% een Balkanbaardgrasmus is, en slechts 1% westelijke baardgrasmus.
Daar de Balkanbaardgrasmus een zeer zeldzame soort in Spanje is met slechts 1 gefotografeerde waarneming op observation.org, ga ik er van uit dat NIA er naast zit. Snap alleen niet zo goed waarom.

https://es.observation.org/observation/307587808/

Edit: ik heb een tweede foto toegevoegd, NIA blijft stug volhouden, maar geeft me inmiddels voor 31% gelijk
westelijke baardgrasmus en balkanbaardgrasmus lijken zo sterk op elkaar dat wanneer er eentje opduikt in de lage landen er vaak een geluidsopname nodig is om de determinatie als deze dan wel de andere soort te bevestigen. Dat de NIA daar een fout in maakt lijkt me dus niet één van de heel merkwaardige resultaten waar we in dit topic naar op zoek zijn.

Pluijm

Zijn er al vermoedens waaróm in NIA bepaalde algemene mossen door een 'plant-virus' lijken besmet?
Het lijkt alsof algemene soorten zoals Gesnaveld klauwtjesmos, Bleek boomvorkje en Fijn laddermos recent steeds vaker als een bizarre bloem/plant worden benoemd.
Andere, net zo ongedefinieerde, groene mossen zoals het algemene Gewoon pluisdraadmos (158 openstaande WN, geen enkele plantsuggestie) weer helemaal niet.

Bijv. vandaag van 9 Bleek boomvorkje:
https://waarneming.nl/observation/310821546/
https://waarneming.nl/observation/310634600/
https://waarneming.nl/observation/310567581/
https://waarneming.nl/observation/310522021/

en van 18 Fijn laddermos:
https://waarneming.nl/observation/310766215/
https://waarneming.nl/observation/309419153/
https://waarneming.nl/observation/309418082/




Met vriendelijke groet,
Arno van der Pluijm

hiskodevries

#199
Arno, NIA is sinds september 2023 niet aangepast.
Daar kan het niet aan liggen.
Het gaat in jouw voorbeelden over heel lage herkenningspercentages. <10 %
Het is jammer dat 'men' die nog steeds niet wil weigeren.
Voor 1 mossoort heb ik even geteld hoe vaak de naam van een waarneming is gewijzigd en dan zie ik ook geen enorme toename
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Pluijm

Tegenover zo'n exact lijstje (dat ik overigens niet goed snap) kan ik slechts met een zwaktebod komen dat mijn 'gevoel zegt' dat de aantallen veel hoger zijn.
Ik werkte laatst ca. 200 Gesnaveld klauwtjesmos weg, waarvan ik achteraf dacht dat wel 70% onzin was (niet gelijkende mossen of regelmatig ook hogere planten) Ik heb verzuimd om zoiets dan goed vast te leggen en eenmaal gevalideerd kan ik niet meer zien waar die 200 ongevalideerde Hypnum naar toe zijn gegaan. Ik vond het substantieel.
Ik neem mij voor om eea. eens beter vast te leggen. Een validatie-tabelletje met zoiets als "X openstaande WN van soort X, omgezet in %":
1. "top, helemaal goed!"
2. "snap de verwarring, maar het is een gelijkende soort"
3. "Je kunt toch zien dat dit een heel ander mos is!"
4. "Wat, hoe verzin je het om dit mos voor die bloem uit te schelden!"
Als categorieën 3 en 4 hoge percentages geven, deze dan graag als standaardantwoord in het validatieportal.  :blink:   
Het mosseizoen loopt wel op zijn einde, zal wel volgend jaar worden.


Met vriendelijke groet,
Arno van der Pluijm

Pluijm

Een steekproef van niks, maar toch.
"Waarnemingen met media vandaag"
Voor 'alle' WN van deze twee mossen: 100% score plant.

Bleek boomvorkje, Metzgeria furcata:
https://waarneming.nl/observation/310887982/

Gesnaveld klauwtjesmos, Hypnum cupressiforme:
https://waarneming.nl/observation/310887143/
https://waarneming.nl/observation/310887094/
https://waarneming.nl/observation/310886220/
https://waarneming.nl/observation/310883056/





Met vriendelijke groet,
Arno van der Pluijm

hiskodevries

dat tabelletje laat voor 1 mossoort (https://waarneming.nl/species/17755/ ) zien hoeveel waarnemingen daarvan van soort zijn gewijzigd per jaar per maand, ongeacht de reden. Dus de waarneming stond eerst op soort 17755 en is daarna gewijzgd naar een andere mos of een plant of......
 De jaar en maand zijn afgeleid van de datum van de waarneming. Kan best zijn dat die waarnemingen allemaal in mei 2025 zijn gevalideerd/ van soort gewijzig.
Voor gesnaveld klauwtjesmos is dat :
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Pluijm

Dat is duidelijker nu voor mij. Geen opvallende toename van de netto aantallen wijzigingen per maand voor Bleek boomvorkje en Gesnaveld klauwtjesmos inderdaad. Is ook aan te geven hoeveel % gewijzigd is?
Bijv. nu Gesnaveld klauwtjesmos is in maand 5 2024, 102x gewijzigd. Gewijzigd van hoeveel van de totaal binnengekomen WN? Van de oorspronkelijke 102, 150, 400 WN?
Met vriendelijke groet,
Arno van der Pluijm

hiskodevries

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Biedjee7

Citaat van: caliprobola op mei 21, 2024, 11:07:18 AMwestelijke baardgrasmus en balkanbaardgrasmus lijken zo sterk op elkaar dat wanneer er eentje opduikt in de lage landen er vaak een geluidsopname nodig is om de determinatie als deze dan wel de andere soort te bevestigen. Dat de NIA daar een fout in maakt lijkt me dus niet één van de heel merkwaardige resultaten waar we in dit topic naar op zoek zijn.

Maar dit is Spanje, via de site es.observation.org, waar de westelijke baardgrasmus algemeen is en de balkangrasmus zeer zeldzaam.
Het kan natuurlijk zo zijn dat NIA er van uit gaat dat je altijd in Nederland bent, zou niet handig zijn, maar ok. Maar dan nog is het onlogisch dat op de ene (onscherpe) foto 100% westelijke baardgrasmus geopperd wordt en bij een andere (scherpe) foto 95% balkangrasmus.
Zoals je zelf zegt, ze zijn op uiterlijke kenmerken moeilijk te onderscheiden, dus 50%-50% zou een veel logischer resultaat zijn dan 95%-5%.
En dit is nu precies een voorbeeld waar AI juist heel erg goed op te trainen is.
Foto + locatie / waarschijnlijkheid = percentage

Pluijm

Met vriendelijke groet,
Arno van der Pluijm

hiskodevries

de locatie wordt niet in overweging genomen bij het bepalen van een herkenningspercentage.
We weten niet van alle 55.000 soorten die in het model zitten waar ze wel en niet voorkomen
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

Arno, overigens is dit opvallende gedrag bij mossen in november 2023 al bij naturalis gemeld. Laten we hopen dat het 2024 model het beter doet.

A:   :duim:
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Jan-Freerk Kloen

Het valt me de laatste tijd op dat ik bij libellen vaak de suggestie krijg dat er een libellenknutje of Arrenurus spec. op de foto staat, zoals bij deze maanwaterjuffer: https://waarneming.nl/observation/310937687/. Dat zijn beide parasieten die op libellen kunnen zitten, maar de grote meerderheid heeft deze parasieten niet. Vroeger kreeg ik die suggestie eigenlijk nooit, maar de laatste week(?) ongeveer wel vaker. Waar zou dat door komen?

Bij deze had ik het ook: https://waarneming.nl/observation/310155103/. Is een gaffelwaterjuffer, NIA geeft 50% gaffel, 50% libellenknutje. Gaffelwaterjuffer en maanwaterjuffer zijn beide geen soorten die vaak met parasieten erop ingevoerd worden. Daar zijn bijvoorbeeld pantserjuffers, heidelibellen en glazenmakers gevoeliger voor lijkt het. Ik vind het een beetje en vreemde suggestie en ik begrijp niet helemaal waar het vandaan komt.
Jan-Freerk Kloen (JFK)
Validator Libellen & Reptielen en amfibieën

JFK Natuurblog
Beleef de natuur!
www.jfknatuurblog.com