Suggestie Grutto bij diverse waarnemingen

Gestart door Maarten Hotting, februari 02, 2021, 19:38:12 PM

Vorige topic - Volgende topic

Maarten Hotting

Ik kom de laatste weken opvallend veel waarnemingen tegen waarbij de NIA de suggestie Grutto geeft:
Hieronder zomaar wat voorbeelden. Wat kan hier de oorzaak van zijn? En kan dit opgelost worden?

Server disagreed (100%)
Geef commentaar en zet waarneming op 'I'
: Grutto - Limosa limosa

https://old.waarneming.nl/waarneming/view/206620426
https://old.waarneming.nl/waarneming/view/206703563
https://old.waarneming.nl/waarneming/view/206665698
https://old.waarneming.nl/waarneming/view/206631804
https://old.waarneming.nl/waarneming/view/206631583
Groet,
Maarten


hiskodevries

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

SlechtValk

Citaat van: Maarten Hotting op februari 02, 2021, 19:38:12 PM
https://old.waarneming.nl/waarneming/view/206620426
https://old.waarneming.nl/waarneming/view/206703563
https://old.waarneming.nl/waarneming/view/206665698
https://old.waarneming.nl/waarneming/view/206631804
https://old.waarneming.nl/waarneming/view/206631583

Opvallend is dat het erg vaak vogels in de lucht/met een blauwe achtergrond zijn... is er toevallig voor het huidige model iets te veel gebruik gemaakt van vliegende grutto's als input, waardoor het model alles met een blauwe achtergrond nu als grutto wegzet? (geen idee of het zo werkt... maar toch)...
Met Vriendelijke Groeten,
SlechtValk (a.k.a. Stefan)


Na de paartijd gaan de vogels trekken.

hiskodevries

daar lijkt het wel op, maar ik heb de vraag bij de NIA ontwikkelaars neergelegd maar nog steeds geen verklaring gekregen.
volgens mijn informatie zou NIA namelijk kleurenblind moeten zijn
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Bij de soortgroep Planten was dit bij de vorige versie van NIA het geval met 'Bosboterbloem s.s.', en in de huidige versie (in mindere mate) bij Speenkruid. Al eerder heb ik na zitten denken hoe het nu kan dat dit soort dumpsoorten tot stand komen in een beeldherkenningssysteem. Met enige achtergrond in de constructie van dit soort systemen, en kennis van hoe ze doorgaans in elkaar zitten, kom ik uit op één plausibele optie. Het is een combinatie van twee factoren. Echter ben ik er zeker van dat er ook nog andere oorzaken kunnen zijn die ik over het hoofd zie. Het is erg complex.

Die mogelijke oorzaak zal ik hieronder proberen toe te lichten. Daarvoor zal ik het geheel flink simplificeren, en proberen te illustreren aan de hand van een voorbeeld. Dit in een poging om het leesbaar en volgbaar voor iedereen te houden.

Voordat een beeldherkenningssyteem toegepast kan worden, gaat het door een trainingsfase. Je zou deze trainingsfase als volgt voor kunnen stellen. Je zet een mens zonder enige kennis van wat voor soort dan ook voor een computer. Het enige wat deze mens kan, is iets leren/onthouden, maar begint op een kennisniveau van nul. Deze mens kan nog geen plant van een vogel onderscheiden. De enige informatie die je telkens geeft is een foto, en een lijst van alle taxa die gekozen kunnen worden. Iedere keer dat deze persoon het goede taxon aan de foto koppelt, wordt 1 euro aan de beloning voor het geleverde werk toegevoegd. Iedere keer dat deze persoon het fout doet, wordt 50 cent van de beloning afgehaald, waarbij de beloning onder nul kan gaan.

In het begin is de beloning natuurlijk ver onder nul. Er zijn enorm veel opties die gekozen kunnen worden! De kans dat de euro binnen wordt gehaald is in het begin nihil. Na verloop van tijd (duizenden, miljoenen foto's en pogingen) gaat deze persoon echter patronen zien/leren. Bepaalde combinaties in kleur en structuur die altijd op een bepaalde soort wijzen bijvoorbeeld. Of een bepaalde vorm die bij slechts een select aantal soorten voorkomt, waardoor de kans dat het gekoppelde taxon(/de 'gok') klopt flink toeneemt. Steeds minder wordt het zo puur 'gokken', een steeds meer wordt het 'herkennen'.

Die verbetering stopt na een bepaalde tijd, omdat de hoeveelheid foto's en de kwaliteit van informatie simpelweg beperkt is. Op het moment dat blijkt dat deze persoon niet meer verder te trainen is op basis van de beschikbare foto's (dat wil zeggen, na verschillende pogingen blijft de totale beloning nagenoeg gelijk op een maximum hangen), dan wordt deze persoon aan het werk gezet op nieuwe foto's. Dan is de trainingsfase voorbij. Die persoon/(dat systeem!) noemt waarneming.nl NIA.

Vermoedelijk wordt NIA (de persoon hierboven) alleen getraind op goedgekeurde foto's. Foto's waar ook echt een soort op staat. Foto's waar géén taxon aan te koppelen is bestaan niet voor NIA. Onthoud dit, dit is een belangrijk aspect.

Stel nu: je geeft NIA een nieuwe foto. NIA komt tot de conclusie op basis van de foto dat de soort wel zeker één van een paar vogels is. Alhoewel NIA geen kennis heeft van taxonomie, wordt in de interne structuur waarschijnlijk na verloop van tijd waarschijnlijk wel e.e.a. opgesplitst. Taxonomische groepen komen nu eenmaal vaak overeen met kenmerken zichtbaar op een foto. Niet voor niets kan vrijwel ieder mens direct een plant onderscheiden van een vogel. Goed; conclusie = vogel. Dan wordt het uitsplitsen: welke vogel?

Wat hier kan gebeuren, is dat alle opties uit worden gesloten door het model/systeem, waarna één mogelijkheid overblijft; in dit geval de Grutto. Je zou dit kunnen zien als: "Ik weet zeker dat het soort A, B, C of D is. Is het soort A? Nee. Is het soort B? Nee. Is het soort C? Nee. Dan moet het soort D zijn.". Zo wordt de soort niet bepaald, maar wel het groepje soorten, en andere opties uitgesloten. NIA weet hierbij niet dat de keuze 'onbeoordeelbaar' of 'helemaal geen soort' of 'zo'n type foto zag ik niet eerder van soort A' niet bestaan.

NIA denkt hierbij niet als wat wij kennen als 'een gewoon mens', die kijkt of alle kenmerken kloppen, maar kent alleen structuren, patronen en kleur(verhoudingen) (daarbij bedoel ik evt ook zwart-wit). Aan de hand daarvan koppelt NIA een percentage waarschijnlijkheid voor ieder taxon aan de foto. In dat systeem hoeft het niet zo te zijn dat de kenmerken van de soort zichtbaar zijn, maar kan het ook zo zijn dat zeker wordt geacht dat het een soort binnen een klein groepje soorten is, maar ook zeker wordt geacht dat het niet één van de andere soorten in dat groepje is (of dat überhaupt niet zeker is welke soort het is binnen dat groepje). Dan kiest NIA gewoon de soort die in de trainingsdataset het vaakst juist blijkt te zijn in zo'n situatie, en ontstaat een dumpsoort. Een taxon dat overblijft en gekozen wordt nadat alle opties binnen dat subgroepje soorten is 'uitgesloten'.

Blijkbaar is het door de combinatie van de beloningsfunctie (de hoogte van de straf en beloning), en ik vermoed dus door het gebrek aan foto's in de trainingsdata waar géén van de beschikbare soorten op zichtbaar is(!) in de deze versie waardevol voor NIA om binnen een bepaalde groep foto's na 'uitsluiten' van andere opties alles te dumpen op 'Grutto'.

Wellicht is hierbij ook de 'beloning' voor het goed koppelen van een naam aan een foto te hoog, en de 'straf' voor het onjuist koppelen te laag.

Stel: ik leef mij even in in NIA. Als mijn straf voor het foutief valideren van een waarneming 1 cent zou zijn, en beloning voor het juist valideren 1 euro, en ik wist dat het zeker één van vijf soorten was (want 'staat geen soort op de foto' of 'niet beoordeelbaar' bestaan voor NIA niet!), dan zou ik zeker een gokje wagen :). Op de lange termijn geeft 'ik weet het niet' mij een verlies van 1 cent per waarneming, en 'ik gok één van de vijf' gemiddeld een winst van 20 cent.

Wanneer ook maar een klein beetje aan de parameters van een nieuwe versie van NIA gesleuteld wordt, of wanneer de dataset een klein beetje verandert (wat sowieso gebeurt, want die breidt uit), verandert ook de interne structuur van het systeem. Het is nog een klein beetje afhankelijk van hoe het gedaan wordt, maar vermoedelijk verdwijnt het probleem in een volgende versie, of verschuift het naar een andere soort. Voor dit soort dingen is de bèta-test van een nieuwe versie er ook!
Vriendelijke groeten,
Martijn

hiskodevries

de vogels en de paddestoelen worden opnieuw in training genomen. doorlooptijd 2 weken
als die klaar zijn worden de 1000 most common species geanalyseerd. Doorloop tijd 1 week.
Dan zouden we over drie weken een nieuw model moeten hebben waarin de Grutto en de Krakeend weer goed moeten werken.
Wat daarna nog door ons getest gaat worden.

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

#7
Het bestaan van submodellen betekent dat NIA dus wel degelijk enige kennis van taxonomie heeft (i.t.t. wat eerder beweerd is), en dat het dus ook technisch mogelijk is om alleen binnen zo'n submodel te laten zoeken, en dat het dus mogelijk is alleen de resultaten van één submodel te krijgen.

Als ik ervan uit ga dat er per soortgroep één submodel is (waar het door deze berichtgeving, en het bericht in 'wat is onder handen' wel op lijkt), betekent dat dat het technisch mogelijk is om de beeldherkenning door de gebruiker te laten beperken tot een soortgroep naar keuze. Het enige wat mist is de gebruiksinterface.

Zou bijvoorbeeld bijzonder handig zijn als je een beestje op een plant fotografeert, thuis erachter komt dat de soort waardplantafhankelijk is en je geen kennis van planten hebt. Dan gooi je de foto door de beeldherkenning met de restrictie 'soortgroep planten' (anders gaat deze je beestje 'herkennen'), en krijg je 9 van de 10 keren de juiste soort, waardoor een plantenadmin alleen maar een vinkje hoeft te zetten bij de waarneming om de waardplant te bevestigen (ipv dat je de plant in moet voeren onder een verzamelsoort of 'plant onbekend'). Zo zijn nog wel tientallen voorbeelden te bedenken vermoed ik. Denk bijvoorbeeld ook aan de waarnemers die maar één soortgroep invoeren, en geen andere soortgroepen in hun suggesties willen krijgen.

Ik zie mogelijkheden in ieder geval. Dit bericht is te beschouwen als 'suggestie'/wens.
Vriendelijke groeten,
Martijn

RutgerB

Graag ook enige aandacht voor de nieuwe 'Bosboterbloemen' bij de planten.

Ik zie nu relatief veel meldingen van Gewoon speenkruid die met de app zijn benoemd maar heel andere planten betreffen.

https://waarnemingen.be/observation/207585701 

Dat is Grote ereprijs en lijkt in geen velden of wegen op speenkruid.

CiteerObsIdentify voorspelt Gewoon speenkruid - Ficaria verna met zekerheid 100.0%

migratorius

Citaat van: Rutger Barendse op februari 22, 2021, 09:39:03 AM
Graag ook enige aandacht voor de nieuwe 'Bosboterbloemen' bij de planten.

Ik zie nu relatief veel meldingen van Gewoon speenkruid die met de app zijn benoemd maar heel andere planten betreffen.

https://waarnemingen.be/observation/207585701 

Dat is Grote ereprijs en lijkt in geen velden of wegen op speenkruid.

CiteerObsIdentify voorspelt Gewoon speenkruid - Ficaria verna met zekerheid 100.0%
Uit mijn hoofd (kan me vergissen bij de varen), gebeurde dat bij:




Maar niet (!) bij:


JanHein

RutgerB

Net even gecontroleerd door die foto's in te voeren en inderdaad. 100% Gewoon speenkruid. Supervreemd!

Wat Martijn beschrijft begrijp ik overigens maar half, maar het is duidelijk dat het met dergelijke uiteenlopende goede foto's (waar heel herkenbaar andere planten op staan dan Gewoon speenkruid) iets helemaal fout gaat. Die betreffen heel bot gezegd 100% iets heel anders.

Rob Koelman

Citaat van: Rutger Barendse op februari 22, 2021, 19:22:30 PM
Net even gecontroleerd door die foto's in te voeren en inderdaad. 100% Gewoon speenkruid. Supervreemd!

Wat Martijn beschrijft begrijp ik overigens maar half, maar het is duidelijk dat het met dergelijke uiteenlopende goede foto's (waar heel herkenbaar andere planten op staan dan Gewoon speenkruid) iets helemaal fout gaat. Die betreffen heel bot gezegd 100% iets heel anders.

Zo vreemd is dit anders niet.

Doordat vanuit waarneming.nl telkens maar weer rondgebazuind wordt wat een ongelofelijk geweldig en ronduit onfeilbaar wonderprogramma ObsIdentify toch is krijgen veel mensen het idee dat dat inderdaad zo is. Helaas is de waarheid dat het programma voor een aantal soortgroepen gewoonweg nog notoir onbetrouwbaar is...
Met vriendelijke groet, Rob

Carolien



Zo vreemd is dit anders niet.

Doordat vanuit waarneming.nl telkens maar weer rondgebazuind wordt wat een ongelofelijk geweldig en ronduit onfeilbaar wonderprogramma ObsIdentify toch is krijgen veel mensen het idee dat dat inderdaad zo is. Helaas is de waarheid dat het programma voor een aantal soortgroepen gewoonweg nog notoir onbetrouwbaar is...
[/quote]

Dat zo'n app weleens een verkeerde naam uitspuugt, heb ik wel beeld en geluid bij. Wat ik storender vind, is dat sommige waarnemers ontieglijk "lui" worden en niets meer controleren. Mensen leunen heel erg op de automatische herkenning. Mijn broek zakt echt af als er slakken en schelpen worden ingevoerd bij de paddenstoelen.

De app werkt prima voor bepaalde groepen, maar niet voor paddenstoelen helaas. En dit zal ook nooit gaan gebeuren, want 90% van de paddenstoelen kan nou eenmaal niet benoemd worden vanaf een plaatje.
Hartelijke groet Carolien Reindertsen

Carolien

Maar om even aan te sluiten op dit topic: ik merkte ook dat er afgelopen winter erg veel waarnemingen binnen kwamen van de Voorjaarspronkridders. Nu kan dat wel, want ze zijn al uitzonderlijk vroeg gesignaleerd, maar niet alle waarnemingen klopten in deze. Zou dat een foutje in de herkenning kunnen zijn Hisko?
Hartelijke groet Carolien Reindertsen

jck


marcel234

#15
Citaat van: Carolien op februari 23, 2021, 01:00:51 AM
Maar om even aan te sluiten op dit topic: ik merkte ook dat er afgelopen winter erg veel waarnemingen binnen kwamen van de Voorjaarspronkridders. Nu kan dat wel, want ze zijn al uitzonderlijk vroeg gesignaleerd, maar niet alle waarnemingen klopten in deze. Zou dat een foutje in de herkenning kunnen zijn Hisko?
Dat kan je bij de bron van de waarneming zien.

hiskodevries

Citaat van: Rob Koelman op februari 22, 2021, 22:26:08 PM
Citaat van: Rutger Barendse op februari 22, 2021, 19:22:30 PM
Net even gecontroleerd door die foto's in te voeren en inderdaad. 100% Gewoon speenkruid. Supervreemd!

Wat Martijn beschrijft begrijp ik overigens maar half, maar het is duidelijk dat het met dergelijke uiteenlopende goede foto's (waar heel herkenbaar andere planten op staan dan Gewoon speenkruid) iets helemaal fout gaat. Die betreffen heel bot gezegd 100% iets heel anders.

Zo vreemd is dit anders niet.

Doordat vanuit waarneming.nl telkens maar weer rondgebazuind wordt wat een ongelofelijk geweldig en ronduit onfeilbaar wonderprogramma ObsIdentify toch is krijgen veel mensen het idee dat dat inderdaad zo is. Helaas is de waarheid dat het programma voor een aantal soortgroepen gewoonweg nog notoir onbetrouwbaar is...
Waar lees je dat Rob ?
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

Rutger, ik heb een test scriptje wat random 20 goedgekeurde waarnemingen met fotos van 1 soort door NIA jaagt en dat met de resultaten terug komt.
bij zowel het wilgenroosje als die ereprijs zie ik geen rare opvallende resultaten.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

RutgerB

Ik denk niet dat het mis gaat bij 1 soort die steeds wordt herkend als Gewoon speenkruid. Ik denk dat het andersom is. Er is iets mis met het suggereren van Gewoon speenkruid bij een heel scala van soorten.

hiskodevries

Rutger, dat neem ik ogenblikkelijk aan. Nu even de overeenkomst tussen die foto`s zoeken
Het zou zo maar een 'Grutto' effect kunnen zijn.
Het is in elk geval niet zo dat een groot aantal fotos van 1 of meer soorten consequent op speenkruid uit komen
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

ik zie sinds 1-1-2021 82 waarnemingen waarbij onterecht Speenkruid is voorgesteld
Daarna volgt Dubbelloof met 67 waarnemingen
Dat zijn samen met de grutto (1166 waarnemingen) de top drie foute voorspellingen.

Het valt allemaal wel mee , behalve bij de Grutto.

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

migratorius

Het plantenseizoen is ook nog niet begonnen...

Wat de AI ziet weet ik niet, want ik ben geen robot (dat weet ik zeker, want ik moet het vaak genoeg bevestigen).
Ik denk dat de AI op de een of andere manier "vastloopt" en dan Grutto of Gewoon speenkruid oplevert.

Ik ben met oude waarnemingen uit (vooral) Engeland bezig.
Bij 1% van de ingevoerde waarnemingen kwam de AI op 100% Gewoon speenkruid.
Die uitslag komt volgens mij alleen als er één enkele foto wordt ingevoerd, dus ligt het niveau bij de écht luie invoerders vast iets hoger.
De plantenadmins kunnen dan alvast uitrekenen hoeveel foutieve waarnemingen ze te wachten staat.

"100,0% Speenkruid" (AI): https://observation.org/media/photo/033/545/33545675.jpg
Maar het is:
"100,0% Bijenorchis" (ook AI): https://observation.org/media/photo/033/545/33545835.jpg

JanHein

hiskodevries

JanHein, het moet iets subtiels zijn deze waarneming https://waarneming.nl/observation/173569376/# die qua foto op die van jou lijkt gaat helemaal goed
https://waarneming.nl/observation/102734422

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

migratorius

Misschien is het iets in de ruis of het histogram van de foto of zo (iets wat wij niet "zien" maar de AI wel).
Ik vind het heel intrigerend!

JanHein

hiskodevries

JanHein, ik ook. Dus dit probleem ook aan de NIA taakgroep gepresenteerd.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Citaat van: hiskodevries op februari 26, 2021, 07:33:44 AM
JanHein, het moet iets subtiels zijn deze waarneming https://waarneming.nl/observation/173569376/# die qua foto op die van jou lijkt gaat helemaal goed
https://waarneming.nl/observation/102734422

Zoals ik in mijn bijdrage hierboven geprobeerd heb uit te leggen; doordat een beeldherkenningssysteem totaal anders 'denkt'/'herkent'/'ziet' dan een mens, gaan dit soort redeneringen per definitie niet op.
Vriendelijke groeten,
Martijn

dirder

Citaat van: Rob Koelman op februari 22, 2021, 22:26:08 PM
Citaat van: Rutger Barendse op februari 22, 2021, 19:22:30 PM
Net even gecontroleerd door die foto's in te voeren en inderdaad. 100% Gewoon speenkruid. Supervreemd!

Wat Martijn beschrijft begrijp ik overigens maar half, maar het is duidelijk dat het met dergelijke uiteenlopende goede foto's (waar heel herkenbaar andere planten op staan dan Gewoon speenkruid) iets helemaal fout gaat. Die betreffen heel bot gezegd 100% iets heel anders.

Zo vreemd is dit anders niet.

Doordat vanuit waarneming.nl telkens maar weer rondgebazuind wordt wat een ongelofelijk geweldig en ronduit onfeilbaar wonderprogramma ObsIdentify toch is krijgen veel mensen het idee dat dat inderdaad zo is. Helaas is de waarheid dat het programma voor een aantal soortgroepen gewoonweg nog notoir onbetrouwbaar is...

De laatste tijd al m'n waarnemingen via de nieuwe site ingevoerd met de bedoeling de herkenningssoftware te testen en het resultaat was echt bedroevend. Zelfs bij waarnemingen met ondubbelzinnige foto's waarvan al tal van soortgelijke foto's goedgekeurd staan op beide sites, zoals zaailingen van Quercus ilex (kan dit gewoonweg niet herkennen en vreemd genoeg krijg je dan ook nooit Hulst als suggestie) of rozetten van Gifsla (dan krijg je bijvoorbeeld Hazelmuis als beste suggestie). Kan je net zo goed een chimpansee een kantoor met een pc geven (zou me niks verbazen dat een chimp veel sneller te trainen is overigens). Dit is echt niks anders dan fake news, pseudowetenschap enz enz....
Groeten, Dirk Derdeyn.

Bert de Ruiter

#27
Citaat van: Maarten Hotting op februari 02, 2021, 19:38:12 PM
Ik kom de laatste weken opvallend veel waarnemingen tegen waarbij de NIA de suggestie Grutto geeft:
Hieronder zomaar wat voorbeelden. Wat kan hier de oorzaak van zijn? En kan dit opgelost worden?

Aah,

Ik ben dus niet de enige. Deze "Grutto"/"Houtduif heeft ook een metamorfose ondergaan.  :micro:
Met een vriendelijke groet,

Bert

Zie http://macrowereld.com/index.html voor mijn website

hiskodevries

om te testen of een waarneming via het net aangemaakte model wel correct werkt heb ik een check gemaakt
https://old.waarneming.nl/hisko/check_nia_one_obs.php?w=102734422
102734422 kun je wijzigen voor een andere waarneming id, Als je een waarneming op waarnemingen.be of observation.org wilt testen moet je de hele link aanpassen

dus https://old.waarnemingen.be/hisko/check_nia_one_obs.php?w=207585701
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Platbuik

Dit levert bij mij authorisatieproblemen.
---88:  A. van Leur (Þlatbuik)