NIA geeft een vreemd resultaat, discussie over oorzaak

Gestart door RutgerB, oktober 07, 2023, 08:55:35 AM

Vorige topic - Volgende topic

RutgerB

Ik vraag me nu al jaren af of het niet veel handiger, duidelijker is als we gewoonweg zelf, als validatoren, 100 foto's (dus niet de waarnemingen) aanwijzen per soort die NIA traint. Nu lijkt het pure willekeur welke goedgekeurde foto (en mogelijk gewoonweg slechte foto, maar met min of meer herkenbaar dier / plantje erop) en in welk aantal (kan van 20 tot 5000 foto's gaan ?) NIA die foto's gebruikt. Ik neem aan dat tussen 5000 foto's van een dier A ook relatief veel foto's zitten die op dier B, C en D lijken en daar dan ook over gaat 'twijfelen'. In ieder geval meer dan dat je 100 foto's selecteert met het oog op herkenbaarheid.

Mij wordt steeds verteld dat je ook wilt dat NIA een diertje / plantje herkent dat van verder weg is gefotografeerd en ook niet centraal op de foto staat, maar ik vraag me af of dat echt is wat je uiteindelijk wil. Wil je dat andere slechte foto's ook worden 'herkend' of wil je dat eigenlijk alleen betere foto's (met een onderwerp centraal en duidelijk in beeld en ook niet al te ver weg) worden gebruikt en dat juist die dus ook beter worden herkend? Ik denk met volle overtuiging het laatste.

Wat we nu feitelijk doen is er een shitload of shitty-foto's (waarvan we wel de waarnemingen uit goedheid toch ook een groen vinkje hebben gegeven) doorheen trekken waardoor uiteindelijk de echt goede foto's een zeldzaamheid worden in het 'meedoen' met NIA en dus ook zelfs niet eens herkend worden. Iemand gaat me vast uitleggen dat het allemaal heel anders werkt, maar ik blijf toch denken dat je het beste gestandaardiseerd foto's aanlevert die NIA mag gebruiken en niet een een 'slordige' greep.

arnoldwijker

Het idee is op zich prima: een specialist x aantal foto's laten selecteren voor NIA. Maar daar mogen m.i. best ook iets minder goed foto's bij zitten zolang er maar een duidelijke herkenning mogelijk is. En de meest erge foto's waarbij de specialist toch net kan zien dat het klopt niet in het NIA leerproces terecht komen.
Of moeten wij als admins misschien op dat soort foto's een blauw vinkje gaan geven zodat ze niet worden meegenomen (en delen we dus eigenlijk te veel groene vinkjes uit)?

RutgerB

Met die blauwe vinkjes ben ik het zeker ook eens, maar dat is nu in het opzicht - wat mag NIA gebruiken ?-  het paard achter de wagen spannen. Ik weet al dat ik ook zelf in het verleden veel groene vinkjes heb uitgedeeld waar ik nu spijt van heb omdat ik weet dat deze waarschijnlijk ook 'meedoen'. Die zou ik dan moeten gaan herkeuren (ik deed het zelfs al voor sommige soorten..) om uiteindelijk het resultaat van een selectie te krijgen. Maar ondertussen worden tegelijkertijd elders door anderen wel weer waarnemingen op 'de oude manier' gekeurd. Dan kunnen we beter echt gaan selecteren.. 

Wat me ook zorgen baart is dat er waarnemingen die zijn goedgekeurd waarbij goede foto's zitten maar ook foto' die herkenning juist moeilijk maken. Er wordt gezegd dat deze in de grote massa wegvallen of ook; als we die waarnemingen niet zouden gebruiken zijn er te weinig foto's van die soort om mee te vergelijken.

Iemand vertelde me dat 'shitty-foto's' nu eenmaal in massa gepost zullen blijven worden en dat het beter is dat NIA daaruit op de huidige manier nog een naam kan peuren zodat we het niet eindeloos moeten gaan corrigeren. Dat betekent voor mij een steile weg naar beneden. Uiteindelijk is dan elke vage zwarte vlek op een grijze ondergrond een algemene zwarte loopkever. Dat heeft niets meer met herkenbaarheid te maken, maar is een belachelijkmakende kansberekening.

Het blijft al bij al bij me knagen dat een gestandaardiseerde selectie een beter resultaat geeft.

Martijn van Sluijs

#3
Graag ophouden met de suggestie om blauwe vinkjes te geven aan waarnemingen puur om te voorkomen dat foto's ervan opgenomen worden in NIA. De keuze tussen een groene vink en een blauwe vink wordt gemaakt op basis van de zekerheid van de waarneming. Bij een groene vink is de naam (zo goed als) zeker. Bij een blauwe vink is de waarneming op basis van het al dan niet geleverde bewijsmateriaal voldoende zeker om goed te keuren maar is de determinatie niet sluitend (genoeg).

Een habitusfoto waarop geen onderscheidende kenmerken te zien zijn, waarvan de nauwverwante soorten niet in de omgeving voorkomen krijgt bijvoorbeeld een blauwe vink. Per soortgroep zal het nog best wat verschillen, maar groen is zeker, blauw is voldoende waarschijnlijk. Zodra je blauwe vinkjes voor andere doeleinden gaat gebruiken dan dat verminder je m.i. de geloofwaardigheid van het validatieproces en de interpreteerbaarheid en dus kwaliteit van de uiteindelijke data. Een matige foto waarbij in het hoekje van de foto het onderscheidende kenmerk voldoende zichtbaar is voor zekere determinatie dient dan ook gewoon een groene vink te krijgen. De determinatie is immers zeker.

Mijn standpunt en toelichting over het zelf selecteren van '100' foto's in plaats van automatisch een veel grotere representatieve trekking nemen uit foto's van zekere waarnemingen (zoals nu) is ongewijzigd. Op die manier steek je extra moeite in het handmatig selecteren van data en krijg je er een (op de breedte van binnenkomende foto's) hoogstwaarschijnlijk slechter presterend model voor terug, wat in validatie nog eens extra werk oplevert. De achtergrond en argumentatie daarvoor ga ik hier niet nog eens neertypen. Hier (https://forum.waarneming.nl/index.php/topic,500714.30.html) is bijvoorbeeld eea terug te lezen.

Het is niet verstandig om aannames te maken over wat goed is voor een beeldherkenningsmodel en op basis daarvan voorstellen te schrijven door wie geen praktijkervaring heeft met deze materie.
Vriendelijke groeten,
Martijn

Martijn van Sluijs

#4
Overigens ben ik er van overtuigd dat bij een aantal soortgroepen de groep mensen die op dit moment meer parate kennis heeft dan NIA erg klein is geworden. De voorbeelden die in dit topic worden gezet zijn uitzonderingen. Overigens wel zeer terecht en goed dat ze hier gemeld worden. Het is goed dat bij dergelijke waarnemingen gekeken wordt of er terugkerende eigenschappen zijn en dus naar wat de oorzaak kan zijn en of daar oplossingen voor kunnen worden gevonden om NIA nog beter te laten presteren.

We spraken er tijdens/na de Floron dag vorig jaar al eens over dat we de quiz eigenlijk eens door NIA zouden moeten halen. Hoogstwaarschijnlijk was in dat geval het merendeel van de deelnemers in de zaal (allen minstens flora-geïnteresseerden) 'verslagen'.

Volgens mij hebben wensen tot verandering van NIA en het grip krijgen op NIA niet zozeer te maken met de prestaties van NIA, maar met het niet begrijpen van de werking ervan, en vooral onvrede over de manier waarop het nu wordt ingezet.

De kwaliteit van binnenkomende foto's/waarnemingen kan niet veranderd worden door aanpassingen aan de set foto's die ter training wordt aangeleverd aan NIA. Wel door betere instructies, of bijvoorbeeld een filter voor te wazige/'pixelige' foto's.

Het gemiddelde percentage waarnemingen dat op dit moment (huidige NIA versie) bij planten onder een foutieve naam binnenkomt ligt denk ik zelfs lager dan vóór NIA, maar doordat het totaal aantal waarnemingen door het dak is gegaan is dat ook het geval voor het absolute aantal fouten. Bovendien is het niet mogelijk voor de validatieteams om evenredig mee te groeien met de aantallen waarnemingen, waardoor de fouten langer blijven openstaan, wat begrijpelijk tot frustratie leidt.
Vriendelijke groeten,
Martijn

RutgerB

Ja, eens met die uitleg van Martijn op groen en blauw, maar in het verleden deden we dat anders en ook tussen validatoren onderling is er nu nog een groot verschil van aanpak. Dan is herkeuren, ook met een half oog op NIA, allicht toch nodig. Of NIA daar beter van wordt is kennelijk sterk de vraag. Ik heb daar inderdaad geen enkele duidelijk aanwijzing voor of ervaring mee, maar wat je er in stopt zal toch uitwerking hebben op wat er uit komt. Als ik zorg dat daar geen enkele van afstand gefotografeerde vogelmuur in komt, dan gaat NIA deze niet meer voorstellen. Bijvoorbeeld wel Vogelmuur spec.  of een andere verzamelsoort waar ik wel waarnemingen van goedkeurde.

Ik blijf me afvragen, ik hoop niet dat dit verboden wordt, of er daadwerkelijk is getest met wat ik voorstel en of dat niet beter zal gaan werken, in combinatie met enkele andere fundamentele wijzigingen. Dat expliciet selecteren werd eerder ook afgedaan als 'te veel werk' , maar ik doe dat werk liever dan het eindeloos corrigeren van verkeerde voorstellen uit NIA. Ik hoop dat het uiteindelijk meer wordt als: Niet herkend? Dan kan in ieder geval ook niet verkeerd benoemd worden.

Is NIA in een soortgroep momenteel beter dan de beste kenner in een soortgroep? Nee, en zelfs niet beter dan de slechtste. NIA stelt ALTIJD iets voor, ook bij 'belachelijke' foto's, en dat is een hele slechte eigenschap voor een kenner. NIA is vast beter bij een quiz dan vele mensen, maar bij een quiz worden dan ook alleen maar expliciet door kenners geselecteerde foto's gebruikt.  ;)

hiskodevries

maar ik blijf toch denken dat je het beste gestandaardiseerd foto's aanlevert die NIA mag gebruiken en niet een een 'slordige' greep.
Nee dat zou de herkenning echt om zeep helpen. Want dan worden foto's van mindere kwaliteit altijd verkeerd herkent. Eventuele discussie in een ander topic voeren svp.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Citaat van: RutgerB op oktober 07, 2023, 12:33:04 PMIk blijf me afvragen, ik hoop niet dat dit verboden wordt, of er daadwerkelijk is getest met wat ik voorstel en of dat niet beter zal gaan werken, in combinatie met enkele andere fundamentele wijzigingen. Dat expliciet selecteren werd eerder ook afgedaan als 'te veel werk' , maar ik doe dat werk liever dan het eindeloos corrigeren van verkeerde voorstellen uit NIA. Ik hoop dat het uiteindelijk meer wordt als: Niet herkend? Dan kan in ieder geval ook niet verkeerd benoemd worden.
Als je dat wil bereiken moet je geen subset van foto's per taxon gaan maken. Daar verander je niets mee. En ja, dat kost bovendien veel moeite. Met die 100 die je noemt ben je lang niet op het huidige niveau van NIA. Zolang je niet in de kern iets aan NIA wijzigt gaat NIA niet ineens 'dat weet ik niet' aangeven oid. Ongeacht hoe de implementatie er uit gaat zien zullen we 'eindeloos verkeerde voorstellen uit NIA blijven corrigeren'. Het is een illusie dat je NIA perfect kunt maken.

Je kunt bijvoorbeeld wel een set foto's samenstellen die geclassificeerd zou moeten worden als 'kan/mag niet worden herkend', en daarmee een (afzonderlijk) model trainen op het maken van het onderscheid 'wel/geen herkenbare foto'. Plantnet doet bijvoorbeeld iets dergelijks. Ze willen/kunnen daar alleen planten herkennen, en hebben dus een model vóór hun plantenmodel zitten dat getraind is op 'mag mee doen' (planten) versus 'mag niet mee doen' (fotocategoriën als landschap, object, selfie, insect, wazig etc.).

Gooi je daar een selfie in dan krijg je netjes de melding 'Not a plant. May be: Homo_sapiens_L.'. Dát is wat mij betreft een manier waarop het aangevlogen zou kunnen worden. Eerder is echter gesteld dat het aantal foto's van dit type te laag is om hier wezenlijke (financiële) investeringen in te doen, en er zal vast ook angst voor vals positieven zijn.

Citaat van: RutgerB op oktober 07, 2023, 12:33:04 PMIs NIA in een soortgroep momenteel beter dan de beste kenner in een soortgroep? Nee, en zelfs niet beter dan de slechtste. NIA stelt ALTIJD iets voor, ook bij 'belachelijke' foto's, en dat is een hele slechte eigenschap voor een kenner. NIA is vast beter bij een quiz dan vele mensen, maar bij een quiz worden dan ook alleen maar expliciet door kenners geselecteerde foto's gebruikt.
Bij meer dan 99% van de foto's is het prima te verantwoorden om 'iets' (familie/genus/soort etc.) voor te stellen.

Ik ben het er mee eens dat het idealiter mooi zou zijn als NIA aan kon geven dat het iets niet in staat is om te herkennen in plaats van een ogenschijnlijk willekeurig taxon aan te wijzen. Een goede start zou zijn om een minimumgrens op het herkenningspercentage in ObsIdentify te zetten. Bij de huidige versie van NIA vraag ik mij sterk af hoeveel foto's waarbij het percentage onder de 10% is alsnog juist voorspeld blijken te zijn.
Vriendelijke groeten,
Martijn

hiskodevries

Zelf ook tegen een wants mismatch aangelopen, te goede foto
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Datura

Ik heb het topic even (vrij grof) gesplitst.  :blink: (en ook de verwijderde posts even ingevoegd)
Natuurlijke groeten van
Kim Lotterman

Crossbill guides

hiskodevries

Heel fijn Kim. Dat lukt mij niet in het weekend via de smartphone.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

RutgerB

Citaat van: hiskodevries op oktober 07, 2023, 12:50:35 PM
Citeermaar ik blijf toch denken dat je het beste gestandaardiseerd foto's aanlevert die NIA mag gebruiken en niet een een 'slordige' greep.
Nee dat zou de herkenning echt om zeep helpen. Want dan worden foto's van mindere kwaliteit altijd verkeerd herkent.


Waarom zou je foto's van mindere kwaliteit, ik vat dat op als grotendeels onherkenbare foto's, toch willen herkennen en dus ook voorleggen aan je validatoren en presenteren / weergeven op je site ?

Je wilt toch iets dat de goede foto's goed doet en de onherkenbare ook als onherkenbaar herkend ?

Over het aantal aan expliciet aan te wijzen foto's die NIA mag gebruiken kan worden gediscussieerd, ook over wat je exact moet aanwijzen. Bijvoorbeeld per categorie (bij planten; in bloei, vegetatief etc.). Ook is een terugkerende vraag dat iets minimaal ..% herkend moet zijn en anders naar 'onbekend / onherkend gaat. Ik heb echt veel liever veel waarnemingen bij plant onbekend / organisme onbekend dan een willekeurige ogende greep uit het assortiment. Plant onbekend kan je ook makkelijker negeren; het is immers niet expliciet fout.

Als alles staat of valt bij budget en wil van een derde partij is de hele discussie trouwens onnodig. Die gaan toch niet doen wat iemand vanaf de zijlijn roept die ook helemaal geen verstand van AI heeft. Laat die maar lekker 'eindeloos' corrigeren.

arnoldwijker

Citaat van: Martijn van Sluijs op oktober 07, 2023, 10:33:00 AMHet is niet verstandig om aannames te maken over wat goed is voor een beeldherkenningsmodel en op basis daarvan voorstellen te schrijven door wie geen praktijkervaring heeft met deze materie.
Dus slechts een beperkt aantal mensen die mee mogen denken?
En wat met een begrip als 'tunnelvisie' bij mensen die 'in de materie' zitten?

Het feit blijft dat NIA soms heel erg de plank mis slaat met goede foto's bij herkenning van hele makkelijke soorten die normaal gesproken wel goed voorspeld worden. Itt tot wat testjes die ik op iNaturalist gedaan heb. Lijkt mij dat met brainstormen uiteindelijk iemand met iets komt wat voor NIA de oplossing gaat geven...

Martijn van Sluijs

Citaat van: arnoldwijker op oktober 15, 2023, 09:19:14 AM
Citaat van: Martijn van Sluijs op oktober 07, 2023, 10:33:00 AMHet is niet verstandig om aannames te maken over wat goed is voor een beeldherkenningsmodel en op basis daarvan voorstellen te schrijven door wie geen praktijkervaring heeft met deze materie.
Dus slechts een beperkt aantal mensen die mee mogen denken?
Ik schreef niet dat meedenken verboden is voor wie geen praktijkervaring (of inhoudelijke kennis) heeft.
Vriendelijke groeten,
Martijn

Datura

Zonder in de materie te zitten, ben ik wel benieuwd waarom de api van Inatiralist beter werkt dan die van ons. Ik heb geen Inatiralist account, maar ik neem aan dat hun api ook gevoed wordt door 'goedgekeurde' (onderzoekskwaliteit heet dat daar geloof ik) fotos op hun site. Vroeger hadden wij last van 'garbage taxa' waar een onverklaarbare mix van goed herkenbare fotos samen kwamen. Dit lijkt nu meer diffuus te zijn, maar nog steeds komen goed herkenbare fotos onverklaarbaar bij niet lijkende taxa. Ik vraag me dan af of de api van Inaturalist dat ook heeft en zo nee, wat het verschil is tussen de APIs?
Natuurlijke groeten van
Kim Lotterman

Crossbill guides

Martijn van Sluijs

Van iNaturalist ken ik het aantal fouten en type fouten niet, maar Plantnet zit er iig in mijn ervaring veel minder vaak 'extreem' ver naast dan NIA, en als het er ver naast zit dan zelden met een hoog percentage (wat NIA wel geregeld doet, wat eigenlijk het grootste probleem daarbij is).

Van beiden weet ik niet in hoeverre hun achterliggende modelarchitectuur (of bijvoorbeeld welke trainingsdata ze gebruiken) openbaar in te zien is, of dat ze bereid zijn om dit (wellicht achter de schermen direct met Naturalis) te delen.

Vriendelijke groeten,
Martijn

Datura

Lijkt mij ook een goed plan als de ontwikkelaars hier eens induiken. Ook al komt het weinig voor, hier: https://waarneming.nl/observation/290719632/ Brede wolfsmelk van willen maken zou helemaal niet voor moeten komen.
Natuurlijke groeten van
Kim Lotterman

Crossbill guides

Andre321

https://www.inaturalist.org/pages/computer_vision_demo De dame van inaturalist was vorig jaar een aantal dagen op congres in Naturalis Leiden.
iNat geeft geen % weer en laat altijd 10 resultaten zien., als & wilt zien heb je een andere app nodig.

Ik denk dat inat monolitisch is en leiden met verschillende modules werkt die je afzonderlijk zou kunnen trainen, kom je in een verkeerd model terecht dan zit je in de fuik en kom je er niet meer uit. Bovendien is de foto maar voor een beperkt deel leidend bij iNat.

Jan Mudde

#18
Citaat van: Andre321 op oktober 23, 2023, 20:07:31 PMhttps://www.inaturalist.org/pages/computer_vision_demo De dame van inaturalist was vorig jaar een aantal dagen op congres in Naturalis Leiden.
iNat geeft geen % weer en laat altijd 10 resultaten zien., als & wilt zien heb je een andere app nodig.

Ik denk dat inat monolitisch is en leiden met verschillende modules werkt die je afzonderlijk zou kunnen trainen, kom je in een verkeerd model terecht dan zit je in de fuik en kom je er niet meer uit. Bovendien is de foto maar voor een beperkt deel leidend bij iNat.



Hallo Andre,

Zou je je bijdrage willen voorzien van de juiste interpunctie en kapitalen. Ik kan er geen chocola van bakken. En volgens mij ligt dat niet aan mij.

Overigens staat er in de laatste  The Lichonologist (Volume 33, Part 5, 2023) een heel interessant artikel aangaande de validatiemethode ( crowd validation ) die dat invoerportaal gebruikt. Een heel belangrijke eindconclusie is dat in het geval van lichenen INaturalist een volslagen onbruikbaar systeem hanteert wat louter leidt naar een ontzettend niet kloppende database.........Dus voor lichenen totaal onbruikbaar is!!!!

Artikel is volgens mij helaas niet in Open Source beschikbaar en te lang om uit te tikken hier. Edit; Hallo Andre,

Zou je je bijdrage willen voorzien van de juiste interpunctie en kapitalen. Ik kan er geen chocola van bakken. En volgens mij ligt dat niet aan mij.

Overigens staat er in de laatste  The Lichonologist (Volume 33, Part 5, 2023) een heel interessant artikel aangaande de validatiemethode ( crowd validation ) die dat invoerportaal gebruikt. Een heel belangrijke eindconclusie is dat in het geval van lichenen INaturalist een volslagen onbruikbaar systeem hanteert wat louter leidt naar een ontzettend niet kloppende database.........Dus voor lichenen totaal onbruikbaar is!!!!

Artikel is volgens mij helaas niet in Open Source beschikbaar en te lang om uit te tikken hier.

EDIT; mogelijk werkt deze link want artikel is toch Open Access https://www.cambridge.org/core/journals/lichenologist/article/can-we-trust-inaturalist-in-lichenology-evaluating-the-effectiveness-and-reliability-of-artificial-intelligence-in-lichen-identification/B3FF5A93621A4684B5E6A114F7C89FFB


Grtz, Jan



Jan Mudde

"Gutta cavat lapidem non vi sed saepe cadendo" (Ovidius)

Favoriete soortgroepen; Korstmossen, Nachtvlinders, Vogels en verder eigenlijk zeer breed natuurgeïnteresseerd. https://waarneming.nl/users/50310/observations/?advanced=on

Michel Langeveld

#19
iNaturalist doet een aantal dingen goed en André wijst op een aantal verschillen in aanpak en presentatie naar de gebruiker. Deze verschillen kunnen best interessant zijn. Beide modellen hebben echter nog steeds ruimte voor verbetering. Zeker zolang er nog fouten gemaakt worden en een groep experts foto's beter kan beoordelen dan de modellen. Dit zal wel een tijdje zo blijven, maar het gat wordt elk jaar kleiner door drie zaken: meer beschikbare foto's, snellere hardware (bv TPU ipv GPU) en betere deeplearning modellen. Onderaan de streep vind ik het NIA model een heel stuk beter en betrouwbaarder werken dan het andere model, maar goed dat er concurrentie is op dit vlak. Dit helpt ook NIA. Bij NIA werkt volgens mij een goed team en waarneming.nl mag zich prijzen hiermee samen te mogen werken.

Op dit moment wordt er gebruik gemaakt van Compu Vision + een aantal slimme dingen. Zo gebruikt het iNaturalist sindskort naast het Compuvision model ook een GeoModel. Met dit model weet met tot op zeker hoogte waar soorten voor kunnen komen en waar niet. Mijn verwachting is dat deze slimmigheden naar verloop van tijd ook wel weer zullen verdwijnen en dat het op een gegeven moment puur AI is. Het zijn eigenlijk leemtes in de AI die men hiermee probeert op te lossen.

Over het maken van een model met kwalitatief hoogstaande foto's. Volgens mij gaat dit niet werken. Wat je in het model stopt komt er uit. Als je een model maakt met alleen hoogstaande foto's, kan dit model alleen hoogstaande foto's herkennen. Wat een gemiddelde waarnemer hier opstuurt is volgens mij een stuk lager in kwaliteit dan dat.

Over waar de fouten vandaan komen? Deels hoort dit ook bij het gebruiken van een model. Het brengt je veel maar kost ook wat. Een beter model maakt minder fouten. Tot op heden was ook het uitbreiden van het model met soorten gunstig voor het herkennen ervan.

Jan Mudde

Citaat van: Andre321 op oktober 23, 2023, 22:26:48 PMJan, als jij die software hier test mag je dat wel eens een heel flink stuk beter gaan doen.
Dat kon echt niet.

Helaas Andre,

ik test geen software, dus kan ik het ook niet beter doen!!

Grtz, Jan
Jan Mudde

"Gutta cavat lapidem non vi sed saepe cadendo" (Ovidius)

Favoriete soortgroepen; Korstmossen, Nachtvlinders, Vogels en verder eigenlijk zeer breed natuurgeïnteresseerd. https://waarneming.nl/users/50310/observations/?advanced=on

Michel Langeveld

#21
Leuk dat de buren een kleiner model hebben. Terug naar het onderwerp, waar komen de NIA fouten vandaan of hoe kan dit aantal omlaag ;).

Lijstje hypotheses:
1) te kort soorten in het model => nog meer partners zoeken of andere werelddelen aansluiten?
2) foto's gevalideerd die aantoonbaar fout zijn
3) foto's van partners die fout zijn => misschien de dataset laten zien aan validatoren van soorten die vaak fout gaan?
4) model niet optimaal geconfigureerd
4a) te weinig layers?
4b) layers verkeerd geconfigureerd -> verkeerde algoritmes
4c) model te kort getrained -> te weinig epochs
4d) onjuiste pixels worden in foto gekozen als input voor het model -> verkeerde "uitsnede"
5) verkeerde foto selectie voor het trainen van het model -> nu wordt geloof ik alles gebruikt met een max van 10k foto's
6) fact of life -> AI maakt fouten -> de mens overigens ook net als experts

Aanvulling 3: misschien moeten bepaalde soortgroepen niet van bepaalde partners gebruikt worden. De ene validator is de andere niet.

Michel Langeveld

#22
Hoi André,

Het andere model gebruikt 100 foto's wat gemiddeld neerkomt op 60 observaties.
Maar dit topic gaat over NIA waarbij men met een minimum van 10 foto's werkt en een heel hoog maximum wat kennelijk goed bevalt.

Het NIA model werkt beter dan het andere model.
Dit topic gaat over waarom NIA gekke resultaten geeft.

Ik denk als je het andere model bij dit topic sleept je heel duidelijk moet aangeven waarom je denk dat dit relevant is voor de gekke resultaten die uit NIA komen, want anders ben ik bang dat iemand met een hele grote schaar gaat langs gaat komen.

groeten,

Michel

RutgerB

#23
Het kan dus prima dat een 100-tal foto's per soort een AI een goed resultaat gaat geven. Combineer het met de waarschijnlijkheid per regio en je gaat iets moois krijgen. Belangrijk lijkt me ook hoe je de herkenning aanbiedt en mensen zelf keuzes laat maken. Zeg niet;  het is 1-100% zeker, zeg : Dit zijn volgens AI je mogelijkheden en de bovensten, zelfs met geautomatiseerde suggesties voor verzamelsoorten, lijkt de AI het waarschijnlijkst.

Mij is het nu allemaal veel te dwingend, manipulatief in eerste instantie (je had niet door dat je waarnemingen postte) en nog steeds sturend. Je kunt zelf niet eens een eigen keuze maken uit een echte soortenlijst. Bijvoorbeeld door uiteindelijk toch te kiezen voor 'plant onbekend' omdat de keuzes van de AI je niet overtuigen of gewoonweg omdat door een kleuter kan worden vastgesteld dat de suggestie niet juist is. AI is pas echt goed in combinatie met een nadenkend mens.

Martijn van Sluijs

#24
Citaat van: Michel Langeveld op oktober 25, 2023, 22:07:31 PMHet andere model gebruikt 100 foto's wat gemiddeld neerkomt op 60 observaties.
Voor zover ik weet worden taxa bij inaturalist in het model opgenomen vanaf 100 foto's (plus een aantal extra criteria). Dit minimum ligt bij obs inderdaad lager. Wat mogelijk overigens niet veel uitmaakt, want ik denk niet dat veel soorten met tussen de 10 en 100 referentiefoto's in de praktijk door NIA juist benoemd worden (misschien vanaf 50-60 af en toe?). Het is niet zo dat per taxon vervolgens ook 'slechts' 100 foto's gebruikt worden bij inaturalist. Zie bijvoorbeeld een (iets verouderd) bericht: "...60,000 taxa and almost 30 million training photos..."

Dat bij inaturalist 100 foto's het absolute minimum is om in het model opgenomen te worden (vanaf dan wordt blijkbaar enige redelijke kans op herkenning door de AI verwacht), is m.i. eerder bevestiging dat het handmatig labelen van foto's die NIA wel/niet mag gebruiken om te trainen niet te doen is. En waarom ook? We labelen immers al de foto's waarvan met zekerheid het labeltje wat er aan vasthangt klopt. De individuele foto's die wel een groene vink kregen maar waarvan niet de soortnaam te bepalen is zijn hoogstens ruis.

Ik zie meer kansen in andere softwarematige oplossingen dan in handmatig afbeeldingen gaan labelen die mee mogen doen voor trainen van NIA. Inderdaad vaker familie-/genusniveau voorstellen als NIA niet tussen de onderliggende 'soorten' kan kiezen bijvoorbeeld. Om te beginnen NIA Plant onbekend laten suggereren wanneer deze wel zeker is dat het een plant is, maar de hoogste individuele taxonvoorspelling <5% zekerheid krijgt. Dat zou geen complexe ingreep moeten zijn. Ook ermee eens dat de waarnemer tenminste altijd een overkoepelende soortgroep-indet moet kunnen kiezen als geen van de NIA suggesties logisch lijkt.

Op de langere termijn zal bijvoorbeeld ook gekeken moeten worden naar locatie + datum mee laten nemen tijdens trainen en voorspellen (embedding, en dus niet alleen achteraf resultaten filteren). Dit is een stukje informatie wat hartstikke nuttig is, en 'wij' als validatoren en waarnemers ook altijd meenemen. NIA moet wat mij betreft ook de kans krijgen om dat te kunnen doen. De validator moet vanzelfsprekend altijd blijven kijken naar de juiste kenmerken om de determinatie te kunnen bevestigen, maar NIA heeft zo wel meer kans om de waarneming eerder op de juiste plek te krijgen. Als iemand mij laat weten een kruiskruid met lintbloemen te hebben gezien, dan kan ik daar met geen mogelijkheid een (waarschijnlijke) soortnaam aan plakken. Als daar de informatie bij komt dat het in het voorjaar in (noord) Duitsland was, dan wordt het een ander verhaal...
Vriendelijke groeten,
Martijn

RutgerB

Toch wel een belangrijke factor is dat groene vinkjes, zeker die meer dan 2-3 jaar geleden zijn gezet, niet zijn gegeven met het oog op absolute zekerheid dat de foto juist is. De combinatie van waarnemer, plek en enige waarschijnlijkheid dat de foto van het betreffende organisme was, was genoeg voor een groene vink. Nu wordt er veel meer met blauwe vinkjes gewerkt, althans dat doe ik.

Ook worden alle foto's bij 1 waarneming, waar in theorie ook foto's van de omgeving en zelfs foto's waar andere dieren en planten pontificaal op staan, gebruikt. En wat te denken van microscopie-foto's ? Bijv. sporen van paddenstoelen in combinatie met de paddenstoel zelf. Dat zal toch voor AI gewoonweg niet te doen moeten zijn? 

Zeker als er nu al niet al te veel foto's van bepaalde soorten zijn, zijn al deze problemen uitvergroot groot.

Ik ben dus toch voor een model waarbij je een x-aantal foto's (minimaal 250?) individueel aanwijst. Kan haast niet anders dan dat dat beter werkt dan nu. Ik wil ook best een winter besteden om 250 foto's per plant aan te wijzen. Is het niet het proberen waard?


hiskodevries

Citaat van: RutgerB op oktober 27, 2023, 09:00:57 AMDe combinatie van waarnemer, plek en enige waarschijnlijkheid dat de foto van het betreffende organisme was, was genoeg voor een groene vink.
daar was die door jou zo vurig gewenste blauwe vink voor.
Nee met de 250 mooiste fotos wordt de herkenning alleen maar slechter.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

RutgerB

Citeerdaar was die door jou zo vurig gewenste blauwe vink voor.

Exact! En goed dat die er is. Betekent ook dat heel veel keuringen daarvoor met groen eigenlijk ook beter een blauw vinkje kregen.

CiteerNee met de 250 mooiste fotos wordt de herkenning alleen maar slechter.
Ik heb nooit geschreven dat het de 'mooiste foto's' moeten zijn. Wel dat het foto's moeten zijn die individueel herkenbaar zijn en dan vallen veel 'slechte foto's' af. Ik heb wel eens eerder voorgesteld dat je alleen groene vinkjes gebruikt bij waarnemingen met 1 foto. Volgens mij sluit je dan ook al heel veel ruis uit. En zou je met 250 foto's niet ook heel veel op rekenkracht besparen?

Mijn doel zou ook niet zijn om alles met NIA tot op soort te benoemen, mijn doel zou zijn om alles wat je met NIA benoemt ook vanwege de juiste reden te benoemen: Omdat het een goed te benoemen, relatief goede foto is. De rest komt op de hoop 'niet te benoemen' , 'alleen op genus te benoemen', alleen op familie te benoemen', 'alleen op soortgroep te benoemen'.

Eigenlijk alles waar we,  als validatoren,  die 10.000-en waarnemingen nu 1 voor 1 naar (zouden moeten) wijzigen. Een bovenaanzicht en detailfoto van een composiet is niet 70% Gewoon biggenkruid of 85% Oosterse morgenster of 37 % Bezemkruiskruid. Het zou standaard Asteraceae spec. moeten zijn. Dan nog is de vraag waarom we dergelijke waarnemingen zo massaal willen verzamelen / weergeven. Zie mijn andere bijdragen in 3034 topics.

hiskodevries

Ik ben een heel groot voorstander dat NIA naar een genus of familie zou moeten verwijzen bij onzekerheid. Maar dan moet die onzekerheid wel bestaan en genoeg goedgekeurde genus en familie waarnemingen aanwezig zijn.
Als een gele composiet met alleen een foto van de bloem goedgekeurd is met een   :right: op soortnaam dan weet Nia niet beter.
Dus als je dat bedoelt dan ga ik met je mee. Maar niet met we moten 150 foto's met een  :right: per 'soort' hebben en dan zijn we klaar.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Michel Langeveld

#29
Ik vermoed als je wilt feedback wilt over geslacht en familie taxa dat je dat het het beste is hiervoor aparte modellen te maken. De generatie kan dan nog steeds a.d.h.v. dezelfde fotoset. Als iets 100% een ruwe berk is, is het ook zeker een Betula en Betulaceae. Denk dat het handig is de uitkomsten uit beide modellen aan de gebruiker te presenteren. Hopelijk snapt deze dan dat als iets 100% een Betulaceae is dat hij geen vogel moet kiezen als soort. Mogelijk is het handig om de betrouwbaarheid van gebruikers en validatoren bij te houden (per soortgroep) voor zover dit niet al gebeurd.  Als gebruikers er om bekend staan er een potje van te maken, misschien moeten de NIA resultaten dan op een andere manier gepresenteerd worden. Ook kan de betrouwbaarheid van de validator gebruikt worden in de foto selectie. Gebruikers met een hele hoge betrouwbaarheid kunnen dan ook weer benaderd worden om validator te worden.