Automatische validatie

Gestart door WijnandvB, juli 13, 2021, 07:49:43 AM

Vorige topic - Volgende topic

WijnandvB

Goedemorgen.
Wanneer ik een waarneming met foto invoer op de website, geeft de beeldherkenningssoftware regelmatig een percentage van 100%. Bij veel komt er automatisch een vinkje bij die waarneming maar in een vrij groot aantal gevallen niet. Dit vindt plaats in verschillende soortgroepen. Zie bijvoorbeeld:
https://waarneming.nl/observation/219781525/
https://waarneming.nl/observation/219781823/
https://waarneming.nl/observation/219781342/
https://waarneming.nl/observation/219777142/
https://waarneming.nl/observation/219770574/
https://waarneming.nl/observation/219576824/

Is daarin een verbetering mogelijk?

Vanaf welk 'goed' percentage verschijnt zo'n automatische validatie? Alleen bij 100% of zou dat bijvoorbeeld ook bij waarnemingen met een percentage van meer dan 95% mogelijk zijn. Wellicht vermindert dit ook de enorme aantallen die de validatoren voorgeschoteld krijgen.

Mvrgr, Wijnand.



hiskodevries

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

WijnandvB

Dank je wel voor de verwijzing naar de link, Hisko.

Nog één verduidelijkingsvraag over de voorwaarden voor automatische validatie: Bij de soort moet aan staan dat deze manier van valideren gebruikt mag worden.

In de voorbeelden die ik noem (er zijn er veel meer trouwens), is soms sprake van een nieuwe locatie (confident, but a new location). Dus geen automatische validatie.
Bij andere voorbeelden is de soort dus niet opgenomen in de lijst met "automatisch valideren staat aan", maar boven 90% herkenning.

Worden deze > 90% herkende waarnemingen later alsnog (of met enige voorrang) bekeken, of blijven die "hangen" in de bulk.

Mvrgr, Wijnand.

Daandrukker

Dag Wijnand,

Alles waar geen automatische beeldherkenningvalidatie voor aan staat wordt in principe later door een menselijke admin gevalideerd.

Bij veel soortgroepen werkt automatische validatie niet goed, omdat enkele zeldzame soorten nog nooit met goedgekeurde foto in de database staan en dus niet kunnen dienen als referentie.

Bij de haften merk ik bijvoorbeeld dat enkele zeldzame soorten regelmatig met zeer hoge zekerheidspercentages (95-100%) als Cloeon dipterum worden gesuggereerd. De reden daarvoor ligt voor de hand: Cloeon dipterum is verreweg de algemeenste haftensoort van Nederland, en is zodoende vanuit elke hoek al een keer door de gebruikers gefotografeerd (en ook goedgekeurd). Soorten die vanuit minder hoeken gefotografeerd zijn in de referentiedatabase zullen niet worden herkend als er een nieuwe foto wordt ingevoerd vanuit die bepaalde hoek.

Groetjes,
Daan
Vriendelijke groeten,
Daan Drukker
Validatiecoördinator bij EIS-Kenniscentrum Insecten

WijnandvB

Dag Daan.

Door de enorme aantallen ingevoerde waarnemingen hoopte ik op een mogelijkheid om de werkdruk bij de admins wat te helpen wegnemen met mijn reactie.
Ik snap dat bij veel van de insectensoorten detailfoto's van belang zijn vanwege op elkaar gelijkende soorten.

Wordt de lijst met soorten met automatische beeldherkenningvalidatie regelmatig geüpdatet?
Voorbeeld Sphex funerarius

In het afgelopen jaar circa 250 goedgekeurde waarnemingen en nog 100 openstaande waarnemingen.
Het referentiemateriaal voor deze soort is behoorlijk groot lijkt me.

Mvrgr, Wijnand.

hiskodevries

Wijnand, de kenners van een soortgroep bepalen zelf  of voor een soort de automatische (foto) validatie aangezet wordt.
Bij de ene soortgroep zijn ze daar veel voorzichtiger mee dan bij de andere.

Als dit wel aan staat is het niet zo dat dan gelijk alle foto waarnemingen van die soort automatisch gevalideerd worden.
Het herkennings percentage >= ingestelde drempelwaarde (meestal tussen 95-100 %)
Van die lokatie  moeten al waarnemingen van die soort bekend zijn welke handmatig goedgekeurd zijn.
Bij b.v. de Scholekster foto`s kun je het goed zien https://waarneming.nl/species/173/photos/?advanced=on
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

WijnandvB

Dank je voor de toelichting, Hisko.

Meestal is er onder kenners wel discussie over de mate van zekerheid over een onderwerp. Er zijn rekkelijken en preciezen.

Voor een site als deze zou ik kiezen voor een pragmatische benadering en niet voor 100% wetenschappelijk onderbouwd bewijs. Dit onder het motto: doe meer met ongeveer.
Zeldzame en zeer zeldzame soorten zouden m.i. altijd van een bewijsfoto moeten zijn voorzien en vervolgens bekeken moeten worden.
Het invoeren van zo'n zeldzaamheid zonder foto geldt nu toch ook alleen als turfje achter de naam van de invoerder. Voor het "rommelen" met foto's moet men toch een hogere drempel over.

Sommigen maken er een nummer van om zoveel mogelijk waarnemingen in te voeren; zelfs van dezelfde locaties en dezelfde soorten. Meerwaarde?

Wil het aantal ingevoerde waarnemingen voor de admins behapbaar blijven, zou er m.i. gerichter gecommuniceerd moeten worden naar de waarnemers.
Meer dan 10 miljoen waarnemingen in een kalenderjaar is imposant maar de gevalideerde inhoud zal aanzienlijk lager zijn.

Mvrgr, Wijnand.



hiskodevries

Wijnand, je gaat voorbij aan het gegeven dat Waarneming.nl het papieren opschrijfblokje of het excell bestand van een waarnemer vervangt.
Het staat dus iedereen vrij om in te voeren wat hij/zij wil met of zonder bewijs.
Dat dit een aanslag is op de validatoren is een gegeven.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

WijnandvB

Citaat van: hiskodevries op juli 13, 2021, 14:38:55 PM
Wijnand, je gaat voorbij aan het gegeven dat Waarneming.nl het papieren opschrijfblokje of het excell bestand van een waarnemer vervangt.
Het staat dus iedereen vrij om in te voeren wat hij/zij wil met of zonder bewijs.
Dat dit een aanslag is op de validatoren is een gegeven.

Oefffff, arme validatoren.

En ik heb zelf een volledig verkeerde voorstelling van zaken gehad m.b.t de inhoud en het betrouwbaarheidsgehalte van de website.
Dat Waarneming.nl een notitieboekje of excel bestand voor waarnemers vervangt, verklaart voor mij wel de wijze van invoer van sommige mensen.
Zoals op één en dezelfde dag een groot aantal keren dezelfde soort invoeren in een klein gebiedje i.p.v één waarneming met 10 exemplaren melden. Iedere afzonderlijke registratie vergt m.i. een aantal handelingen van een admin bij validatie. Pfffff.

Wat meer sturing en communicatie op dit punt lijkt me nodzakelijk.

bramquist

Citaat van: hiskodevries op juli 13, 2021, 11:34:33 AM
Wijnand, de kenners van een soortgroep bepalen zelf  of voor een soort de automatische (foto) validatie aangezet wordt.
Bij de ene soortgroep zijn ze daar veel voorzichtiger mee dan bij de andere.

Citaat van: FrankR op juli 13, 2021, 20:49:47 PM

Jarenlang horen we dat validatoren wel genoeg te doen hebben, maar als je suggesties doet om hun moeizaam en vrijwillig werk (waarvoor veel hulde hoor, want zonder gevalideerde waarnemingen is waarneming.nl een grote bak bagger) te helpen verlichten, dan zijn de rapen gaar..

Kennelijk wordt er dan door de kenners van de soortgroepen minder gebruik gemaakt van de mogelijkheden van de autovalidatie dan wellicht zou kunnen. Moet daar dan meer centrale regie over genomen worden, of moet bovenstaande discussie meer per soortgroep gevoerd worden?
Groeten,

Bram Quist

WijnandvB

Citaat van: bramquist op juli 13, 2021, 22:32:47 PM
Kennelijk wordt er dan door de kenners van de soortgroepen minder gebruik gemaakt van de mogelijkheden van de autovalidatie dan wellicht zou kunnen. Moet daar dan meer centrale regie over genomen worden, of moet bovenstaande discussie meer per soortgroep gevoerd worden?

Er wordt door de diverse validatoren verschillend gedacht over autovalidatie, vermoed ik. Zelfs binnen dezelfde soortgroep. Centrale regie over de software is er, neem ik aan, maar of de discussie over autovalidatie per soortgroep gevoerd wordt weet ik niet. Ik heb ook geen idee hoe iedere soortgroep of validator bereikt zou kunnen worden. De discussie over autovalidatie voeren is sowieso nuttig en zelfs noodzakelijk.

Het gegeven dat validatoren overspoeld dreigen te worden door de enorme aantallen ingevoerde waarnemingen vind ik erg zorgelijk. Het risico dat mensen afhaken is dan groot.

Richting gebruikers van deze site zou ook nog wel enige communicatie nuttig zijn. De soms erbarmelijke kwaliteit van het ingezonden fotomateriaal is alleen maar vervuilend en zou er vooraf wellicht al uitgefilterd kunnen worden. Daar wil ik met alle plezier een bijdrage aan leveren.

Mvrgr, Wijnand.


Frank van de Putte

Ik denk ook wel dat de auto-foto-validatie bij meer soorten zou kunnen worden aangezet, maar het gaat niet de bulk aan beroerde obsidentify foto's wegwerken.

Het merendeel van die foto's komt niet aan de grens die is ingesteld voor de foto-validatie (meestal 95-97%). Dat zie je ook aan het aantal waarnemingen wat alsnog handmatig moet worden gevalideerd, dat is relatief veel hoger dan vroeger, bijvoorbeeld bij de Wespspin; https://old.waarneming.nl/soort/view/1729
Groetjes,

Frank van de Putte

hiskodevries

Frank, in dit specifieke voorbeeld helpt het al als je het minimaal aantal benodigde referentie waarnemingen van 2 naar 1 wijzigt
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

verder heeft dit onderwerp niets met NIA te maken.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

WijnandvB

Dan stel ik voor om het onderwerp te verplaatsen naar het onderdeel waar het beter thuis hoort. Het doel is tenslotte om de website en de validatoren vooruit te helpen.