Geavanceerd zoeken  

Nieuws:

Pagina's: [1]   Omlaag

Auteur Topic: Automatische validatie  (gelezen 780 keer)

0 leden en 1 gast bekijken dit topic.

WijnandvB

  • Member
  • Offline Offline
  • Berichten: 1588
Automatische validatie
« Gepost op: juli 13, 2021, 07:49:43 am »

Goedemorgen.
Wanneer ik een waarneming met foto invoer op de website, geeft de beeldherkenningssoftware regelmatig een percentage van 100%. Bij veel komt er automatisch een vinkje bij die waarneming maar in een vrij groot aantal gevallen niet. Dit vindt plaats in verschillende soortgroepen. Zie bijvoorbeeld:
https://waarneming.nl/observation/219781525/
https://waarneming.nl/observation/219781823/
https://waarneming.nl/observation/219781342/
https://waarneming.nl/observation/219777142/
https://waarneming.nl/observation/219770574/
https://waarneming.nl/observation/219576824/

Is daarin een verbetering mogelijk?

Vanaf welk 'goed' percentage verschijnt zo'n automatische validatie? Alleen bij 100% of zou dat bijvoorbeeld ook bij waarnemingen met een percentage van meer dan 95% mogelijk zijn. Wellicht vermindert dit ook de enorme aantallen die de validatoren voorgeschoteld krijgen.

Mvrgr, Wijnand.


Gelogd

hiskodevries

  • Forum beheerder
  • Offline Offline
  • Berichten: 48030
Gelogd
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

WijnandvB

  • Member
  • Offline Offline
  • Berichten: 1588
Re: Automatische validatie
« Reactie #2 Gepost op: juli 13, 2021, 08:57:21 am »

Dank je wel voor de verwijzing naar de link, Hisko.

Nog één verduidelijkingsvraag over de voorwaarden voor automatische validatie: Bij de soort moet aan staan dat deze manier van valideren gebruikt mag worden.

In de voorbeelden die ik noem (er zijn er veel meer trouwens), is soms sprake van een nieuwe locatie (confident, but a new location). Dus geen automatische validatie.
Bij andere voorbeelden is de soort dus niet opgenomen in de lijst met "automatisch valideren staat aan", maar boven 90% herkenning.

Worden deze > 90% herkende waarnemingen later alsnog (of met enige voorrang) bekeken, of blijven die "hangen" in de bulk.

Mvrgr, Wijnand.
Gelogd

Daandrukker

  • Validator
  • Offline Offline
  • Berichten: 642
Re: Automatische validatie
« Reactie #3 Gepost op: juli 13, 2021, 10:34:07 am »

Dag Wijnand,

Alles waar geen automatische beeldherkenningvalidatie voor aan staat wordt in principe later door een menselijke admin gevalideerd.

Bij veel soortgroepen werkt automatische validatie niet goed, omdat enkele zeldzame soorten nog nooit met goedgekeurde foto in de database staan en dus niet kunnen dienen als referentie.

Bij de haften merk ik bijvoorbeeld dat enkele zeldzame soorten regelmatig met zeer hoge zekerheidspercentages (95-100%) als Cloeon dipterum worden gesuggereerd. De reden daarvoor ligt voor de hand: Cloeon dipterum is verreweg de algemeenste haftensoort van Nederland, en is zodoende vanuit elke hoek al een keer door de gebruikers gefotografeerd (en ook goedgekeurd). Soorten die vanuit minder hoeken gefotografeerd zijn in de referentiedatabase zullen niet worden herkend als er een nieuwe foto wordt ingevoerd vanuit die bepaalde hoek.

Groetjes,
Daan
Gelogd
Vriendelijke groeten,
Daan Drukker
Validatiecoördinator bij EIS-Kenniscentrum Insecten

WijnandvB

  • Member
  • Offline Offline
  • Berichten: 1588
Re: Automatische validatie
« Reactie #4 Gepost op: juli 13, 2021, 11:09:57 am »

Dag Daan.

Door de enorme aantallen ingevoerde waarnemingen hoopte ik op een mogelijkheid om de werkdruk bij de admins wat te helpen wegnemen met mijn reactie.
Ik snap dat bij veel van de insectensoorten detailfoto's van belang zijn vanwege op elkaar gelijkende soorten.

Wordt de lijst met soorten met automatische beeldherkenningvalidatie regelmatig geüpdatet?
Voorbeeld Sphex funerarius

In het afgelopen jaar circa 250 goedgekeurde waarnemingen en nog 100 openstaande waarnemingen.
Het referentiemateriaal voor deze soort is behoorlijk groot lijkt me.

Mvrgr, Wijnand.
Gelogd

hiskodevries

  • Forum beheerder
  • Offline Offline
  • Berichten: 48030
Re: Automatische validatie
« Reactie #5 Gepost op: juli 13, 2021, 11:34:33 am »

Wijnand, de kenners van een soortgroep bepalen zelf  of voor een soort de automatische (foto) validatie aangezet wordt.
Bij de ene soortgroep zijn ze daar veel voorzichtiger mee dan bij de andere.

Als dit wel aan staat is het niet zo dat dan gelijk alle foto waarnemingen van die soort automatisch gevalideerd worden.
Het herkennings percentage >= ingestelde drempelwaarde (meestal tussen 95-100 %)
Van die lokatie  moeten al waarnemingen van die soort bekend zijn welke handmatig goedgekeurd zijn.
Bij b.v. de Scholekster foto`s kun je het goed zien https://waarneming.nl/species/173/photos/?advanced=on
Gelogd
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

WijnandvB

  • Member
  • Offline Offline
  • Berichten: 1588
Re: Automatische validatie
« Reactie #6 Gepost op: juli 13, 2021, 14:14:54 pm »

Dank je voor de toelichting, Hisko.

Meestal is er onder kenners wel discussie over de mate van zekerheid over een onderwerp. Er zijn rekkelijken en preciezen.

Voor een site als deze zou ik kiezen voor een pragmatische benadering en niet voor 100% wetenschappelijk onderbouwd bewijs. Dit onder het motto: doe meer met ongeveer.
Zeldzame en zeer zeldzame soorten zouden m.i. altijd van een bewijsfoto moeten zijn voorzien en vervolgens bekeken moeten worden.
Het invoeren van zo'n zeldzaamheid zonder foto geldt nu toch ook alleen als turfje achter de naam van de invoerder. Voor het "rommelen" met foto's moet men toch een hogere drempel over.

Sommigen maken er een nummer van om zoveel mogelijk waarnemingen in te voeren; zelfs van dezelfde locaties en dezelfde soorten. Meerwaarde?

Wil het aantal ingevoerde waarnemingen voor de admins behapbaar blijven, zou er m.i. gerichter gecommuniceerd moeten worden naar de waarnemers.
Meer dan 10 miljoen waarnemingen in een kalenderjaar is imposant maar de gevalideerde inhoud zal aanzienlijk lager zijn.

Mvrgr, Wijnand.


Gelogd

hiskodevries

  • Forum beheerder
  • Offline Offline
  • Berichten: 48030
Re: Automatische validatie
« Reactie #7 Gepost op: juli 13, 2021, 14:38:55 pm »

Wijnand, je gaat voorbij aan het gegeven dat Waarneming.nl het papieren opschrijfblokje of het excell bestand van een waarnemer vervangt.
Het staat dus iedereen vrij om in te voeren wat hij/zij wil met of zonder bewijs.
Dat dit een aanslag is op de validatoren is een gegeven.
Gelogd
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

FrankR

  • Member
  • Offline Offline
  • Berichten: 304
Re: Automatische validatie
« Reactie #8 Gepost op: juli 13, 2021, 20:27:58 pm »

Niet om te zeuren, maar om helderheid te krijgen, zie ook: https://forum.waarneming.nl/index.php/topic,482074.msg2471545.html#msg2471545

Er zijn meer dan genoeg voorbeelden van met foto's goedgekeurde overvliegende** Purperreigers in het gebied, die dus ook in het referentiebestand zitten. Maar die waarnemingen worden nog steeds niet automatisch goedgekeurd. Misschien eens sleutelen aan de autoval parameters? (Ik zie ook deze verwijzing naar de automatische validatie algoritme: https://forum.waarneming.nl/index.php/topic,484096.msg2474010.html#msg2474010)

**"Overvliegend" in een bepaald gebied, die voedselvluchten zijn, is toch iets anders dan een toevallig overvliegende vogel? Als dit zo doorgaat, ga ik mensen adviseren bij overvliegende duidelijk plaatselijk vogels (kijk naar het aantal soorten in een gebied), om overvliegend niet meer te gebruiken maar "ter plaatse" of "voedsel vluchten".

P.S. Dit "overvliegend" is een al heel lang uitstaand semantische kwestie. Misschien toch eens oplossen?
« Laatst bewerkt op: juli 13, 2021, 20:41:57 pm door FrankR »
Gelogd
-=O=-

Frank A. Roos

WijnandvB

  • Member
  • Offline Offline
  • Berichten: 1588
Re: Automatische validatie
« Reactie #9 Gepost op: juli 13, 2021, 20:41:49 pm »

Wijnand, je gaat voorbij aan het gegeven dat Waarneming.nl het papieren opschrijfblokje of het excell bestand van een waarnemer vervangt.
Het staat dus iedereen vrij om in te voeren wat hij/zij wil met of zonder bewijs.
Dat dit een aanslag is op de validatoren is een gegeven.

Oefffff, arme validatoren.

En ik heb zelf een volledig verkeerde voorstelling van zaken gehad m.b.t de inhoud en het betrouwbaarheidsgehalte van de website.
Dat Waarneming.nl een notitieboekje of excel bestand voor waarnemers vervangt, verklaart voor mij wel de wijze van invoer van sommige mensen.
Zoals op één en dezelfde dag een groot aantal keren dezelfde soort invoeren in een klein gebiedje i.p.v één waarneming met 10 exemplaren melden. Iedere afzonderlijke registratie vergt m.i. een aantal handelingen van een admin bij validatie. Pfffff.

Wat meer sturing en communicatie op dit punt lijkt me nodzakelijk.
Gelogd

FrankR

  • Member
  • Offline Offline
  • Berichten: 304
Re: Automatische validatie
« Reactie #10 Gepost op: juli 13, 2021, 20:49:47 pm »

Wijnand, je gaat voorbij aan het gegeven dat Waarneming.nl het papieren opschrijfblokje of het excell bestand van een waarnemer vervangt.
Het staat dus iedereen vrij om in te voeren wat hij/zij wil met of zonder bewijs.
Dat dit een aanslag is op de validatoren is een gegeven.

Oefffff, arme validatoren.
Jarenlang horen we dat validatoren wel genoeg te doen hebben, maar als je suggesties doet om hun moeizaam en vrijwillig werk (waarvoor veel hulde hoor, want zonder gevalideerde waarnemingen is waarneming.nl een grote bak bagger) te helpen verlichten, dan zijn de rapen gaar..
Gelogd
-=O=-

Frank A. Roos

bramquist

  • Member
  • Offline Offline
  • Berichten: 206
Re: Automatische validatie
« Reactie #11 Gepost op: juli 13, 2021, 22:32:47 pm »

Wijnand, de kenners van een soortgroep bepalen zelf  of voor een soort de automatische (foto) validatie aangezet wordt.
Bij de ene soortgroep zijn ze daar veel voorzichtiger mee dan bij de andere.


Jarenlang horen we dat validatoren wel genoeg te doen hebben, maar als je suggesties doet om hun moeizaam en vrijwillig werk (waarvoor veel hulde hoor, want zonder gevalideerde waarnemingen is waarneming.nl een grote bak bagger) te helpen verlichten, dan zijn de rapen gaar..

Kennelijk wordt er dan door de kenners van de soortgroepen minder gebruik gemaakt van de mogelijkheden van de autovalidatie dan wellicht zou kunnen. Moet daar dan meer centrale regie over genomen worden, of moet bovenstaande discussie meer per soortgroep gevoerd worden?
Gelogd
Groeten,

Bram Quist

WijnandvB

  • Member
  • Offline Offline
  • Berichten: 1588
Re: Automatische validatie
« Reactie #12 Gepost op: juli 14, 2021, 08:06:11 am »

Kennelijk wordt er dan door de kenners van de soortgroepen minder gebruik gemaakt van de mogelijkheden van de autovalidatie dan wellicht zou kunnen. Moet daar dan meer centrale regie over genomen worden, of moet bovenstaande discussie meer per soortgroep gevoerd worden?

Er wordt door de diverse validatoren verschillend gedacht over autovalidatie, vermoed ik. Zelfs binnen dezelfde soortgroep. Centrale regie over de software is er, neem ik aan, maar of de discussie over autovalidatie per soortgroep gevoerd wordt weet ik niet. Ik heb ook geen idee hoe iedere soortgroep of validator bereikt zou kunnen worden. De discussie over autovalidatie voeren is sowieso nuttig en zelfs noodzakelijk.

Het gegeven dat validatoren overspoeld dreigen te worden door de enorme aantallen ingevoerde waarnemingen vind ik erg zorgelijk. Het risico dat mensen afhaken is dan groot.

Richting gebruikers van deze site zou ook nog wel enige communicatie nuttig zijn. De soms erbarmelijke kwaliteit van het ingezonden fotomateriaal is alleen maar vervuilend en zou er vooraf wellicht al uitgefilterd kunnen worden. Daar wil ik met alle plezier een bijdrage aan leveren.

Mvrgr, Wijnand.

Gelogd

Frank van de Putte

  • Validator
  • Offline Offline
  • Berichten: 6749
  • Admingroep spinnen
    • Mijn foto's
Re: Automatische validatie
« Reactie #13 Gepost op: juli 14, 2021, 08:48:34 am »

Ik denk ook wel dat de auto-foto-validatie bij meer soorten zou kunnen worden aangezet, maar het gaat niet de bulk aan beroerde obsidentify foto's wegwerken.

Het merendeel van die foto's komt niet aan de grens die is ingesteld voor de foto-validatie (meestal 95-97%). Dat zie je ook aan het aantal waarnemingen wat alsnog handmatig moet worden gevalideerd, dat is relatief veel hoger dan vroeger, bijvoorbeeld bij de Wespspin; https://old.waarneming.nl/soort/view/1729
Gelogd
Groetjes,

Frank van de Putte

hiskodevries

  • Forum beheerder
  • Offline Offline
  • Berichten: 48030
Re: Automatische validatie
« Reactie #14 Gepost op: juli 14, 2021, 10:29:36 am »

Frank, in dit specifieke voorbeeld helpt het al als je het minimaal aantal benodigde referentie waarnemingen van 2 naar 1 wijzigt
Gelogd
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

  • Forum beheerder
  • Offline Offline
  • Berichten: 48030
Re: Automatische validatie
« Reactie #15 Gepost op: juli 14, 2021, 10:34:19 am »

verder heeft dit onderwerp niets met NIA te maken.
Gelogd
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

WijnandvB

  • Member
  • Offline Offline
  • Berichten: 1588
Re: Automatische validatie
« Reactie #16 Gepost op: juli 14, 2021, 11:18:53 am »

Dan stel ik voor om het onderwerp te verplaatsen naar het onderdeel waar het beter thuis hoort. Het doel is tenslotte om de website en de validatoren vooruit te helpen.
Gelogd
Pagina's: [1]   Omhoog
 

Pagina opgebouwd in 0.056 seconden met 20 queries.