Record aantal foto's (mbv Obsidentify) op Waarnemingen.be sinds mei 2021

Gestart door RutgerB, november 06, 2021, 16:04:35 PM

Vorige topic - Volgende topic

William de Jong

#60
Citaat van: hiskodevries op november 24, 2021, 12:56:05 PM
Een aantal bijdragen gaan puur over NIA, wat een geweldige uitvinding is.

Het gaat hier toch ook over de output die de NIA levert, o.a. (en voornamelijk) via Obsidentify??
Voor mij is dat precies hetzelfde verhaal als de waarnemers die de beeldherkenning gebruiken bij het invoeren via de site. Dat zijn dan geen selfies en andere onzin meer, maar net zo goed onzinnige soortsuggesties die al dan niet met vraagteken worden ingevoerd. Ook al is het percentage kwalitatief slechte/onbruikbare waarnemingen via Obsidentify hoger dan via de site ingevoerde waarnemingen. In de kern is dit toch hetzelfde verhaal?

Ik vind het storend dat er niet ruiterlijk erkend kan worden dat de NIA (de beeldherkenning) enerzijds een mooie uitvinding is, maar anderzijds nog ernstig beperkt is. Het kan best zijn dat voor bepaalde soortgroepen de NIA een geweldige uitvinding is, maar dat geldt gewoonweg niet voor de soortgroep paddenstoelen. En als ik zo de betrokken admins hoor, ook niet voor planten, kevers, mossen en korstmossen.

Ik heb al meerdere keren met verschillende voorbeelden proberen duidelijk te maken dat paddenstoelen herkennen aan de hand van enkele (veld)foto's in veel gevallen lastig tot onmogelijk is, en dat de beeldherkenning hier geen verandering in kan brengen. En Obsidentify springt er dan in het bijzonder uit, omdat men daarmee volledig leunt op de NIA en dat meestal aan de hand van 1 of 2 foto's.

Groeten, William de Jong

hiskodevries

Kijk nog even naar de titel van dit forum board
mijn indruk was om hier ideeën te posten hoe de stroom vanuit obsidentify beheersbaar te houden
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

William de Jong

Citaat van: hiskodevries op november 26, 2021, 10:57:40 AM
Kijk nog even naar de titel van dit forum board
mijn indruk was om hier ideeën te posten hoe de stroom vanuit obsidentify beheersbaar te houden

Ik heb de titel van dit forumboard nog een keer gelezen, wil jij dan zo vriendelijk zijn mijn vorige bericht nog een keer goed te lezen.

De stroom vanuit Obsidentify is (in ieder geval bij de soortgroep paddenstoelen) voor een groot deel onbeheersbaar omdat de NIA foutieve suggesties levert!

Groeten, William de Jong

Frank van de Putte

Bij veel soorten paddo's staat toch "Determinatie alleen mogelijk na microscopisch onderzoek"?
Kunnen die niet automatisch "geweerd" worden uit Obsidentify, door alleen het genusniveau weer te geven (paddox.spec)?
Groetjes,

Frank van de Putte

hiskodevries

Citaat van: Frank van de Putte op november 26, 2021, 13:58:50 PM
Bij veel soorten paddo's staat toch "Determinatie alleen mogelijk na microscopisch onderzoek"?
Kunnen die niet automatisch "geweerd" worden uit Obsidentify, door alleen het genusniveau weer te geven (paddox.spec)?
dat voorstel heb ik ook gedaan in het paddestoelen validator overleg hoekje. dat is constructief en al bij 1 genus uitgevoerd
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

RutgerB

Hier zijn ook constructieve reacties hoor.

Sommige plantengenera komen ook wel in aanmerking, maar is het ook mogelijk om een serie soorten naar 1 familie te laten verwijzen? Of naar 1 verzamelsoort?

Een eerste lijstje zou een heel aantal uit deze opsomming kunnen zijn:
https://oudeversie.waarnemingen.be/specieslist.php?q=+%2B+&g=10&f=0&type=0&z=0&local=0&local=1&p=0&sound=0&sort_lat=0&all_lang=0&exact=0

concreet: De volgende soorten worden automatisch herleid naar Bermzegge spec. https://oudeversie.waarnemingen.be/soort/view/914192
Carex divulsa
Carex leersii
Carex muricata
Carex pairae
Carex spicata

En deze naar Canadese guldenroede + Late guldenroede https://oudeversie.waarnemingen.be/soort/view/194578
Solidago canadensis
Solidago gigantea

etc. etc. Dat wiel is dus ook al eens uitgevonden..




RutgerB

Hoezo moet iets alleen microscopisch te onderscheiden zijn om niet ook gewoonweg niet op foto te kunnen herkennen? Details die wel met het blote oog te zien zijn, maar in 99% van de gevallen niet op de foto zijn vastgelegd maar wel tot een NIA-suggestie leiden, zijn net zo'n goed argument.

Ik zeg je, als kenner van planten, dat NIA die bermzegges niet kan onderscheiden vanop een foto. Die NIA weet niet welke combinatie van detailkenmerken nodig zijn om iets te herkennen. Die cijfers/links die je me stuurt zeggen me niet veel. Voor twee ervan heb ik overigens ook geen autorisatie. Waarnemingen wijzigen ook van naam (veelal door validatoren), dus nul afkeuringen van Gewone bermzegge in waarnemingen.be zegt niets. 1 goedgekeurde waarneming (eerst onzeker en op zeker gezet door validator) ook niet. Dit zegt al iets meer: https://waarnemingen.be/admin/validate/group/10/?date_after=1900-01-01&date_before=2021-11-29&rarity=&species=188836&source=409&media_type=&validation_status=J  (73x goedgekeurde Carex spec. uit Obsidentify, waarvan 56 zijn becommentarieerd/gewijzigd door een validator).  Als je weet vanwaar die wijzigingen komen, kun je beredeneren dat die soorten beter niet meer gesuggereerd moeten worden. Je kunt ook gewoon naar je validatoren luisteren die al die wijzigingen vragen / uitvoeren.. Lijkt me een betrouwbare bron.

Ik denk te begrijpen dat NIA een best guess doet op basis van goedgekeurde foto's. Het blijft een gok en wanneer soorten alleen op details te onderscheiden zijn is die gok waardeloos als je bijvoorbeeld verder gaat dan bermzegge of in veel gevallen zelfs zegge. Ik kan je een hele excel aanleveren van Carex met welke suggesties het best naar welke verzamelsoort / genus of zelfs familie kunnen worden gewijzigd bij een voorstel door NIA, maar ik weet niet of het de moeite is. Zoiets als zegges moet ik toch 1 voor 1 af in een foto-overzicht. Wat NIA daarvan maakt is leuk als het klopt, want dat scheelt me typewerk. Het is echter zo klaar als een klontje dat de veel zeggen, grassen, composieten en schermbloemen, kruisbloemigen  en nog een hele resem andere gelijkende soorten uit andere families nooit écht herkend kunnen worden door NIA vanop meestal niet al te beste foto's.

Frank van de Putte

Citaat van: hiskodevries op november 26, 2021, 10:57:40 AM
mijn indruk was om hier ideeën te posten hoe de stroom vanuit obsidentify beheersbaar te houden

Een idee wat toch al vaak is gemeld is om een ondergrens in te stellen voor het herkenningspercentage, dus geen suggesties geven die minder dan bv 50% scoren.
Maar er komen nog steeds suggesties uit de app die zelfs minder dan 20% scoren, dus daar is nog niks mee gedaan. Wanneer wordt dit aangepast?
Groetjes,

Frank van de Putte

hiskodevries

Rutger, ik heb voor deze familie https://waarneming.nl/taxa/10199/ de invoer zonder obsidentify vergeleken met alleen obsidentify ingevoerd op alle drie de sites
Dan kom ik op deze getallen:
Zonder obsidentify  vs   Obsidentify
ingevoerd:74419  vs 9239
     
goedgekeurd: 42319 vs 4535
     
goedgekeurd zonder wijzigen : 41179 vs 4111
     
afgewezen : 30 vs 313
     
anders: 466 vs 428

Die zijn wel wat slechter, maar toch ook niet zo verschrikkelijk slecht ?
Ik zit hier niet om obsidentify te verdedigen, maar wel om te voorkomen dat het te zwartgallig wordt
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

RutgerB

Duidelijk. We willen als validatoren natuurlijk de puntjes op de i. Als je bij de specifieke soorten (bijvoorbeeld Moeraszegge en Oeverzegge) steeds dezelfde aannames tegenkomt en het veel naar de verzamelsoort moet wijzigen heb je de neiging daar iets aan te willen doen. Maar als je Carex spec. vaak moet wijzigen naar een specifieke soort is het ook niet goed natuurlijk.  Ik weet ook niet was wijs is in deze. Veel moeten wijzigen is waarschijnlijk altijd aan de orde omdat er simpelweg zo ontzettend veel waarnemingen zijn ingevoerd. Persoonlijk vind ik 15% wijzigingen (incl. afkeuringen) in ieder geval te veel. Tot 5% is nog net leefbaar.

Wat Frank aanhaalt zou misschien nog wel het beste helpen die foutenmarge te drukken. Zeker als het  gekoppeld is aan het onder een bepaald herkenningspercentage niet kunnen doorgeven.

Citaat van: Frank van de Putte op november 29, 2021, 19:32:01 PM
Een idee wat toch al vaak is gemeld is om een ondergrens in te stellen voor het herkenningspercentage, dus geen suggesties geven die minder dan bv 50% scoren.
Maar er komen nog steeds suggesties uit de app die zelfs minder dan 20% scoren, dus daar is nog niks mee gedaan. Wanneer wordt dit aangepast?

Andre321

#71
Het gaat fout omdat de goede soort er niet bij staat..En dat komt omdat de drempelwaarde te hoog is.
Ik zou als gebruiker liever altijd 20 keuzes hebben. Die 80% zegt ook vaak genoeg niks dan kun je net zo goed ObsIdentiy laten kiezen en als user niks meer doen. Vind ik overigens ook prima, werkt een stuk sneller en er zijn websites die daar op gebaseerd zijn.

Citeer
Een idee wat toch al vaak is gemeld is om een ondergrens in te stellen voor het herkenningspercentage, dus geen suggesties geven die minder dan bv 50% scoren.
Maar er komen nog steeds suggesties uit de app die zelfs minder dan 20% scoren, dus daar is nog niks mee gedaan. Wanneer wordt dit aangepast?
Hoe meer de app het bepaald, hoe groter de ramp zou ik zelf zeggen. Als ie nou goed zou werke nzou je hem op  99% kunnen zetten..en asl ie slecht werkt op 20%,
of  zorgen dat de andere apps weer net zo lekker werken als vroeger, zodat ze geen identify hoeven te gebruiken.

marcel234

#72
https://forum.waarneming.nl/index.php/topic,488889.0.html

Niet iedereen deelt die mening.. Blijkbaar wordt uit het lijstje van voorstellen bewust de verkeerde gekozen. Dat had ik nog niet eerder gezien en ook niet verwacht..

RutgerB

#73
NIA hoeft NU niet te voorspellen wat deze in september voorspelde. Daarom heb ik ook wat moeite met (oudere) automatische goedkeuringen (van foto's). Dat geldt op dat moment, met dan geldend vergelijkingsmateriaal. Eigenlijk zou het systeem 1 keer in de zoveel tijd de automatische keuringen helemaal van vooraf aan opnieuw moeten doen.

migratorius

#74
Mensen doen echt rare dingen: https://old.observation.org/waarneming/view/230160155

Werd ingevoerd als "Blauwe zeedistel" (vermoedelijk had de waarnemer geen flauw idee wat een "Panicaut maritime" is? Ik zou het ook niet weten).

Het zou natuurlijk kunnen dat de oorspronkelijke foto wél Blauwe zeedistel aangaf, maar als ik die foto check:
Glad porseleinkrabbetje - Pisidia longicornis
Japans bessenwier - Sargassum muticum
Riemwier - Himanthalia elongata
Blaaswier - Fucus vesiculosus

Dezelfde grapjas had een of andere slak als "Heen" ingevoerd.

JanHein

marcel234

Nachtvlinders zijn wel een uitzondering denk ik. Mijn ervaring met twee nachtvlindernachten in 2021 is dat NIA voor mensen met goede wil voor nachtvlinders een uitstekend hulpmiddel is.
Nachtvlinders zitten natuurlijk wel steeds op dezelfde manier,hebben geen last van standplaatsmodificaties en hebben dus altijd dezelfde kleur en vorm.

Voor dit soort beesten zou het goed moeten werken. Een krab is wat bij betreft ook vormvast en zit altijd op het strand of de rotsen. Een koud kunstje voor de NIA.  :huh:

RutgerB

#76
Het IS voor alle soortgroepen een uitstekend HULPmiddel. Het wordt echter gebruikt om waarnemingen, vaak zonder als gebruiker zelf na te denken, mee te identificeren, door te geven aan de database/website, deze weer te geven op de site en vervolgens zelfs automatisch goed te keuren (indien aan bepaalde voorwaarden voldaan wordt, zoals eerder handmatig gekeurde waarnemingen in een bepaalde straal). Daarmee wordt het niet meer als hulp gebruikt, maar grotendeels gewoon als zelfstandig opererende robot. Rob schetste het beeld van een hond met een camera om die elke seconde automatisch een foto maakt. Die kan ook veel waarnemingen doen. Die hond bestaat zelfs ook en heet google streetview. Ook met die opnames kun je eindeloos waarnemingen genereren. Nuttig?

Oordeel zelf of onderstaande een zinnige waarneming is.
https://waarnemingen.be/observation/230167062/
CiteerNIA beeldherkenning is het met je determinatie eens: Noorse esdoorn - Acer platanoides (92.4%)!


Ik pleit er nu een tijdje voor na het doorgeven een halte in te bouwen. Pas als er een mens naar heeft gekeken en het heeft gekeurd doet het mee. Ik weet wel dat dit keuren heel veel mankracht kost en dat vele waarnemingen voor altijd bij die halte blijven, maar daar hadden de verantwoordelijken ook over na moeten denken toen ze besloten met die app op de markt te gaan staan.

hiskodevries

Rutger, je weet best dat dit op de planning staat. Dat kan je elke week blijven herhalen maar daardoor komt het niet sneller beschikbaar.
Het aantal echte onzin meldingen zoals selfies en objecten is al behoorlijk afgenomen.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

RutgerB

#78
Het duurt jaren om de huidige hoeveelheid plantenfoto's, waar van Obsidentify zo'n 10% van afgekeurd dient te worden, te keuren. Het probleem blijft dus actueel, ook al wordt er nu in absolute aantallen niet heel veel onzin meer EXTRA ingevoerd. Sinds 1 november (waar we nagenoeg alle fotowaarnemingen op Waarnemingen.be van de planten keurden) zijn nog altijd bijna 9% waarnemingen afgekeurd van de Obsidentify-waarnemingen. 1050 afkeuringen tegenover 11450 goedkeuringen. Ik vind dat percentage veel te hoog.

Wat staat er eigenlijk precies op de planning?  Door het geheel verwijderen van het vorige topic door een onbekende persoon, waarin Hannes van alles in detail uitlegde heb ik eigenlijk alleen nog een vaag idee.

Mijn vorige reactie van 10 dagen geleden ging over automatische waarnemingen (hond/google streetview) en automatische keuringen. Dat gaat iemand vast ook nog eens echt verzinnen en een discussie daarover vooraf lijkt me zinnig.




Martijn van Sluijs

Citaat van: Martijn van Sluijs op november 24, 2021, 13:22:54 PM
Citaat van: hiskodevries op november 24, 2021, 12:56:05 PM
@martijn e.a. Over naamgeving van de knop <opslaan> en waarom die niet hernoemd wordt, ja dat kan ik ook met mijn verstand niet bij.
Wie kan ons dit wel uitleggen?
?
Vriendelijke groeten,
Martijn

Datura

Ben ik ook nog steeds benieuwd naar (dat 'opslaan' moet toch ergens in de code staan, en vervangen kunnen worden door een andere tekst denk ik met boerenprogrammeerverstand).
Natuurlijke groeten van
Kim Lotterman

Crossbill guides

hiskodevries

Kim, #metoo
maar laten we de knopen tellen
in mei werd 4% van de obsidentify waarnemingen afgekeurd (wereldwijd)
in Augustus was dit al gedaald tot 2.4 % en we zitten in december op 1%
De aanpassingen in obsidentify zelf werken dus al. Ook zie ik veel minder aanvragen om gebruikers te blokken die een zooitje maken van de invoer (zeg maar rustig daar is de laatste 2 maanden geen sprake meer van)
Natuurlijk is obsidentify een mooi weer app en moeten we met geknepen billen de zomer van 2022 afwachten, maar ondertussen is ook de aanpassing onderweg om waarnemingen van beginnende gebruikers weg te drukken zolang die ongevalideerd zijn.
De naamgeving van die knop is een dingetje geworden maar toch is binnen de app zelf al wel e.e.a. ten goede aangepast
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Datura

Dat is zeker waar.
Maar niet kunnen aanpassen van 'opslaan' blijft raar.
Natuurlijke groeten van
Kim Lotterman

Crossbill guides

Martijn van Sluijs

Citaat van: hiskodevries op december 14, 2021, 14:09:50 PM
in mei werd 4% van de obsidentify waarnemingen afgekeurd (wereldwijd)
in Augustus was dit al gedaald tot 2.4 % en we zitten in december op 1%
Dit is inderdaad ongetwijfeld ten dele toe te kennen aan de wijzigingen in de app, maar komt zeker ook ten dele doordat de grote instroom van nieuwe gebruikers in mei was, en dat de afgelopen maanden voornamelijk nog diegenen met werkelijke interesse over zijn gebleven. De groep die het leuk vindt om allerlei dingen in en om het huis op de foto te zetten komt ongetwijfeld weer 'kort maar krachtig' bij een nieuwe promotieronde, en dan gaat het afkeurpercentage weer tijdelijk omhoog.

Maar: het is een ontwijkend antwoord. Er moet toch iemand zijn die kan uitleggen waaróm de naam van die knop niet gewijzigd kan/gaat worden? Bij wie kunnen we terecht voor een inhoudelijk antwoord op die vraag?
Vriendelijke groeten,
Martijn

marcel234

Citaat van: Martijn van Sluijs op december 14, 2021, 14:47:05 PM
Bij wie kunnen we terecht voor een inhoudelijk antwoord op die vraag?

Hans Ledegen gaf de inhoudelijke antwoorden in de vorige thread..

Julian

Citaat van: Martijn van Sluijs op december 14, 2021, 14:47:05 PM
Maar: het is een ontwijkend antwoord. Er moet toch iemand zijn die kan uitleggen waaróm de naam van die knop niet gewijzigd kan/gaat worden? Bij wie kunnen we terecht voor een inhoudelijk antwoord op die vraag?

In het beleidsplan (https://observation-international.org/nl/organization/obsint-policy-plan-nl.pdf) lees ik onder 6Eb:
Citeerb. Observation International betracht zoveel mogelijk openheid over haar activiteiten en
legt daarover verantwoording af naar waarnemers en andere belanghebbenden.


Onder de Contact-knop op de website (https://observation-international.org/nl/contact/) staat:
CiteerOnze mensen staan klaar om uw vragen over ons platform, onze apps en onze techniek te beantwoorden.

De snelste manier om contact te leggen is per e-mail.

E-mail
office@observation.org

Als je hen mailt, met het verzoek om te reageren op dit topic, moet het dus goedkomen.

RutgerB

#86
Achter de schermen deden we een steekproef onder de iets moeilijker te herkennen soorten ingevoerd mbv Obsidentify die 100 of meer keer handmatig moesten worden gewijzigd (waarvan er 90 plantensoorten zijn) naar een andere soort. Hier waren maar twee 'moeilijkere' soorten die onder de 50% succes (dwz handmatig goedgekeurd zonder wijziging) scoorden en dat waren niet toevallig soorten die we veel afkeurden vanwege aanplant in tuinen. De herkenning werkte hier dus eventueel wel voldoende.

Soorten die minder dan 100 keer gewijzigd moesten worden en die naar mijn gevoel wel sterke problemen kunnen vormen bij de herkenning, worden dus maar relatief weinig ingevoerd en dus is de steekproef voor die soorten eigenlijk te klein. Al bij al moet geconcludeerd worden dat Obsidentify haar werk wel doet, zeker voor soorten die zowel makkelijk te herkennen zijn, veel ingevoerd worden als relatief makkelijk te keuren zijn. Dat er veel (in absolute aantallen) gewijzigd of afgekeurd moet worden blijft een feit, maar dat is dus ontzettend verspreid over de taxa. Mogelijk wordt er meer duidelijk als we nog een miljoen waarnemingen met foto's voor de kiezen krijgen...

hiskodevries

Het bestuur heeft een email over dit onderwerp gekregen en zal tzt een reactie (laten) plaatsen.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0