Vragen en opmerkingen over obsidentify

Gestart door hiskodevries, november 11, 2019, 08:46:27 AM

Vorige topic - Volgende topic

RutgerB

Die app is wel leuk, maar valt al snel door de mand als je wat specialere soorten fotografeert. Bijvoorbeeld in een willekeurige tuin van alle aanplant. En dat doen nu heel veel mensen...

Ik pleit er nogmaals voor om er groot op te zetten dat tuinplanten, potplanten en boerderij- en huisdieren niet of slecht herkend worden en ook liever niet worden ingevoerd / doorgegeven.

Dat mag ook in FAQ https://forum.waarneming.nl/index.php/topic,460799.0.html

ipv bijvoorbeeld deze voor mij weinig nuttig mededeling:

CiteerWelke soorten zitten in het model
Dat kun je raadplegen via https://identify.biodiversityanalysis.nl/v1/observation/taxa/benlall

Wie opent dat? En als je het opent krijg je een oneindige opsomming waar je als gebruiker niets mee kunt.

hiskodevries

https://old.waarnemingen.be/herk_app_stats.php
in April 94% van de planten waarnemingen ingevoerd op basis van de herkenningssoftware in 1 keer goed  :duim:
ik zou als validator drie keer in de lucht springen van genot dat die apps zo goed werken
die paar rare zaken komen vast wel goed want ik hoor iets rommelen over een nieuwe versie
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

dirder

Citaat van: hiskodevries op april 22, 2020, 16:38:22 PM
https://old.waarnemingen.be/herk_app_stats.php
in April 94% van de planten waarnemingen ingevoerd op basis van de herkenningssoftware in 1 keer goed  :duim:
ik zou als validator drie keer in de lucht springen van genot dat die apps zo goed werken
die paar rare zaken komen vast wel goed want ik hoor iets rommelen over een nieuwe versie

Hisko ... Wij moeten elke dag die zooi opkuisen. Waar jij die cijfers haalt, God mag het weten... Denk jij nu echt dat wij niet kunnen tellen?
Groeten, Dirk Derdeyn.

hiskodevries

als je dat scherm opent wordt precies uitgelegd hoe die cijfers tot stand komen.
dus zie je ook dat >90% van de planten waarnemingen in 1 keer goed was, zonder dat een validator zich er mee bemoeit heeft.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

RutgerB

Citaat van: hiskodevries op april 22, 2020, 16:38:22 PM
https://old.waarnemingen.be/herk_app_stats.php
in April 94% van de planten waarnemingen ingevoerd op basis van de herkenningssoftware in 1 keer goed  :duim:
ik zou als validator drie keer in de lucht springen van genot dat die apps zo goed werken
die paar rare zaken komen vast wel goed want ik hoor iets rommelen over een nieuwe versie

Hoe telt dat overzicht waarnemingen die weer worden verwijderd, zijn afgekeurd, in behandeling zijn gezet (en nooit worden gewijzigd), op aanplant moeten worden gezet of van plaats moeten worden gewijzigd (opvallend veel verkeerde lokaties) ?

Mijns inziens is dat succes in dat overzicht er juist is, dankzij dat wij de stroom indammen. Je ziet alleen maar wat we goedkeuren. We maken in waarnemingen.be echt wel meer dan 200 opmerkingen per maand over obsidentify waarnemingen.  Het voelt als 200 per dag.

hiskodevries

dat zijn allemaal  obsidentify waarnemingen die , zonder dat de soortnaam is aangepast, zijn goedgekeurd
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

dirder

Gisteren nog eens obsidentify losgelaten op 14 waarnemingen die ik had ingevoerd. Daarbij werd 4 keren de goede naam gesuggereerd, met een dermate laag percentage dat ze nooit automatisch goedgekeurd zouden worden. Dat is minder dan 30 procent. Eén van de particulariteiten bij planten (en lijkt me ook logisch) is dat obsidentify slechter werkt naarmate je een waarneming beter documenteert. Zoals eerder gezegd: dat Obsidentify duizend zonnebloemen kan herkennen waarbij telkens de bloem in vooraanzicht wordt gefotografeerd is echt niet interessant. Een kleuter kan dat ook. Of een chimpansee.
Jullie dichten die app eigenschappen toe die die niet bezit. Zoals planten kunnen onderscheiden die op elkaar lijken... (er komen bijvoorbeeld nog dagelijks boshyacinten binnen als hyacint en die lijken zelfs maar vaag op elkaar).
Groeten, Dirk Derdeyn.

RutgerB

Citaat van: hiskodevries op april 23, 2020, 10:45:37 AM
dat zijn allemaal  obsidentify waarnemingen die , zonder dat de soortnaam is aangepast, zijn goedgekeurd
Het gaat natuurlijk om dat percentage dat moet worden aangepast/becommentarieerd. Waarschijnlijk kijk je alleen naar 'naam veranderd' en goedgekeurd.

Kan je kijken, ongeacht welke keuring de waarneming heeft gekregen, naar bij hoeveel commentaar is geplaatst? Dat geeft namelijk de benodigde inspanning van admins weer.

hiskodevries

Rutger, niemand ontkent de inspanning van validatoren om andere veranderingen toe te passen.
maar ik bestrijd het slechte herkennen van obsidentify, waar dit topic over gaat.
(nu tuinlab is gelanceerd in Belgie zal het nog wel erger worden)
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

nielseimers

Via dat project kunnen alleen vogels en vlinders ingevoerd worden voor zover ik kan vinden. Mogelijk gaan ze dat nog uitbreiden naar planten en andere soortgroepen, maar dat kan ik momenteel nog niet vinden.

Ik hoop wel dat als deze uitbreiding gaat komen, dat ze dan heel duidelijk vermelden dat het niet de bedoeling is om aangeplante tuinplanten te melden, want de waarnemingen worden via het formulier geëxporteerd naar waarnemingen.be.

Ik mocht als Nederlander overigens niet meedoen, dus ik woon voortaan op Diestsesteenweg 25 in Leuven.

nielseimers

Overigens sluit ik mij wel aan bij de opmerkingen van Dirk en Rutger.

Mijn mening over ObsIdentify:
Ik vind ObsIdentify ontzettend goed werken, werkelijk onvoorstelbaar. Maar, hoe goed deze software ook is, het zorgt wel voor een enorme toename in waarnemingen en bovendien zijn deze vaak van mindere kwaliteit. De herkenningssoftware wordt immers voornamelijk gebruikt door minder ervaren floristen. Dit levert validatoren dus zowel meer werk in het aantal waarnemingen als in het corrigeren van het hogere percentage slechte kwaliteit waarnemingen.

Waarom is de kwaliteit van deze waarnemingen dan lager en waarom kost dit ons extra tijd?

  • De onervaren gebruikers weten niet welke kenmerken belangrijk zijn om te fotograferen.
  • De gebruikers weten vaak niet dat ze zich moeten richten op wilde flora en zelfs als ze dat weten, zijn ze vaak niet in staat om onderscheid te maken met aanplant.
  • Hoe minder foto's je maakt, des te groter is de kans dat de ObsIdentify de soort herkent. Voor betrouwbare determinatie, hebben we vaak meer foto's nodig.
  • Enkele van de apps reduceren de fotokwaliteit dusdanig dat ze voor ons lastig te herkennen worden.
  • ObsIdentify herkent een aantal obscure taxa (ondersoorten voornamelijk) die op basis van één foto niet te determineren zijn.
  • De komst van ObsIdentify heeft ook geleid tot een groot aantal nieuwe waarnemers die niet goed weten hoe de apps en website werken.

In conclusie, ik vind ObsIdentify waanzinnig goed werken, maar het zorgt onvoorkomelijk voor extra werk voor de validatoren.

hiskodevries

ik snap dat het meer werk oplevert, maar dat doet elke aktie die op lichtgroen publiek is gericht.
Aan de andere kant kunnen uit die populatie mensen tot donker groen  opgeleid worden waardoor daar weer aanwas optreedt. Winwin
Ik heb vernomen dat een nieuwe versie onderweg is, wie weet kan die het beter.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

nielseimers

Ik vind meer werk ook niet echt het probleem :blink: als er meer mensen beter naar natuur gaan kijken, dan is dat ook al erg mooi. Meer werk is op te lossen met meer validatoren.

Wat ik wel als probleem ervaar, is dat bepaalde veel voorkomende zaken tot frustratie gaan leiden. Het zou mooi zijn als jij mee wil denken om deze frustratiepunten te verminderen.

Frustratiepunt: Het melden van aanplant
Het melden van aanplant neemt toe met nieuwe, onervaren floristen. Je hebt in het verleden een aantal keer aangegeven dat wij waarnemers niet mogen verzoeken om te stoppen met het melden van aanplant en en waarnemers niet mogen verzoeken om dergelijke waarnemingen te verwijderen. Je geeft als alternatief om de "Zet op aangeplant" knop te gebruiken of simpelweg af te keuren. Ik heb echter het idee dat het goed informeren van een waarnemer veel effectiever is.

Ik kan een forum topic schrijven met daarin richtlijnen voor het herkennen van aanplant. We kunnen de waarnemer hier naar verwijzen.

Vraag: Zou jij misschien een standaard tekstje willen schrijven die wij als validatoren bij dergelijke waarnemingen kunnen plaatsen?



Frustratiepunt: ObsIdentify suggereert vreemde taxa
ObsIdentify werkt erg goed en zal met de volgende versie waarschijnlijk nóg beter werken. Desondanks blijft ObsIdentify taxa aandragen die wij als validator liever niet valideren (voornamelijk Genus spec waarnemingen) en taxa die wij niet kunnen valideren (voornamelijk obscure ondersoorten).

Vraag: Zou jij de maker van de nieuwe herkenningssoftware willen vragen of het mogelijk is om bepaalde taxa uit te sluiten? Als hier een beheeromgeving voor zou komen, dan zou dat helemaal top zijn. Als het niet kan, dan kan het niet, maar kijken wat de mogelijkheden zijn, zou erg gewaardeerd worden.

hiskodevries

validatie zaken daarvoor hebben we een apart onderdeel
als ik in pending observations kijk
zie ik drie knoppen bij planten
goedkeuren,niet te beoordelen, + aangeplant
druk ik op die laatste wordt de volgende tekst gegeneerd:
"Beste waarnemer, de validator heeft de volgende wijzigingen aangebracht:
- Op ontsnapt gezet
- Activiteit: ter plaatse -> aangeplant

Als je het hiermee oneens bent, voeg een reactie toe."

klopt dat is niet opvoedend. maar als dat wel opvoedend zou moeten worden krijg je van die lappen tekst waar iedereen een mening over heeft en daarom 20 keer aangepast moet worden, wat in de nieuwe omgeving evenzoveel opleveringen en vertalingen nodig heeft.
(overigens het is nu twee keer klikken, is het niet handiger als de 'aangeplant' knop ook gelijk de waarneming goedkeurt?)
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

RutgerB

Dat laatste zeker niet doen. In de helft van de gevallen klopt de determinatie namelijk niet of moeten we het in specialistische literatuur nazoeken. Dat is nu juist vaak het probleem met aanplant: Wij zijn van de wilde planten en niet van het tuincentrum (alwaar ze het ook nog vaak fout hebben).

RutgerB

De terugkerende opmerking die niet over de validatie gaat is toch wel dat je met dikke letters op die app schrijft waar ze voor bedoeld is: Wilde dieren en Wilde planten. Geen huisdieren en tuinplanten.

nielseimers

Hee Hisko,

Ik begrijp je punt, daarom hoopte ik dat jij een tekst wil schrijven. Ik heb namelijk al diverse keren een dergelijke tekst geschreven waar jij vervolgens commentaar op had. Ik wil dit voorkomen en gewoon een tekst gebruiken die Hisko-approved is. Het hoeft niet ingebouwd te worden in de standaard tekst die gegenereert wordt, ik plaatst deze tekst net zo lief zelf.

Nu gebruikt iedereen een eigen manier om aan te geven dat we liever geen aanplant zien en ik vermoed dat jij het grotendeel hiervan liever niet oké vindt.

hiskodevries

het argument van Rutger is beter.
Gebruikers van de app obsidentify kunnen helemaal niets meegeven, al zouden ze het willen.
Als ze daar om vragen verwijs ik ze gelijk naar iobs  of obsmapp waar dezelfde herkenningssoftware aangeroepen kan worden.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Daandrukker

Citaat van: hiskodevries op april 16, 2020, 09:31:27 AM

punt is dat als , ooit, een nieuwe obsidentify versie komt dat proces opnieuw moet

Dit is toch geen probleem? Ik doe het met alle plezier zo vaak mogelijk als dit me al die frustraties scheelt. Ik maak liever lijstjes dan dat ik me groen en geel erger aan onzin die via de app komt.

De suggestie van Barend om álle ondersoortsuggesties af te schaffen vind ik een puik plan. Alle multispecies daarentegen niet. Ik zou juist een lijst met soorten aanleveren waarvoor de beeldherkenning géén soortsuggestie mag geven, maar alleen een verzamelsoortsuggestie. Denk aan Elzenvlieg (Sialis cf. lutaria), braam spec., museumkever onbekend.
Vriendelijke groeten,
Daan Drukker
Validatiecoördinator bij EIS-Kenniscentrum Insecten

EteA

Citaat van: hiskodevries op maart 19, 2020, 13:42:23 PM
CiteerDaar is niets aan te veranderen volgens mij behalve alle (groene) goedkeuringen opheffen van de specifieke soorten en alleen nog maar goedkeuringen van groene kikker spec. hebben.
lijkt mij niet de juiste benadering. Beter wachten op een  nieuwe versie van de herkenningssoftware

Hi Hisko,

Nieuwere versies van herkenningssoftware zal de groene kikker-soorten herkenningsprobleem niet oplossen. Vanwege het voorkomen van triploide bastaardkikkers is het niet mogelijk om op zicht groene kikkers te herkennen op soortnivea. Alleen door de metarsusknobbel te bestuderen (vangen!) of 'n duidelijk koor (met ervaring luisteraar) is het mogelijk de drie groene kikker-soorten te herkennen (en te valideren).

Waarnemers die zich laten leiden door softwareherkenning hebben ze meestal niet gevangen en volgen (ten onrechte) het voorstel op soortniveau als een gok. Waarnemers die op locatie wel de soorten herkennen zullen de voorstellen van de herkenningssoftware groene kikker-onbekend negeren en de waarneming op soortniveau doorgeven.

Dat scheel heel veel validatie opmerkingen en discussie... is de huidige ervaring.

Groeten Edo

dirder

Citaat van: Daandrukker op april 29, 2020, 21:12:45 PM
Citaat van: hiskodevries op april 16, 2020, 09:31:27 AM

punt is dat als , ooit, een nieuwe obsidentify versie komt dat proces opnieuw moet

Dit is toch geen probleem? Ik doe het met alle plezier zo vaak mogelijk als dit me al die frustraties scheelt. Ik maak liever lijstjes dan dat ik me groen en geel erger aan onzin die via de app komt.

De suggestie van Barend om álle ondersoortsuggesties af te schaffen vind ik een puik plan. Alle multispecies daarentegen niet. Ik zou juist een lijst met soorten aanleveren waarvoor de beeldherkenning géén soortsuggestie mag geven, maar alleen een verzamelsoortsuggestie. Denk aan Elzenvlieg (Sialis cf. lutaria), braam spec., museumkever onbekend.

Zoiets ja. Ik schaam me dood over de wilgenfoto's die ooit heb aangevoerd, het is dus ongewild mijn schuld dat er zoveel overlast ontstaat. Obsidentify kan geen wilgen determineren, punt aan de lijn. Mocht het makkelijk kunnen, haalde ik al m'n wilgenfoto's gewoon terug van de site.
Groeten, Dirk Derdeyn.

RutgerB

#111
We moeten liever niet in functie gaan denken van de app. Dus geen foto's weghalen of keuringen aanpassen. De app moet ons, ook de admins, helpen. Hoe mensen aan een foute determinatie komen is nu vaak duidelijk; het overnemen van de suggestie (wij zien niet direct welk percentage is gebruikt, ook omdat we vaak op de oude site aan het controleren zijn). Het is ook echt beter dan vroeger door mensen die in eerste instantie de naam niet weten; dan was het ofwel een hele wilde gok of eindeloos 'Plant onbekend'. Dat is natuurlijk saai en veel mensen geven dat op. Zeker als er soms pas een jaar later een suggestie van een admin op volgt (geen verwijt). Op die manier bleef het aantal waarnemers eigenlijk redelijk constant, want doorbijten is lastig.

Omdat de app feitelijk vaak goed zit gaan en blijven mensen dit gebruiken. Omdat de app er vaak (hoewel een klein percentage, maar dat kan nog steeds vaak zijn) naast zit gaan admins op de app klagen en willen we er invloed op hebben. Dat kán door foto's weg te halen of de keuring ervan te wijzigen, maar dat lijkt me absoluut niet dé oplossing. Het is nu wel de enige mogelijke oplossing. De andere oplossing is te sleutelen aan welke suggesties we willen dat die app geeft. Bij Groene kikkers -> het complex. Bij wilgen -> Wilg spec. Die lijst is te maken en ik denk dat dat in een uurtje, mogelijk voor kleine soortgroepen in 10 minuten gefikst is. Die app-maker zou blij moeten zijn met die lijsten, want de app wordt daar echt veel beter van.

hiskodevries

Uiteraard moet je niet waarnemingen aanpassen om het gedrag van een app te wijzigen.
Voorlopig moeten we het even doen met zoals het is tot een versie komt waar specialisten invloed kunnen hebben op de voorstellen.
Alle ondersoorten uitzetten is veel te generiek.
Noordse en Engelse kwikstaart worden prima herkent .
Dit https://nos.nl/l/2332291 gaat in elk geval flink helpen
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

frkvh

deze is een rare: brede orchis wordt voor 41% herkend als knotszegge  :huh:
https://waarnemingen.be/observation/190600821/
When seeking truth the answer is the road
When seeking wisdom the journey is your home
-- Sam Herring

hiskodevries

<90 % is feitelijk hetzelfde als 'ik weet het niet zeker'
altijd zelf na blijven denken
de resultaten zijn soms onvoorspelbaar . een schaduw even wegcroppen maakt het verschil tussen 80% fout en 100 % goed
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

RutgerB

Dat 100% kan natuurlijk nooit en als het fout is (wat geregeld gebeurt) is het ook bewezen dat 100% nooit klopt. 100% is namelijk een zekerheid..  Bovendien: wat admins zeggen en keuren is ook niet 100% juist, dus een afgeleide daarvan (de app werkt met goedgekeurde foto's) kan ook nooit 100% zijn.

Ik weet wel dat het een maat is voor iets (van 0-100) , maar ik denk dat je beter van de schaal van 0-90 of 0-95 kan hanteren. Die 5-10 procent is gewoon de standaard onzekerheid die je er af moet halen. Ik zou dan voor 10 (2x5) procent gaan omdat je en de onzekerheid van het vergelijkingsmateriaal hebt en de onzekerheid van de app zelf.

Ik weet niet wat er aan de hand is met Knotszegge, maar dat lijkt samen met Bosboterbloem een dumpplek van die app. Er staat de meest kleurrijke en bonte verzameling planten bij. Van een Bonte gele dovenetel in bloei tot een Voederwikke of Boshyacint. Zeg maar een kleine doorsnede van de grote bulk aan foto's die voorbij komt.

frkvh

Citaat van: hiskodevries op mei 07, 2020, 13:52:48 PM
<90 % is feitelijk hetzelfde als 'ik weet het niet zeker'
waarnemingen.be/observation/191777197/
93.5% blauwgroene wolfsmelk => hemelsleutel
When seeking truth the answer is the road
When seeking wisdom the journey is your home
-- Sam Herring

hiskodevries

Citaat van: frkvh op mei 23, 2020, 17:03:49 PM
Citaat van: hiskodevries op mei 07, 2020, 13:52:48 PM
<90 % is feitelijk hetzelfde als 'ik weet het niet zeker'
waarnemingen.be/observation/191777197/
93.5% blauwgroene wolfsmelk => hemelsleutel
Jullie kunnen hier lekker blijven mopperen, maar besteed je energie liever aan https://forum.waarneming.nl/index.php/topic,467512.0.html
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

frkvh

ik mopper niet, enkel een illustratie van waar het zelfs boven 90% misgaat. dit is toch een topic over opmerkingen?

het kan zelfs erger: bosandoorn = 100% brede wespenorchis https://waarnemingen.be/observation/192266633/
When seeking truth the answer is the road
When seeking wisdom the journey is your home
-- Sam Herring

hiskodevries

Ik zou zeggen, ga snel testen of de nieuwe versie beter werkt.
Aan gemopper heb ik niets , aan mensen die de nieuwe versie testen wel. Want als die beter is kunnen we die asap live zetten.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0