Observation international

Informatie => NIA-Recognition software - Herkennings software => Topic gestart door: hiskodevries op mei 20, 2020, 19:41:53 pm

Titel: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op mei 20, 2020, 19:41:53 pm
De herkenningssoftware is bijgewerkt.
In het huidige model zitten 16148 verschillende 'soorten'
in het nieuwe zitten 22303 'soorten' http://waarneming.demo.naturalis.io/v1/observation/taxa/benlall

nu nog even testen. via deze link https://old.waarneming.nl/obsidentify_foto.php?id=191857755 kun je een id van een waarneming meegeven en de resultaten van oud en nieuw worden getoond

Gaarne jullie bevindingen

Let op: de referentie foto`s zijn eind 2019 opgehaald !
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Th.Heijerman op mei 24, 2020, 11:18:37 am
Ik ben helemaal geen fan van herkenningssoftware, integendeel.
Maar ik heb de proef op de som genomen met een beperkt aantal kevertjes: de nieuwe versie doet het aanmerkelijk beter.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Bart van Hoogstraten op mei 24, 2020, 11:25:37 am
Met de eerste link krijg ik alleen maar machinetaal. Met de tweede link iets waarmee ik niets kan. Ligt dat aan mijn oude browser?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op mei 24, 2020, 11:28:39 am
Die tweede link laat precies zien wat bedoeld is
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: JohanvantBosch op mei 24, 2020, 17:04:43 pm
Die tweede link laat precies zien wat bedoeld is
Dat snap ik niet. Je wilt toch dat wij iets testen of invoeren? Dat kan niet in deze link.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op mei 24, 2020, 17:13:17 pm
Ja, je krijgt via die link twee reacties. 1 van de nieuwe en 1 van de oude versie.
Het gaat erom dat de nieuwe versie minstens hetzelfde of liever beter reageert
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: lukasverboom op mei 24, 2020, 17:27:17 pm
Ik krijg af en toe een "service unavailable". Wat houdt dat in?
Bij de korstmossen lijkt de nieuwe iets beter te zijn. Een paar "makkelijke" waar de oude niet uit kwam worden 100% zeker de goede bij de nieuwe.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Martin Borsboom op mei 24, 2020, 17:28:41 pm
Die tweede link laat precies zien wat bedoeld is
Dat snap ik niet. Je wilt toch dat wij iets testen of invoeren? Dat kan niet in deze link.
Je plakt het nummer van de waarneming die je wilt testen in de link.

Eerste testje is veelbelovend. Ik heb drie waarnemingen met baggerfoto's getest. Oud geeft een voorstel dat nergens op slaat. Nieuw zegt: De herkennings software is niet in staat tot een resultaat te komen.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: jvogels op mei 24, 2020, 17:41:31 pm
Helaas gaat het bij Philodromus buxi vs margaritatus nog steeds mis:

191129207 moet zijn buxi maar wordt nog steeds met hoge waarschijnlijkheid als margaritatus bestempeld.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: JohanvantBosch op mei 24, 2020, 18:31:22 pm
Die tweede link laat precies zien wat bedoeld is
Dat snap ik niet. Je wilt toch dat wij iets testen of invoeren? Dat kan niet in deze link.
Je plakt het nummer van de waarneming die je wilt testen in de link.

Eerste testje is veelbelovend. Ik heb drie waarnemingen met baggerfoto's getest. Oud geeft een voorstel dat nergens op slaat. Nieuw zegt: De herkennings software is niet in staat tot een resultaat te komen.
Dankje, Martin. Op deze manier is het duidelijk wat je met de link moet doen.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Martin Borsboom op mei 24, 2020, 19:18:39 pm
3 willekeurige waarnemingen van vandaag:

https://waarneming.nl/waarneming/view/192273937?_popup=1
oud: Lantaarntje 41% ( fout )
nieuw: Grote roodoogjuffer 96% ( correct )

https://waarneming.nl/waarneming/view/192273683?_popup=1
oud : Watersnuffel 52% ( fout )
nieuw: Azuurwaterjuffer 59% ( correct )

https://waarneming.nl/waarneming/view/192214537?_popup=1
oud: Tangpantserjuffer 94% ( correct )
nieuw: Tangpantserjuffer 100% ( correct )

Voorlopige conclusie: nieuw is aanzienlijk beter

Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Hinko op mei 24, 2020, 20:12:04 pm
even getest met een paar planten die afgelopen week mis gingen. nu wel goed of (terecht) niet herkenbaar.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: m.weites op mei 24, 2020, 20:18:24 pm
Lijkt duidelijk beter te werken.  :blink:

Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op mei 24, 2020, 21:00:53 pm
Veel belovende resultaten.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Gerrian op mei 24, 2020, 21:11:06 pm
Dat hoop ik. Bij de waarnemingen die ik getest heb, zag ik geen significant verschil tussen oud en nieuw.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Willemien Troelstra op mei 24, 2020, 22:24:00 pm
Test van planten die in april foutief werden goedgekeurd:

Zie https://forum.waarneming.nl/index.php/topic,441859.msg2393491.html#msg2393491
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Pluijm op mei 25, 2020, 08:42:45 am
Het bizarre 'Lupine-mos' weet de Betaversie nu wel goed te herkennen inderdaad.
https://waarneming.nl/waarneming/view/192318726?_popup=1
https://old.waarneming.nl/obsidentify_foto.php?id=192318726
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Frank van de Putte op mei 25, 2020, 14:15:50 pm
in het nieuwe zitten 22303 'soorten' http://waarneming.demo.naturalis.io/v1/observation/taxa/benlall

Hisko, valt hier niet iets overzichtelijks van te maken? Gewoon geordend per soortgroep, familie, en op alfabetische volgorde bijvoorbeeld.
Hier kan ik eerlijk gezegd niet veel mee, volgens mij staan de soorten "random" door elkaar.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Weia op mei 25, 2020, 16:49:11 pm
Bij de motmuggen gaat het soms beter, soms helemaal niet. Het grootste bezwaar van de herkenning is dat er hints uitkomen die er helemaal nooit uit zouden mogen komen. Ik weet niet hoe dat werkt.

Bijvoorbeeld: Peripsychoda fusca en P. auriculata lijken zo op elkaar dat ObsI dat nooit gaat zien. Bij beide soorten zou er alleen Peripsychoda spec uit mogen komen, niet een van de twee soorten, ook niet met een percentage van 54%, ik noem maar wat. Het voeden van de learning machine zou dus anders moeten.

En helemaal gek: een peripsychoda wordt verkeerd herkend en wordt Pneumia trivialis. Dat is een soort die er ook wel eens met echte Pneumia's uitkomt, maar het is een soort die ik niet kan herkennen!!
 
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op mei 25, 2020, 16:56:47 pm
Bij de motmuggen gaat het soms beter, soms helemaal niet. Het grootste bezwaar van de herkenning is dat er hints uitkomen die er helemaal nooit uit zouden mogen komen. Ik weet niet hoe dat werkt.

Bijvoorbeeld: Peripsychoda fusca en P. auriculata lijken zo op elkaar dat ObsI dat nooit gaat zien. Bij beide soorten zou er alleen Peripsychoda spec uit mogen komen, niet een van de twee soorten, ook niet met een percentage van 54%, ik noem maar wat. Het voeden van de learning machine zou dus anders moeten.

En helemaal gek: een peripsychoda wordt verkeerd herkend en wordt Pneumia trivialis. Dat is een soort die er ook wel eens met echte Pneumia's uitkomt, maar het is een soort die ik niet kan herkennen!!
 
het is gebaseerd op goedgekeurde foto’s, dus die herkenning komt niet uit de lucht vallen.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Th.Heijerman op mei 25, 2020, 17:21:20 pm
Nee, komt inderdaad niet uit de lucht vallen. Van beide soorten (fusca en auriculata) staan voldoende goedgekeurde waarnemingen op Waarneming.nl.
Als de admin verschillen kan zien, waarom zou ObsId dat dan niet kunnen?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Bart van Hoogstraten op mei 25, 2020, 17:21:49 pm
Ik heb wat onzekere waarnemingen erdoor gehaald en een paar op zeker kunnen zetten waarvan één lifer. Ik vind het dus geweldig.  :blink: :duim: (Is er een manier om al je onzekere waarnemingen op te roepen in een overzicht?).
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Rutger Barendse op mei 25, 2020, 17:35:25 pm
Ik heb er een heel aantal gedaan uit dit topic https://forum.waarneming.nl/index.php/topic,461759.0.html en ik moet concluderen dat het met die voorbeelden, vooral de echt duidelijke misperen heel veel beter gaat, en verder in zijn algemeenheid ook. Ik moest nu nog harder zoeken naar een vreemde afwijking en ik heb er 1 hele duidelijke gevonden;

https://old.waarnemingen.be/obsidentify_foto.php?id=174352179 (=Wilde weit)

Citaat
Bètaversie Herkennings software

Waarschijnlijkheid : 100 %
Soort : Gewoon speenkruid - Ficaria verna

Current Version
De soort is bepaald Spinnenorchis - Ophrys sphegodes
99.997925758362 %

Wilde weit is toch echt wel heel karakteristiek, en de foto is prima, dus wat er daar misgaat en ging?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Rutger Barendse op mei 25, 2020, 17:42:07 pm
Dit baart me wel zorgen

https://old.waarnemingen.be/obsidentify_foto.php?id=179202034  (= een wat manke Grote kattenstaart)

Citaat
Bètaversie Herkennings software

Waarschijnlijkheid : 87 %
Soort : Chenopodium rubrum

Current Version
De soort is bepaald Rode ganzenvoet - Oxybasis rubra
99.320107698441 %

Het gaat me er niet om dat het nog steeds fout is, maar het betekent dat de nieuwe versie met synoniemen werkt. Liefst geeft deze alleen de geldende namen als suggestie.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Martin Borsboom op mei 25, 2020, 17:46:55 pm
Opmerkelijk wisselend succes bij twee waarnemingen van een Kanaaljuffer.
https://waarneming.nl/observation/192375840/
Oud: 82% Kanaaljuffer
Nieuw: 57% Watersnuffel

https://waarneming.nl/observation/192375916/
Oud 48% Kanaaljuffer
Nieuw: 100% Kanaaljuffer

Bij de eerste is de oude dus aanmerkelijk beter, de nieuwe geeft zelfs een verkeerde soort. Bij de tweede is nieuw vlekkeloos.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: AdeM op mei 25, 2020, 17:47:28 pm
Ik heb wat onzekere waarnemingen erdoor gehaald en een paar op zeker kunnen zetten waarvan één lifer. Ik vind het dus geweldig.  :blink: :duim: (Is er een manier om al je onzekere waarnemingen op te roepen in een overzicht?).

Bart, via de "oude site" kun je je onzekere waarnemingen in een overzicht oproepen.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Weia op mei 25, 2020, 18:40:48 pm
Nee, komt inderdaad niet uit de lucht vallen. Van beide soorten (fusca en auriculata) staan voldoende goedgekeurde waarnemingen op Waarneming.nl.
Als de admin verschillen kan zien, waarom zou ObsId dat dan niet kunnen?
Omdat het om 1 adertje gaat. Ik denk niet dat Obsid dat doorheeft.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Martin Borsboom op mei 25, 2020, 19:15:49 pm
https://waarneming.nl/waarneming/view/192388589
Opmerkelijk: oud zit er met Maanwaterjuffer 97% compleet naast terwijl nieuw 100% goed zit met Watersnuffel
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op mei 26, 2020, 08:55:19 am
Win, De foto's zijn september 2019 opgehaald
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Th.Heijerman op mei 27, 2020, 10:09:00 am
Toch nog even een vraagje over ObsId en het testen van de nieuwe versie.
Als je een waarneming laat beoordelen of test, worden dan alle bijgeleverde foto's daarvoor gebruikt of alleen de primaire foto. Ik heb de indruk van niet omdat elke foto zijn eigen ID-nummer lijkt te hebben
Moet je dus bij meerdere foto's elke foto apart testen / beoordelen?

Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op mei 27, 2020, 10:11:06 am
Nee alle foto's worden gebruikt. Kanttekening : meerdere foto's levert vaak een slechtere uitkomst op.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Weia op mei 27, 2020, 10:11:37 am
Toch nog even een vraagje over ObsId en het testen van de nieuwe versie.
Als je een waarneming laat beoordelen of test, worden dan alle bijgeleverde foto's daarvoor gebruikt of alleen de primaire foto. Ik heb de indruk van niet omdat elke foto zijn eigen ID-nummer lijkt te hebben
Moet je dus bij meerdere foto's elke foto apart testen / beoordelen?
Het gaat om het waarnemingsnummer, niet het fotonummer, althans dat doe ik.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op mei 27, 2020, 10:16:21 am
Wat Weia zegt
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Th.Heijerman op mei 27, 2020, 11:08:20 am
Blijft toch wat onduidelijk:

Waarneming: https://waarneming.nl/observation/192474709/

ObsId komt met een foute soort met 51 procent en vraagt de foto bij te snijden.

Toch zit er een prima foto in de serie: https://waarneming.nl/photos/27069024/

Als je daarvan ID-nummer gebruikt komt ObdsId met dezelfde foute soort en met hetzelfde percentage.

De waarnemer zou dus alleen die ene foto moeten laten staan en de overige moeten verwijderen? Als dat zo is moet de waarnemer (beter fotograaf) op voorhand weten wat voor ObsId de ideale foto is....

Maar goed, het werkt zoals het werkt en als ik het goed begrijp: ook al geeft je fotonummer op voor de test, het waarnemingnummer wordt gebruikt.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op mei 27, 2020, 11:13:24 am
als je een fotonummer opgeeft wordt de waarneming opgehaald die aan dat nummer voldoet
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Bart van Hoogstraten op mei 27, 2020, 17:30:23 pm
Bij de laatste pogingen die ik deed kreeg ik telkens de melding "Service unavailable". Is de testversie weer uit de ether?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Gerrian op mei 28, 2020, 09:16:30 am
Dat hoop ik. Bij de waarnemingen die ik getest heb, zag ik geen significant verschil tussen oud en nieuw.
Toch een duidelijke verbetering ten opzichte van 'oud'  gevonden: https://waarneming.nl/observation/192580732/
oud geeft niervleklieveheersbeestje 97,5% (wat de waarnemer dus blijmoedig had overgenomen)
nieuw geeft tweevlekkig Aziatisch lieveheersbeestje 100% (en terecht)

Maar dit vind ik dan toch wel weer teleurstellend, ik vind het best een duidelijke foto van een schaakbordlieveheersbeestje: https://waarneming.nl/observation/192598391/
oud geeft citroenlieveheersbeestje 67,3 %
nieuw zegt dat de herkennings software niet is staat is tot een resultaat te komen
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Martin Borsboom op mei 29, 2020, 10:36:04 am
Een onscherpe foto van een Variabele waterjuffer:
https://waarneming.nl/waarneming/view/192687085?_popup=1

Oud gaat de mist in en keurt deze goed met 96%
Nieuw is niet in staat om tot een resultaat te komen.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Mark van Veen op mei 29, 2020, 12:12:54 pm
Soms nog bizarre herkenningen. Probeer deze maar eens.

Update: in de oude bizarre namen, maar nadat ik het in de link van Hisko invoer is het antwoord dat de soort niet bepaald kan worden. Dat is beter dan Zwarte Wegmier.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op mei 29, 2020, 15:45:34 pm
Soms nog bizarre herkenningen. Probeer deze maar eens.

Update: in de oude bizarre namen, maar nadat ik het in de link van Hisko invoer is het antwoord dat de soort niet bepaald kan worden. Dat is beter dan Zwarte Wegmier.
dus geen bizarre naam. Mooi
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Rutger Barendse op mei 31, 2020, 13:29:58 pm
Ik ben er nog eens doorgegaan. Na een stuk of 4-5 geeft het trouwens geen resultaten meer, dus uitgebreid testen zit er niet in.

Vragen:

Kan de herkenning nog steeds soorten suggereren die niet in het betreffende land voorkomen?
Kun je met de herkenningsapp soorten invoeren die niet in het betreffende land voorkomen?
Waarom suggereert de herkenning nu synoniemen? Voorbeeld is gegeven hierboven.
Waarom worden er nog steeds ondersoorten gesuggereerd in de nieuwe versie? Dat is toch heel duidelijk gevraagd niet meer te doen.

Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Bart van Hoogstraten op mei 31, 2020, 14:00:22 pm
Ik had daarstraks een Bremzaadkevertje in de tuin. Ter plekke wist ik al wat het was (het was niet mijn eerste), Bij het uploaden van de foto suggereert de oude app dat het voor 84% een Frambozensnuittor was en moest ik hem zelf op Bremzaad zetten. De waarneming door de nieuwe versie gehaald lijkt het er meer op. Ik vind het veelbelovend!  :blink: :duim:
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op mei 31, 2020, 16:01:07 pm
Citaat
Kan de herkenning nog steeds soorten suggereren die niet in het betreffende land voorkomen?
Kun je met de herkenningsapp soorten invoeren die niet in het betreffende land voorkomen?
De app heeft geen idee welke soorten waar voorkomen.
Citaat
Waarom suggereert de herkenning nu synoniemen? Voorbeeld is gegeven hierboven.
de vraag is waarom niet, buiten België worden die correct als soort opgeslagen.de kans is groot dat ten tijde van generatie het nog een soort was
Citaat
Waarom worden er nog steeds ondersoorten gesuggereerd in de nieuwe versie? Dat is toch heel duidelijk gevraagd niet meer te doen.
dus? Rutger niet elke wens wordt gehonoreerd. Als het model een soort altijd fout meld kunnen we die wel laten verwijderen.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Rutger Barendse op mei 31, 2020, 20:35:16 pm
Er zijn inderdaad nu voorbeelden te noemen waar het vaak fout gaat. De nieuwe versie is beter, maar blijft dus ondersoorten suggereren. We (de admins) willen dat niet, want die moeten we, als we het goed willen doen, allemaal handmatig corrigeren.

Bijvoorbeeld Avondkoekoeksbloem https://oudeversie.waarneming.nl/soort/photos/131508 (2650 goedgekeurde foto's)
versus Avondkoekoeksbloem s.s. https://oudeversie.waarneming.nl/soort/photos/8693 (3012 goedgekeurde foto's)

De suggestie kan niet anders dan random zijn, omdat de betreffende taxa evenveel zijn goedgekeurd en er feitelijk geen verschil is. Zo zijn er veel meer soorten en ondersoorten, maar ook genussen en soorten waarop hetzelfde taxon te zien is. Ik kan je honderden voorbeelden geven.

Als je de ondersoorten eruit laat en een selectie van genussen, wordt de app beter.




 
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Frank van de Putte op juni 01, 2020, 13:58:46 pm
Citaat
Waarom worden er nog steeds ondersoorten gesuggereerd in de nieuwe versie? Dat is toch heel duidelijk gevraagd niet meer te doen.
dus? Rutger niet elke wens wordt gehonoreerd. Als het model een soort altijd fout meld kunnen we die wel laten verwijderen.

Waarom is het zo'n probleem om die ondersoorten gewoon uit te sluiten, zijn er dan soortgroepen waarbij dit wel nuttige/ goede resultaten geeft?
Werkt dit bij de vogels dan wel goed? bv Russische/Poolse Kauw, Siberische fitis of weet ik wat voor ondersoorten ze daar allemaal hebben.

Ik zou het omdraaien, en via een poll ofzo vragen welke admins er een probleem mee hebben als die ondersoorten gewoon niet meer getoond worden.
Blijkbaar is dat een groot probleem bij de planten, en dat is toch 1 van de hoofdgroepen op Waarneming.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juni 01, 2020, 14:03:58 pm
Bij vogels doet de app het bij kwikstaart ondersoorten behoorlijk goed. Een automatisme om bij voorbaat grote groepen uit de app te gooien dat gaat niet gebeuren.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Frank van de Putte op juni 01, 2020, 14:11:17 pm
Maar wat heeft de gemiddelde Obsidentify gebruiker (waarschijnlijk geen hardcore vogelaar..) aan al die ondersoorten, daar zit toch niemand op de wachten.
Ik wist niet eens dat er zoveel kwikstaart-ondersoorten waren trouwens :rolleyes:;
https://oudeversie.waarneming.nl/specieslist.php?q=kwikstaart&g=0&f=0&type=0&z=0&local=0&local=1&p=0&sound=0&sort_lat=0&all_lang=0&exact=0 
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juni 01, 2020, 14:31:47 pm
Bij het valideren heb ik daar heel veel gemak van. De gewone gebruiker krijgt bij invoeren te horen dat hij een Engelse kwikstaart heeft gezien in plaats van een gele kwikstaart etc etc. Dezelfde api wordt overal gebruikt. In alle apps, bij invoeren en bij valideren. Dus een hele rij soorten verwijderen levert armoede op.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Hans Verdaat op juni 01, 2020, 17:13:32 pm
Zie het verschil nog niet direct. Witsnuitdolfijnen komen uit als Bruinvis.
Is er een overzicht welke soorten eruit gepikt moeten worden?

Grijze Zeehond en Gewone Zeehond lijkt het vrij goed te doen  :duim: :duim:
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juni 01, 2020, 17:34:21 pm
Zie het verschil nog niet direct. Witsnuitdolfijnen komen uit als Bruinvis.
Is er een overzicht welke soorten eruit gepikt moeten worden?

Grijze Zeehond en Gewone Zeehond lijkt het vrij goed te doen  :duim: :duim:
eerste post
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Hans Verdaat op juni 01, 2020, 21:30:03 pm
 :duim: gevonden. 
zie dat er meerdere soorten dolfijnen toegevoegd zijn. Heb er een paar getest maar uitkomst is altijd (onzekere) bruinvis.

voorbeeldje
https://oudeversie.waarneming.nl/waarneming/view/154757812  gewone dolfijn
https://old.waarneming.nl/obsidentify_foto.php?id=154757812
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Rutger Barendse op juni 02, 2020, 14:58:40 pm
Ik denk te begrijpen dat er wel mogelijkheden zijn om een select aantal soorten, waarbij het regelmatig/grotendeels mis gaat, uit te zetten.

Dan ga ik maar weer voorbeelden sparen. Hoeveel heb je er nodig om ze uit te zetten? 10?

Is er niet een mogelijkheid om met enig volume die nieuwe versie te testen? Na 5 geeft hij het op en het werkt in ieder geval nogal omslachtig (knippen en plakken van nummers).
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Michiel en Milka op juni 02, 2020, 22:58:08 pm
https://waarneming.nl/observation/192563978/#
Oud geeft hier 42,8% Blauwe metselbij. (Tweede optie Avondkoekoeksbloem)
Nieuw geeft 99% Blauwe metselbij. Wat voor mij aanleiding is om hem op zeker te zetten, maar ik heb heel weinig ervaring met de soort

https://waarneming.nl/observation/191719275/
Oud geeft 79,4 Groot dooiermos (onjuist)
Nieuw geeft 100% Rood dooiermos (juist)

https://waarneming.nl/observation/192028449/
Oud geeft 67,9 Gele viervlekwants
Nieuw geeft 100% Gele viervlekwants (juist)
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Michiel en Milka op juni 02, 2020, 23:12:28 pm
Dit is absoluut geen verbetering.
N.a.v. een forumvraag deze https://waarneming.nl/observation/193135470/ door de test gegooid;

Oud: 50,11 Viervlekkapoentje (maar volgens vraagsteller ook Driehoekkapoentje)

Nieuw: 100% Veelstippig Aziatisch lhb-tje f. succinea. Maar dat is pertinent onjuist. Het is helemaal geen aziaat.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Bart van Hoogstraten op juni 03, 2020, 15:19:56 pm
Uiteraard is het niet feilloos maar ik ben in ieder geval onder de indruk van de enorme verbetering. Ook bij nieuwe Nederlandse soorten die nog niet veel zijn ingevoerd slaat de nieuwe versie minder vaak de plank mis dan de oude. Ik had vanmiddag een soort die ik uit de praktijk ken en ook herkende. De oude versie zat er compleet naast terwijl de nieuwe het bij het goede eind had en dan nog 100% op zeker ook nog.  :duim: ;)
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Rutger Barendse op juni 09, 2020, 12:44:19 pm
Ik heb de afgelopen tijd af en toe wat waarnemingen getest. Over het algemeen werkt het beter, maar er zijn ook soorten waar het slechter lijkt te gaan. Wilde weit is me nu opgevallen.



======
Rubus spec.

Current Version
De soort is bepaald Steenbraam - Rubus saxatilis
99.002748727798 %

Bètaversie Herkennings software
Waarschijnlijkheid : 83 %
Soort : Dauwbraam - Rubus caesius
====
Knoopkruid

Current Version
De soort is bepaald Zwart knoopkruid - Centaurea jacea subsp. nigra
90.550637245178 %

Bètaversie Herkennings software
Waarschijnlijkheid : 100 %
Soort : Knoopkruid - Centaurea jacea

====
Gewoon biggenkruid

Current Version
De soort is bepaald Biesknikbloem - Chondrilla juncea
93.548959493637 %

Bètaversie Herkennings software
Waarschijnlijkheid : 94 %
Soort : Gewoon biggenkruid - Hypochaeris radicata
===
Viola spec.

Current Version
De soort is bepaald Zinkviooltje - Viola lutea subsp. calaminaria
99.058020114899 %

Bètaversie Herkennings software
Waarschijnlijkheid : 88 %
Soort : Akkerviooltje - Viola arvensis
==
Brassicaceae spec.

Current Version
De soort is bepaald Sikkelgoudscherm - Bupleurum falcatum
99.582135677338 %

Bètaversie Herkennings software
Waarschijnlijkheid : 73 %
Soort : Gele waterkers - Rorippa amphibia

===
Wilde weit

Current Version
De soort is bepaald Wilde weit - Melampyrum arvense
99.972546100616 %

Bètaversie Herkennings software
De herkennings software is niet in staat tot een resultaat te komen.

=====
Een Gesteepte witbol

Current Version
De soort is bepaald Zeealsem - Artemisia maritima
96.804982423782 %

Bètaversie Herkennings software
Waarschijnlijkheid : 62 %
Soort : Gestreepte witbol - Holcus lanatus

====
Zwarte toorts

Current Version
De soort is bepaald, een onzekere Alpenandoorn - Stachys alpina
66.48662686348 %

Bètaversie Herkennings software
Waarschijnlijkheid : 56 %
Soort : Zwarte toorts - Verbascum nigrum

====
Wilde weit

Current Version
De soort is bepaald, een onzekere Wilde weit - Melampyrum arvense
84.772026538849 %

Bètaversie Herkennings software
Waarschijnlijkheid : 81 %
Soort : Grote pimpernel - Sanguisorba officinalis
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juni 09, 2020, 12:53:05 pm
enig idee waar het probleem in kan steken bij wilde weit Rutger?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Rutger Barendse op juni 09, 2020, 20:13:53 pm
Mogelijk lijken een aantal planten er te fel op en komt dat nu aan het licht?  Toch is de plant vrijwel uniek.

Er gingen ook een aantal wel goed, maar de oude is dus beter in het geval van Wilde weit. Hier nog eentje met nagenoeg perfecte foto's.

====
Wilde weit
https://oudeversie.waarnemingen.be/waarneming/view/47356910


Current Version
De soort is bepaald Wilde weit - Melampyrum arvense
96.47730588913 %

Bètaversie Herkennings software
De herkennings software is niet in staat tot een resultaat te komen.




en deze:
====
Wilde weit
https://oudeversie.waarnemingen.be/waarneming/view/54992963

Current Version
De soort is bepaald Wilde weit - Melampyrum arvense
100 %

Bètaversie Herkennings software
Waarschijnlijkheid : 76 %
Soort : Steenrode orchis - Dactylorhiza incarnata subsp. coccinea

Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: nielseimers op juni 11, 2020, 08:07:05 am
Citaat
Waarom worden er nog steeds ondersoorten gesuggereerd in de nieuwe versie? Dat is toch heel duidelijk gevraagd niet meer te doen.
Rutger niet elke wens wordt gehonoreerd. Als het model een soort altijd fout meld kunnen we die wel laten verwijderen.

Dag Hisko :blink: Ik begrijp niet zo goed waarom je deze wens niet wil honoreren? Het levert ons echt meerwerk en geeft veel frustratie. Blijkbaar kunnen taxa verwijderd worden uit het model, waarom doen we dat dan niet gewoon? Kan ik niet gewoon een lijstje van taxa aanleveren die ObsIdentify niet langer mag suggereren op waarneming.nl en waarnemingen.be?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juni 11, 2020, 08:13:34 am
Omdat we eerst de nieuwe versie afwachten natuurlijk
Weg is weg en komt dan niet meer terug.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: jack_windig op juni 11, 2020, 15:36:30 pm
Bij een beroerde foto kan het nog steeds wel eens mis gaan: :rolleye:

Lantaarntje - Ischnura elegans (https://waarneming.nl/waarneming/view/193726656)

Current Version
De soort is bepaald Metaalvlinder - Adscita statices
97.495359182358 %

Bètaversie Herkennings software
Waarschijnlijkheid : 67 %
Soort : Wilde akelei - Aquilegia vulgaris
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juni 11, 2020, 15:44:39 pm
:) leuke discussie ook
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Rutger Barendse op juni 15, 2020, 09:54:49 am
Ik weet niet of voorbeelden nog gewenst zijn. Ik doe er af en wat uit nieuwsgierigheid en verzamel die..

Muurpeper

Current Version
De soort is bepaald, een onzekere Zacht vetkruid - Sedum sexangulare
48.43784570694 %

Bètaversie Herkennings software
Waarschijnlijkheid : 96 %
Soort : Muurpeper - Sedum acre
====
Schapenzuring

Current Version
De soort is bepaald, een onzekere Klein schorrenkruid - Suaeda maritima
58.613073825836 %

Bètaversie Herkennings software
Waarschijnlijkheid : 90 %
Soort : Schapenzuring - Rumex acetosella

====
Spoorbloem

Current Version
De soort is bepaald Sierui - Allium hollandicum
99.981504678726 %

Bètaversie Herkennings software
De herkennings software is niet in staat tot een resultaat te komen.

====
Raphanus spec.

Current Version
De soort is bepaald Gypsophila elegans
95.080745220184 %

Bètaversie Herkennings software
Waarschijnlijkheid : 50 %
Soort : Radijs spec. - Raphanus spec.

====
Pinksterbloem

Current Version
De soort is bepaald, een onzekere Pinksterbloem - Cardamine pratensis
42.482402920723 %

Bètaversie Herkennings software
Waarschijnlijkheid : 100 %
Soort : Pinksterbloem - Cardamine pratensis

===
Rode beuk in heg

Current Version
De soort is bepaald Gehoornde klaverzuring - Oxalis corniculata
93.086290359497 %

Bètaversie Herkennings software
De herkennings software is niet in staat tot een resultaat te komen.

===
Klein streepzaad

Current Version
De soort is bepaald, een onzekere Wondklaver - Anthyllis vulneraria
84.810328483582 %

Bètaversie Herkennings software
Waarschijnlijkheid : 84 %
Soort : Wondklaver - Anthyllis vulneraria

====
Venkel

Current Version
De soort is bepaald Bergvenkel - Meum athamanticum
99.871647357941 %

Bètaversie Herkennings software
De herkennings software is niet in staat tot een resultaat te komen.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juni 15, 2020, 10:06:35 am
Rutger, ik ben wel overtuigd dat de nieuwe versie beter is.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: wim veraghtert op juni 15, 2020, 10:22:54 am
Dat wil ik best geloven, Hisko, maar beter is niet altijd goed genoeg.
Ik ondersteun de vraag om bepaalde taxa gewoon uit de lijst van Obsidentify te halen. Er zijn echt soorten waar dat totaal de mist ingaat. Of soorten die stelselmatig gesuggereerd worden, blijkbaar als een soort vuilnisbakoplossing ("ik weet het niet, dus ik zeg maar: soort X"). Heel wat bloemen worden blijkbaar als (voor het blote oog onzichtbare) sieralgen benoemd: https://waarnemingen.be/species/187967/photos/?advanced=on

Vanochtend kregen we op waarnemingen.be twee meldingen binnen van de zeer zeldzame Winterbladroller.
Waarneming 1: https://oudeversie.waarnemingen.be/waarneming/view/194101038 (een klassieke buxusmot)

Bètaversie Herkennings software

Waarschijnlijkheid : 93 %
Soort : Huiszebraspin - Salticus scenicus

Current Version
De soort is bepaald, een onzekere Winterbladroller - Exapate congelatella
79.736834764481 %

Dat is dus geen verbetering.
----------------------------------------------------------

Waarneming 2: https://waarnemingen.be/observation/194100984/# (een  heel duidelijke foto van een Zwarte-c-uil)

Bètaversie Herkennings software

Waarschijnlijkheid : 100 %
Soort : Zwarte-c-uil - Xestia c-nigrum

Current Version
De soort is bepaald Winterbladroller - Exapate congelatella
98.812276124954 %

Daar gaat ie wel goed.

Mvg
Wim
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juni 15, 2020, 10:34:15 am
dus een verbetering van de nieuwe versie.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: wim veraghtert op juni 15, 2020, 10:41:25 am
Bij de ene wel, bij de andere niet.
Wanneer zou die nieuwe versie geïmplementeerd worden?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juni 15, 2020, 10:48:53 am
goede vraag Wim, wat dat betreft draaien de molens erg traag
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: lukasverboom op juni 16, 2020, 11:31:16 am
https://forum.waarneming.nl/index.php/topic,468928.0.html

Ik kom er net achter dat al die kleurvormen van Cepaea nemoralis die in Nederland onderscheiden worden voor dat project (loopt dat überhaupt nog?) ook in België door de API worden gesuggereerd, maar dat die in België niet geactiveerd zijn. Ook in dit geval wil ik met klem vragen of deze vormen uit de suggesties gehaald kunnen worden. Het zou heel vervelend zijn als in onze buurlanden de API gebruikt gaat worden en deze vormen door heel Europa worden ingevoerd.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juni 16, 2020, 11:55:24 am
nee dat project loopt niet meer, maar al die forma bestaan nog steeds
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: lukasverboom op juni 16, 2020, 12:17:49 pm
Kunnen we die formae dan niet gewoon schrappen?

Maar ook dan blijft de API ze waarschijnlijk nog wel een tijdje suggereren...
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juni 16, 2020, 12:22:13 pm
ja dat maakt alleen verschil bij een opnieuw samenstellen.
en dan is het misschien beter om al die forma op beoordeling 'P' te zetten ?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Martin Borsboom op juni 19, 2020, 18:56:35 pm
Beekoeverlibel:
https://waarneming.nl/observation/194433219/#

Oud: 99% Gewone oeverlibel
Nieuw: 100% Beekoeverlibel

Wanneer gaan we eigenlijk over?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Jacob Molenaar op juni 19, 2020, 19:47:39 pm
Ik zie dit topic pas laat, toch nog even een kleine bijdrage van mijn kant:
Positief:
Grote keverorchis (https://waarneming.nl/observation/193775530/):
Nieuwe versie: Waarschijnlijkheid : 81 %, soort : Grote keverorchis - Neottia ovata
Current Version: De soort is bepaald, een onzekere Valse salie - Teucrium scorodonia, 87.958770990372 %

Reebruine bladsnuitkever (https://waarneming.nl/observation/189886638/):
Nieuwe versie: Waarschijnlijkheid : 95 %, Soort : Reebruine bladsnuitkever - Polydrusus cervinus
Current Version: De soort is bepaald, een onzekere Geelzwarte ribbelboktor - Rhagium mordax, 40.111291408539 %

Thereva plebeja (https://waarneming.nl/observation/189866040/):
Nieuwe versie: Waarschijnlijkheid : 91 %, Soort : Thereva plebeja
Current Version: De soort is bepaald Zandviltvlieg - Acrosathe annulata, 98.229604959488 %

Geen verbetering:
Sericus brunneus (https://waarneming.nl/observation/189865946/):
Nieuwe versie: Waarschijnlijkheid : 90 %, Soort : Gerande kniptor - Dalopius marginatus
Current Version: De soort is bepaald Gerande kniptor - Dalopius marginatus, 94.454210996628 %

Hier overigens een opvallende fout:
Onzekere Gewone dubbeltand (https://waarneming.nl/observation/188618950/), in elk geval de verzamelsoort 'Nomada panzeri/ruficornis/flava/striata/villosa'
Nieuwe versie: Waarschijnlijkheid : 54 %, Soort : Veelstippig Aziatisch lieveheersbeestje - Harmonia axyridis f. succinea
Current Version: De soort is bepaald, een onzekere Nomada panzeri/ruficornis/flava/striata/villosa, 50.258588790894 %
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Michel Langeveld op juni 21, 2020, 13:58:01 pm
Hoe vaak wordt de software eigenlijk geupdate?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Michiel en Milka op juni 21, 2020, 17:49:56 pm
Weegbreemot (met niet al te beste foto)

Oude versie: 99,97% Zwerfstreepmot (waarvan drie goedgekeurde waarnemingen in Zuid-Limburg zijn)
Beta versie 50% Weegbreemot

Met een betere foto geven ze beiden 100% Weegbreemot

Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Timo Roeke op juni 24, 2020, 09:16:49 am
Hoe vaak wordt de software eigenlijk geupdate?
Niet vaak. De middelen zijn helaas beperkt.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: nielsyese op juni 27, 2020, 20:51:44 pm
Over het algemeen gaat het goed, deze slaat de plank mis: https://waarneming.nl/observation/194953928
99,9% zeker Chymomyza amoena volgens de waarnemer, het is echter een wespje.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Michel Langeveld op juni 27, 2020, 21:02:18 pm
Inmiddels heb ik een stuk of 100 keer de nieuwe versie gebruikt. Behoorlijk vaak werkt de nieuwe versie beter dan de vorige versie. Minder foute herkenningen en vaker goede herkenning. In beide gevallen minder werk voor de validators. Ik zou zeggen releasen maar en op naar een nog betere versie. Ik ben wel benieuwd hoe het systeem werkt. Gaat dit met kunstmatige intelligentie? Is er een algoritme per soort of is het hele systeem één groot algoritme? In het eerste geval kan er makkelijker uitgebreid worden lijkt me. Is er een los algoritme die bepaalt wat de meest zinvolle foto uitsnede is? Hoeveel foto's hebben jullie gebruikt om te trainen?  Hoe lang neemt dit trainproces in beslag? Misschien hebben jullie hier een paper of BLOG over geschreven.

Mvg Michel
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juni 28, 2020, 15:35:53 pm
Het hele systeem is 1 algoritme, een soort toevoegen is dus niet mogelijk, jammer genoeg.
Wind en weder dienende zal in juli de nieuwe versie live gaan
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Michel Langeveld op juni 30, 2020, 08:59:04 am
Oke, dit verklaart ook de hoeveelheid werk die in de afstelling gaat zitten en de lage frequentie van updates. Dank voor de reactie en het beschikbaar stellen van het systeem.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Daandrukker op juli 02, 2020, 08:53:38 am
De nieuwe versie werkte de keren dat ik getest heb inderdaad aanzienlijk beter, maar ik kom op één vreemde uitzondering:

De zeslijneendagsvlieg (Ephemera lineata) wordt steevast als vierlijneendagsvlieg (Ephemera glaucops) gesuggereerd bij de oude versie en vaak met mindere zekerheidspercentages als halfgevlekte eendagsvlieg (Ephemera danica) bij de nieuwe versie (of ook weer als glaucops), en ik vraag me af hoe dat komt.

Mijn theorieën zijn:
- de update heeft geen Belgische referentiewaarnemingen meer (lijkt me sterk, maar ik schrijf het toch maar op)
- het systeem kan het verschil in aantal referentiewaarnemingen niet aan.

Die laatste optie lijkt me het meest waarschijnlijk, maar toch even wat uitleg hier. Voor de update werd Ephemera lineata volgens mij ook niet herkend, maar ik had goede hoop aangezien de laatste tijd juist een aantal waarnemingen had goedgekeurd waren.

Ephemera lineata heeft 30 referentiefoto's (29 BE, 1 NL)
Ephemera glaucops heeft er 1594 (780 BE, 814 NL)
Ephemera danica heeft er 851 (543 BE, 308 NL)

Ik ben benieuwd of jullie een idee hebben of mijn theorie klopt?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juli 02, 2020, 08:58:46 am
Daan of de referentie fotos zijn pas onlangs referentie geworden. de gebruikte foto`s zijn eind 2019 opgehaald
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Daandrukker op juli 02, 2020, 09:02:16 am
Aah dat lijkt me logisch Hisko! 2020 was een goed jaar voor Ephemera lineata namelijk! Dank.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juli 02, 2020, 09:16:11 am
ik zal dat ook even in de eerste post zetten
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Michel Langeveld op juli 03, 2020, 21:16:02 pm
Ik krijg service unavailable op de testlink.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: FrankR op juli 05, 2020, 17:50:46 pm
Mijn ervaring is: hoe meer foto's hoe slechter het resultaat in weerwil van de aansporing om meer detailfoto's op te laden.

Blijkbaar convergeert de algoritme minder goed met meer foto's, wat niet zou moeten met een dergelijk systeem, of er zitten teveel foto's in de referentie database, die niet gedetailleerd zijn. Zoiets dus m.i.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Jacob Molenaar op juli 06, 2020, 08:43:01 am
@Frank, volgens mij wordt gewoon het gemiddelde van de percentages genomen bij meerdere foto's, dus als er een foto tussen zit die wat minder duidelijk is trekt deze het totale gemiddelde omlaag.
Terwijl dat eigenlijk niet de manier is om percentages bij elkaar op te tellen, immers zou een foto met 90% en een foto met 60% juist moeten betekenen dat het uiteindelijke percentage omhoog moet, toch?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juli 06, 2020, 08:46:04 am
hoe meer foto`s hoe slechter het resultaat. dan krijg je een gemiddelde
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: ErikvN op juli 06, 2020, 10:05:15 am

Ik krijg ook "service unavailable" op de testlink voor de nieuwe versie. Wil graag nog wat bladmijnen testen, want die gaan vaak (meestal) fout
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: FrankR op juli 06, 2020, 11:12:32 am
@Frank, volgens mij wordt gewoon het gemiddelde van de percentages genomen bij meerdere foto's, dus als er een foto tussen zit die wat minder duidelijk is trekt deze het totale gemiddelde omlaag.
Terwijl dat eigenlijk niet de manier is om percentages bij elkaar op te tellen, immers zou een foto met 90% en een foto met 60% juist moeten betekenen dat het uiteindelijke percentage omhoog moet, toch?
Het zal zoiets zijn denk ik inderdaad. Ik zal nog eens wat proeven** nemen. Bedankt.

**Even wachten tot het weer werkt  ;)
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: FrankR op juli 06, 2020, 17:46:06 pm
Als ik twee foto's invoer 1) eerst de uitsnede en dan het overzicht en 2) eerst het overzicht en dan de uitsnede, dan krijg ik in beide gevallen dezelfde x% waarschijnlijkheid.

Als ik de waarschijnlijkheden van 1a) de uitsnede en 2a) het overzicht optel, en ik neem het gemiddelde, dan krijg ik x% + 0,65% in dit specifieke geval dan.

Dus twee foto's in voeren levert niet precies het gemiddelde op van de twee afzonderlijke invoeringen. De algoritme werkt dus toch iets anders.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juli 07, 2020, 10:07:44 am
Zolang de oorzaak van de problemen met de productie omgeving van de herkenningssoftware niet zijn achterhaald is de testomgeving onbereikbaar.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juli 07, 2020, 12:23:12 pm
De oorzaak is gevonden en de testomgeving is weer beschikbaar.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: FrankR op juli 07, 2020, 13:15:56 pm
Ik ben benieuwd; wat is de oorzaak geweest?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op juli 07, 2020, 13:18:57 pm
compleet volgelopen directory met log files (zal niet nog een keer gebeuren)
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: FrankR op juli 07, 2020, 17:10:37 pm
Mooi, dat de oorzaak gevonden is  :duim:
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Bart van Hoogstraten op juli 11, 2020, 11:16:04 am
De oude versie zit er helemaal naast met 45,8% Bronsprietwapenvlieg. De nieuwe versie heeft het bij het goede eind en dat zelfs met maar liefst 100%  :duim: :duim: :duim: :duim: https://waarneming.nl/observation/195903873/
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Michel Langeveld op augustus 05, 2020, 13:30:02 pm
Twee vragen:
1) Is al bekend wanneer de nieuwe versie wordt ingevoerd? Mijn waarnemingen controleer ik bijna allemaal via de testlink en regelmatig sleutel ik dingen om. De nieuwe versie doet het aanmerkelijk beter.
2) Een aantal waarnemingen zijn automatisch gevalideerd tegen het oude image herkenning systeem. Worden deze images nog opnieuw bekeken? en bij te grote afwijking alsnog ter validatie aangeboden?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op augustus 15, 2020, 15:43:26 pm
Ad 1 nee dat is nog niet bekend. Vanwege de uitval in juni is men wat voorzichtig geworden met de uitrollen in de vakantie periode gebeurd zowiezo niks

Ad 2, niet door ons
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Martijn van Sluijs op augustus 15, 2020, 17:30:30 pm
2) Een aantal waarnemingen zijn automatisch gevalideerd tegen het oude image herkenning systeem. Worden deze images nog opnieuw bekeken? en bij te grote afwijking alsnog ter validatie aangeboden?

Ad 2, niet door ons

Dit is toch zo'n gek idee nog niet? Om iedere keer wanneer een nieuwe versie van de herkenningssoftware ingevoerd wordt, de tot dan toe automatisch gevalideerde waarnemingen door de nieuwe versie van de beeldherkenning halen? (bijvoorbeeld in de daluren van de server?)

Wanneer de nieuwe herkenningssoftware vervolgens een andere soort suggereert, en die suggestie bovendien binnen de percentagemarge van automatische validatie voor die andere/'nieuwe' soort valt, kunnen van deze waarneming het waarnemingsnummer en de soortgroep bijvoorbeeld opgeslagen worden in een lijstje. Dit lijstje bevat na doorlopen van deze automatisch gevalideerde waarnemingen als goed is een relatief klein aantal waarnemingen, met een relatief grote kans op foutieve automatische validaties. Het zou dan vervolgens aan de desbetreffende admin(groep) zijn om die lijst (of dit lijstje) door te werken of te verdelen onder elkaar (of links naast zich neer te leggen). De hoeveelheid codeerwerk hiervoor valt ook best wel mee...

Typisch iets waar de computer kan bijdragen! Om alle tot nu toe automatisch gevalideerde waarnemingen met de hand door de nieuwe beeldherkenning te halen/ zelf te controleren is onbegonnen werk, maar zo'n lijstje kan denk ik best wat bijdragen met relatief weinig moeite.

Wat betreft die percentages die per soort zijn ingesteld als 'grens' waarboven automatische validatie mogelijk is: is er rekening mee gehouden dat een nieuwe versie van de beeldherkenning ertoe leidt dat deze grenspercentages hoogstwaarschijnlijk grotendeels herzien zullen moeten worden? De gegeven percentages zijn tenslotte grotendeels arbitrair, en sterk gebonden aan de specifieke codering/structuur van de beeldherkenning en de achterliggende database (waarvan in ieder geval de tweede gewijzigd is ten opzichte van de vorige versie van de beeldherkenning, en de eerste vermoed ik ook(?)).

Gelukkig betekent een betere beeldherkenning dat de correctheid omhoog gaat. Dat kunnen we in dit topic ook lezen. Hierdoor kan de grenswaarde waarschijnlijk dus in veel gevallen naar beneden worden bijgesteld (waardoor het voorlopig gebruiken van de nieuwe automatische validatie met de huidige/'oude', hogere,  grenswaarden in ieder geval niet leidt tot meer foutief automatisch gevalideerde waarnemingen dan voorheen). Het kan echter in sommige gevallen natuurlijk ook andersom uitpakken, dat kan ik zo nog niet overzien ;).

Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: marcel234 op augustus 15, 2020, 20:41:58 pm
Dit is toch zo'n gek idee nog niet? Om iedere keer wanneer een nieuwe versie van de herkenningssoftware ingevoerd wordt, de tot dan toe automatisch gevalideerde waarnemingen door de nieuwe versie van de beeldherkenning halen? (bijvoorbeeld in de daluren van de server?)
Ik neem aan dat de makers van de herkenningssoftware zo werken, maar daar wordt bewust over gezwegen. Hisko kan je vast wel aan een paar links over dit onderwerp helpen.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Martijn van Sluijs op augustus 15, 2020, 21:09:59 pm
Dit is toch zo'n gek idee nog niet? Om iedere keer wanneer een nieuwe versie van de herkenningssoftware ingevoerd wordt, de tot dan toe automatisch gevalideerde waarnemingen door de nieuwe versie van de beeldherkenning halen? (bijvoorbeeld in de daluren van de server?)
Ik neem aan dat de makers van de herkenningssoftware zo werken, maar daar wordt bewust over gezwegen. Hisko kan je vast wel aan een paar links over dit onderwerp helpen.

Volgens mij heb ik een redelijk goed beeld van hoe de herkenningssoftware werkt en toegepast wordt, en ik kan deze reactie binnen die context niet plaatsen. Kun je hem toelichten? Waar wordt precies "bewust over gezwegen"?

Huidige situatie is volgens mij dat er eens in de zoveel tijd (lees: elke paar maanden/één keer per jaar(?)) een nieuwe versie van het model wordt getraind (met of zonder wijzigingen aan het model zelf, in ieder geval met een geupdate/grotere database). Waarnemingen worden vervolgens eventueel automatisch gevalideerd met de geldende beeldherkenningsversie op het moment van invoeren van de waarneming, en naar die validatie wordt momenteel (tenzij een validator er expliciet zelf naar kijkt) later niet meer gekeken. Ook niet met een nieuwe versie van de herkenningssoftware. Dat is dan ook het punt van mijn bijdrage, daar zou 'winst' kunnen worden gehaald. Gebruik maken van het 'voortschrijdend inzicht' van de herkenningssoftware dus. Ik zie in dat proces dus niet echt een "actie van de makers van de herkenningssoftware" waar "bewust over wordt gezwegen"...
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Michel Langeveld op augustus 15, 2020, 22:20:33 pm
Ach ja. Als men niet exact wil verklappen hoe het systeem werkt heb ik daar respect voor. De website is razend populair en draait goed. Zelf ben ik ook druk aan het waarnemen en heb daar best veel lol in en en zeer leerzaam allemaal. Nu lachen we nog om sommige missers van het identificatie systeem (pixels die als vleermuizen worden erkend), maar het slaat regelmatig de spijker flink raak op zijn kop. Elk jaar zal het algoritme wel een stap blijven maken. Beeldherkenning staat nog in de kinderschoenen. Het zal niet lang duren voordat het systeem zich met experts kan meten en het zal deze ook overtreffen. Beetje zelfde ontwikkeling als de schaakprogramma's waarvan men ooit zei dat deze nooit grootmeesters zou kunnen winnen. Ondertussen probeer ik een beetje mee te denken en ga verder met waarnemen.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Martijn van Sluijs op augustus 15, 2020, 22:28:27 pm
Volgens mij heb ik een redelijk goed beeld van hoe de herkenningssoftware werkt en toegepast wordt, en ik kan deze reactie binnen die context niet plaatsen.
Ik denk dat je dat niet hebt.

Alright then :rolleye: :P. Wellicht vraag ik ze nog eens op uit interesse, maar in zijn algemeenheid heb ik er geen twijfel over of ik weet hoe beeldherkenningssoftware werkt hoor haha.

Want ik kan me niet voorstelen dat de herkennningssoftware op deze manier https://forum.waarneming.nl/index.php/topic,467512.msg2392421.html#msg2392421 wordt getest.

Nee natuurlijk niet. Aangezien er redelijk lange tijd tussen nieuwe versies van de herkenningssoftware zitten, zal het ongeveer als volgt in elkaar zitten, waar bij het proces telkens deels of geheel wordt doorgelopen. Men begint met de volledige gevalideerde fotodatabase. Daarop laat men een 'Convolutional Neural Network' 'leren' (hoe dit precies in zijn werk gaat wil ik je graag tot in de puntjes uitleggen, maar lijkt mij nogal buiten de strekking van dit forum).

Het belangrijkste is in ieder geval om een balans te vinden tussen 'overfitten' en geen herkenning hebben. Dat wil zeggen: voorkomen dat alleen zeer sterk gelijkende foto's op de foto's in de database herkend worden, maar er wel voor zorgen dat soorten 'gegeneraliseerd' herkend worden. Zodat dus ook nieuwe foto's van die soort worden herkend.

Wanneer de volledige database als trainingsmateriaal wordt gebruikt, en de volledige database ook als testmateriaal wordt gebruikt, kan het voorkomen dat een erg complex model superhoog scoort. Superfijn toch, 99% herkenning!! Niet dus. Vaak is dit een gevolg van 'overfitting'. Wanneer je het model een nieuwe foto aanrijkt die deze nog niet eerder heeft gezien, weet het model er vaak slecht raad mee, omdat het heeft  geleerd de specifieke foto's uit de database te herkennen in plaats van patronen/'soorten'.

Om dit te voorkomen zijn allerlei trucjes bedacht, waarbij de meest gebruikte optie 'K-fold cross-validation' is, waarbij tijdens het trainen bij iedere iteratie van het proces steeds een ander stukje apart wordt gehouden (vaak ca. 20% van de data, afhankelijk van de grootte van de database), waarna vervolgens het model iedere iteratie van het proces op dat stukje getest/gescoord wordt (wederom, is hier tot in de puntjes uit te leggen, maar niet echt de juiste plaats lijkt mij).

Het uiteindelijke percentage correcte voorspellingen in die 'K-fold cross-validation' van de laatste iteratie geeft vaak al een vrij aardige indicatie van de kwaliteit van het model, maar voor de kwaliteit wordt vaak gekeken naar de 'confusion matrix', waaruit duidelijk wordt wat goed en fout gaat (de waarden en percentages correct voorspelde foto's die hieruit rollen zou je in principe 'testwaarden' kunnen noemen). In de confusion matrix is ook te zien als welke soort een foutief voorspelde soort dan wel voorspeld is etc. etc. Diegenen die statistiek in hun opleiding hebben gehad, zullen zo vast nog wel de termen 'vals positief' en 'vals negatief' herkennen. Ik kan mij zo voorstellen dat in dit geval wordt gepoogd om het aantal vals positieven zo laag mogelijk te houden. Liever geen voorspelling dan een onjuiste voorspelling.

Het bericht waarnaar je hier verwijst is dan ook slechts bedoeld om dingen eruit te vissen die tijdens de ontwikkeling over het hoofd worden gezien. Daar wordt vaak gekeken naar de grote lijnen, en het optimaliseren van het model in het algemeen (met eventueel preprocessing, en vooral neural network design (layers, aantal neurons, leersnelheid, en nog een heleboel parameters)). Wat gepoogd wordt in zo'n publieke testfase als via dit bericht is om erachter te komen of er toch niet wat 'overfitting' in het model is geslopen (er blijven altijd wat valkuilen, wat voor gekozen methode om dit te voorkomen dan ook), en om eventuele terugkerende fouten bij bepaalde soorten of soortgroepen eruit te vissen voordat het geheel in gebruik wordt genomen...
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Michel Langeveld op augustus 17, 2020, 17:05:46 pm
Het overfitten is wel een interessant probleem. Ik heb wel eens gehoord bij beeldherkenning op foto's met tank ja / nee wat perfect werkte. Toen bleek dat bij nieuwe foto's dat het totaal niet werkte. Gebleken was dat in de input alle zonnige foto's tanks hadden en alle regenachtigefoto's geen tanks. Uiteindelijk had men dus een systeem gebouwd om zonnige foto's van regenfoto's te onderscheiden. Overfitten ligt mogelijk om te loer bij donkere foto's => vleermuis en paddenstoel op berk => berkenzwam. Ook zie ik bij zoogdieren wel gekke dingen gebeuren wat lijkt dat de trainingsdata te eenzijdig was. Maar goed - bottomline ben ik dus zeker tevreden over het nieuwe systeem.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op augustus 18, 2020, 14:36:53 pm
nee, ik verwacht het niet snel door personeelswisselingen bij naturalis systeembeheer
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Michiel en Milka op augustus 26, 2020, 20:25:33 pm
https://waarneming.nl/observation/199112972/

Dit bonte Bont zandoogje wordt met resp. 99,9% (oud) en 91% (nieuw) herkend als Argusvlinder. De foto is uit de Jura, maar omdat beide soorten hier voorkomen meld ik hem toch maar.
Automatische herkenning staat blijkbaar gewoon aan op observation.org? Bij de dagvlinders trouwens in veel gevallen behulpzaam.
Titel: Levensstadium
Bericht door: Platbuik op oktober 15, 2020, 10:37:54 am
 Bij het gebruik van de herkenningssoftware op wnl ( https://waarneming.nl/fieldwork/observations/create/? ) valt het mij op (en stoort ook eerlijk gezegd) dat men na het bepalen van een soort van een plaatje, niet in staat is om tegelijk het Levensstadium over te nemen :-\
 Als er verschil duidelijk is tussen -tig soorten parelmoervlinders of glazenmakers, waarom dan ook niet even ingevuld dat het een rups of imago is? Ik zie bij libellen veel opmerkingen achteraf van admins dat men niet moet vergeten om "imago" in te vullen. Allemaal werk dat voor een groot deel onnodig is. Laat de software dat doen.

 Bij determinatie van kevers blijkt dat er technisch geen belemmeringen zijn, Levensstadium wordt dan netjes ingevuld.

Wie gaat over deze kwestie, en hoeveel van mijn corona-vrijetijd heeft deze instantie nodig om dat goed te organiseren/regelen?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op oktober 15, 2020, 10:45:18 am
Citaat
en hoeveel van mijn corona-vrijetijd heeft deze instantie nodig om dat goed te organiseren/regelen
de herkennings software is nog niet in staat om het levensstadium te bepalen van een foto.
Het valideren is niet tijdrovender geworden. het kost exact evenveel klikken om een waarneming  goed te keuren of een waarneming goed te keuren en op imago te zetten
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Michel Langeveld op oktober 15, 2020, 13:08:24 pm
Hoi Hisko,

Is er nog nieuws tav het invoeren van de nieuwe versie?
Of laat dit nog even op zich wachten?

Mvg,

Michel
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op oktober 15, 2020, 13:11:05 pm
Michel, we sjorren daar elke week een keer aan.
Maar tot nu toe blijft het antwoord hetzelfde
'Wegens gebrek aan systeembeheerders is geen tijd om dit live te zetten en de oude versie standby te houden in geval van calamiteiten'
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Michel Langeveld op oktober 15, 2020, 13:18:48 pm
Oke, bedankt voor je antwoord.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Platbuik op oktober 15, 2020, 20:07:45 pm
Citaat
en hoeveel van mijn corona-vrijetijd heeft deze instantie nodig om dat goed te organiseren/regelen
de herkennings software is nog niet in staat om het levensstadium te bepalen van een foto.
Het valideren is niet tijdrovender geworden. het kost exact evenveel klikken om een waarneming  goed te keuren of een waarneming goed te keuren en op imago te zetten
Zelf ben ik geen admin, maar de waarnemer die telkens met de hand het Levensstadium moet invoeren.
Zoals ik al zei
Citaat
Bij determinatie van kevers blijkt dat er technisch geen belemmeringen zijn, Levensstadium wordt dan netjes ingevuld.
Dus wat je zegt klopt niet helemaal. Het zou toch ook idioot zijn als een algoritme van een rups én van een vlinder een soort kan bepalen, en dat in dat traject onderweg niet even wordt vastgehouden via welke kenmerken je tot een uitkomst gekomen bent! Die van een rups en de volwassen vlinder verschillen nogal.
En dit zal ook opgaan voor andere wezens. Dat niet alles tot in detail te bepalen is, zoals "imago niet uitgekleurd" bij libellen en juffers, lijkt me logisch, maar er moet meer kunnen dan nu geleverd wordt.

De vrije tijd die ik te spenderen heb zou aan het invullen van de parameters van dat algoritme besteed kunnen worden, als het zo werkt tenminste. Daar kan ik wellicht bij assisteren.
Bij wie moet ik zijn?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Michel Langeveld op oktober 15, 2020, 21:57:56 pm
Net als jij ben ik een medewaarnemer. Toch een reactie van wat ik er van begrijp. Uit het algoritme komt wat je er uit wilt laten komen. De computer traint het algoritme wat hierbij hoort. Er komen nu 22.303 soorten uit. Dit is getrained met laten we zeggen minimaal 50 foto's per soort = meer dan een miljoen foto's. Ik verwacht dat dit trainen wel even duurt. Door een dimensie levensfase toe te voegen zou dit een factor complexer worden. Ik vermoed dat dit huidige systeem het maximaal haalbare was aan de hand van rekentijd / geld. Ik denk dus niet dat op dit moment het algoritme ergens kennis heeft over de levensfase. Dit zou er dan helemaal bijgetrained moeten worden.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op oktober 15, 2020, 22:08:03 pm
Inderdaad kleed herkennen is niet een kwestie van een vinkje zetten en dan maar afwachten. Je moet de software die het model opbouwt gaan leren wat kleden zijn en weken/maanden lang aan knopjes draaien tot de goede uitkomst tevoorschijn komt.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Platbuik op oktober 16, 2020, 09:36:07 am
Dit lijkt op het eerste, digitale zwarte gat. Daar blijf ik uit :-X
Titel: Re: Levensstadium
Bericht door: Henk Soepenberg op oktober 16, 2020, 11:03:07 am
Bij determinatie van kevers blijkt dat er technisch geen belemmeringen zijn, Levensstadium wordt dan netjes ingevuld.

Maar bij de kevers is het stadium imago de standaardinstelling. Als ik bijvoorbeeld een foto van een larve van een aziatisch lieveheersbeestje upload wordt deze wel herkend als aziatisch lhb'tje, maar niet als larve. Het stadium moet ik dan dus zelf aanpassen.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op oktober 16, 2020, 11:04:00 am
dat is een andere discussie en heeft niets met de herkenning te maken
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Henk Soepenberg op oktober 16, 2020, 11:11:50 am
dat is een andere discussie en heeft niets met de herkenning te maken

Nee, gewoon even een vaststelling  ;)
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: SlechtValk op oktober 18, 2020, 14:32:52 pm
De "nieuwe" beta heeft nogal wat moeite met zomertaling (in het kleed dat ze de afgelopen tijd vooral hebben)... waar de current version een zomertaling soms nog wel enigszins herkent, krijg ik die uit de beta (bijna) nooit (één maal gevonden, zie onderaan)...
enkele voorbeelden van (alleen goedgekeurde) waarnemingen:

https://waarneming.nl/observation/201068872/
https://old.waarneming.nl/obsidentify_foto.php?id=201068872

https://waarneming.nl/observation/201541450/
https://old.waarneming.nl/obsidentify_foto.php?id=201541450

https://waarneming.nl/observation/201212082/
https://old.waarneming.nl/obsidentify_foto.php?id=201212082

https://waarneming.nl/observation/200829399/    <--- erg goede kwaliteit foto
https://old.waarneming.nl/obsidentify_foto.php?id=200829399   <--- toch 76% wintertaling, terwijl current versie er 89% zomertaling van maakt...

https://waarneming.nl/observation/200684257/
https://old.waarneming.nl/obsidentify_foto.php?id=200684257

https://waarneming.nl/observation/200633649/
https://old.waarneming.nl/obsidentify_foto.php?id=200633649

https://waarneming.nl/observation/200603596/
https://old.waarneming.nl/obsidentify_foto.php?id=200603596

https://waarneming.nl/observation/200340152/
https://old.waarneming.nl/obsidentify_foto.php?id=200340152

https://waarneming.nl/observation/200031065/
https://old.waarneming.nl/obsidentify_foto.php?id=200031065

https://waarneming.nl/observation/200012037/
https://old.waarneming.nl/obsidentify_foto.php?id=200012037


Hoera, toch nog één gevonden waar hij WEL zomertaling van maakt:

https://waarneming.nl/observation/200545487/
https://old.waarneming.nl/obsidentify_foto.php?id=200545487
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Jacob Molenaar op oktober 20, 2020, 12:26:24 pm
Ik probeer het ook nog regelmatig uit en ik meer nog best vaak dat de percentages lager worden, terwijl de soort wel klopt. Dus waar de huidige versie gewoon 100% zeker was is de nieuwe versie maar 80% bijvoorbeeld. Dit gebeurt m.i. veel vaker dan andersom, hoewel bij lastige soorten mijn indruk is dat de nieuwe versie het soms wel beter snapt.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: SlechtValk op oktober 20, 2020, 12:32:03 pm
Ik probeer het ook nog regelmatig uit en ik meer nog best vaak dat de percentages lager worden, terwijl de soort wel klopt. Dus waar de huidige versie gewoon 100% zeker was is de nieuwe versie maar 80% bijvoorbeeld. Dit gebeurt m.i. veel vaker dan andersom, hoewel bij lastige soorten mijn indruk is dat de nieuwe versie het soms wel beter snapt.

Dat het percentage lager is, wil natuurlijk niet zeggen dat het verkeerd is... als de oude foutief 100% gaf, is de nieuwe beter als die 80% geeft...
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Martijn van Sluijs op oktober 20, 2020, 13:02:48 pm
Maar het betekent wel dat de percentages die gebruikt worden voor automatische validatie moeten worden herzien willen ze dezelfde hoeveelheid waarnemingen kunnen valideren. 'Gelukkig' geeft de nieuwe versie lagere percentages dan de huidige, en niet andersom. Als de grenspercentages voor automatische validatie dus wat vertraagd worden geüpdatet betekent dat alleen dat er wat meer handmatig moet worden gevalideerd, en niet dat er meer onjuiste determinaties doorheen glippen.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Jacob Molenaar op oktober 21, 2020, 10:41:28 am
Ik probeer het ook nog regelmatig uit en ik meer nog best vaak dat de percentages lager worden, terwijl de soort wel klopt. Dus waar de huidige versie gewoon 100% zeker was is de nieuwe versie maar 80% bijvoorbeeld. Dit gebeurt m.i. veel vaker dan andersom, hoewel bij lastige soorten mijn indruk is dat de nieuwe versie het soms wel beter snapt.

Dat het percentage lager is, wil natuurlijk niet zeggen dat het verkeerd is... als de oude foutief 100% gaf, is de nieuwe beter als die 80% geeft...
Ik bedoelde het vooral bij makkelijke, algemene soorten die gewoon al goed waren. Dus dan is van 100 naar 80 wel slechter.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Fonsv op oktober 21, 2020, 21:31:10 pm
Voor enkele zeer algemene sluipwespen die altijd slechte resultaten gaven merk ik nu toch betrekkelijk betere resultaten. Het zou fijn zijn mocht deze versie er komen!
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Axel de F op november 15, 2020, 15:35:28 pm
Leuk om te testen, resultaten wisselend.

Bij deze geeft de betaversie geen soort, maar wel een waarschijnlijkheid:
https://old.waarneming.nl/obsidentify_foto.php?id=203098222
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op november 16, 2020, 16:11:38 pm
maak je niet ongerust, dat heeft met de afhandeling te maken
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op november 19, 2020, 15:18:56 pm
we hebben een probleem ontdekt in de testomgeving.
vanaf 3 september is een deel van het model onbedoeld overschreven waardoor eensklaps de resultaten erg tegen vielen.
Vanaf NU is het model weer in de juiste toestand.
Excuus voor degene die ongewild een verkeerd model hebben getest.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Rutger Barendse op december 14, 2020, 10:30:03 am
Worden de al goedgekeurde waarnemingen met de herkenninssoftware door een nieuwe versie opnieuw gekeurd?

Nog een adminvraag, maar ik weet niet waar ik deze anders moet stellen: Waarom zijn er maar 148 waarnemingen van de 45.000 nog te keuren plantenwaarnemingen met foto's in Vlaanderen die NIA betrouwbaar vindt?

https://oudeversie.waarnemingen.be/start_inhaalslag.php?g=10&prov=0&order=0&expand=0&expand=1&my_own=0&my_own=1&only_planted=0&iucn_status=1&confident=1&not_this_kleed=0

Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op december 14, 2020, 10:31:32 am
Citaat
Worden de al goedgekeurde waarnemingen met de herkenninssoftware door een nieuwe versie opnieuw gekeurd?
nee.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Martijn van Sluijs op december 17, 2020, 15:05:26 pm
Een kleine tip voor wanneer in de toekomst (eventueel) weer gebruik gemaakt gaat worden van een bètatest-omgeving voor een nieuwe versie van de beeldherkenningssoftware:

Er zit/zat bij deze testomgeving een verschil in grenswaarde tussen de 'huidige' beeldherkenningssoftware en de 'nieuwe/bètaversie'. Ik heb het dan over de waarde waaronder de melding "De herkennings software is niet in staat tot een resultaat te komen." verschijnt. Die grenswaarde zou beter zo laag mogelijk zijn (of in ieder geval gelijk aan wat in de huidige versie gehanteerd wordt).

Dit is nodig om een goede vergelijking te kunnen maken. Het gaat het hier dan vooral om te kunnen vergelijken of de eerste suggestie gelijk/juist is. Dat er een verschil zit in die grenswaarde wordt nu goed duidelijk doordat 'nieuwe versie' nu gelijk is aan 'huidige versie', en de huidige versie wel een resultaat geeft bij lage percentages, en de bètatestregel nog steeds niet. Dat terwijl ze nu dezelfde bron aanspreken. Zie bijvoorbeeld hier: https://old.waarneming.nl/obsidentify_foto.php?id=204048357. Current version geeft wel een resultaat, maar bètaversie niet, terwijl het inmiddels dezelfde bron is.
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op december 17, 2020, 15:08:31 pm
de betaversie bestaat niet meer
want de nieuwe versie staat live
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: jvogels op januari 08, 2021, 15:30:37 pm
Het korstmos-renspin vs buxus renspin probleem is helaas nog niet opgelost in de nieuwe versie.

Ik heb zojuist een test gedaan met autovalidatie bij correct ingevoerde en gevalideerd, of door mij rechtgezette Philodromus buxi (https://waarneming.nl/species/23858/), die allen ingevoerd als P. margaritatus (https://waarneming.nl/species/23865/). Ik concludeer dat de herkenningssoftware ze allemaal ófwel als onzekere Ph. margaritatus bestempelt, éf zelfs als 99% zekere margaritatus. Heel soms komt ze niet verder dan 'renspin'. Nooit komt P. buxi als mogelijkheid naar voren. Dit terwijl er intussen toch aardig wat gevalideerde P. buxi fotos in de database staan. Wat gaat hier mis?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op januari 08, 2021, 15:34:33 pm
Joost, je kunt zelf checken wat NIA maakt van een soort via https://old.waarneming.nl/hisko/check_nia_one_species.php?id_species=23858
je ziet dat geen enkele waarneming correct op naam wordt gebracht. Je moet wel in acht nemen dat voor het huidige model fotos tot 2019 zijn gebruikt.
De Korstmosrenspin gaat dan wel weer aardig goed https://old.waarneming.nl/hisko/check_nia_one_species.php?id_species=23865
Deze procedure selecteerrt random 20 handmatig goedgekeurde waarnemingen met 1 of meer foto`s
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: jvogels op januari 09, 2021, 01:53:50 am
Ah, ok dat verklaart een hoop. Ook waarom er zoveel buxi's als zekere margaritatus worden ingevoerd. Blijft dus zaak om ze allemaal te checken.

Wanneer wordt die foto database weer bijgewerkt?
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: Michel Langeveld op januari 09, 2021, 20:01:12 pm
Nog een wild idee Hisko. Het huidige herkenningsalgoritme werkt best goed, maar mogelijk nog beter door Nederland in een paar blokken op te delen en hier een apart model van te maken. Mvg, Michel
Titel: Re: Nieuwe versie herkenningsdatabase
Bericht door: hiskodevries op januari 10, 2021, 16:27:23 pm
En hoe zou het model daarmee om moeten gaan?