De herkenningssoftware is bijgewerkt.
In het huidige model zitten 16148 verschillende 'soorten'
in het nieuwe zitten 22303 'soorten' http://waarneming.demo.naturalis.io/v1/observation/taxa/benlall
nu nog even testen. via deze link https://old.waarneming.nl/obsidentify_foto.php?id=191857755 kun je een id van een waarneming meegeven en de resultaten van oud en nieuw worden getoond
Gaarne jullie bevindingen
Let op: de referentie foto`s zijn eind 2019 opgehaald !
Ik ben helemaal geen fan van herkenningssoftware, integendeel.
Maar ik heb de proef op de som genomen met een beperkt aantal kevertjes: de nieuwe versie doet het aanmerkelijk beter.
Met de eerste link krijg ik alleen maar machinetaal. Met de tweede link iets waarmee ik niets kan. Ligt dat aan mijn oude browser?
Die tweede link laat precies zien wat bedoeld is
Citaat van: hiskodevries op mei 24, 2020, 11:28:39 AM
Die tweede link laat precies zien wat bedoeld is
Dat snap ik niet. Je wilt toch dat wij iets testen of invoeren? Dat kan niet in deze link.
Ja, je krijgt via die link twee reacties. 1 van de nieuwe en 1 van de oude versie.
Het gaat erom dat de nieuwe versie minstens hetzelfde of liever beter reageert
Ik krijg af en toe een "service unavailable". Wat houdt dat in?
Bij de korstmossen lijkt de nieuwe iets beter te zijn. Een paar "makkelijke" waar de oude niet uit kwam worden 100% zeker de goede bij de nieuwe.
Citaat van: JohanvantBosch op mei 24, 2020, 17:04:43 PM
Citaat van: hiskodevries op mei 24, 2020, 11:28:39 AM
Die tweede link laat precies zien wat bedoeld is
Dat snap ik niet. Je wilt toch dat wij iets testen of invoeren? Dat kan niet in deze link.
Je plakt het nummer van de waarneming die je wilt testen in de link.
Eerste testje is veelbelovend. Ik heb drie waarnemingen met baggerfoto's getest. Oud geeft een voorstel dat nergens op slaat. Nieuw zegt: De herkennings software is niet in staat tot een resultaat te komen.
Helaas gaat het bij Philodromus buxi vs margaritatus nog steeds mis:
191129207 moet zijn buxi maar wordt nog steeds met hoge waarschijnlijkheid als margaritatus bestempeld.
Citaat van: Martin Borsboom op mei 24, 2020, 17:28:41 PM
Citaat van: JohanvantBosch op mei 24, 2020, 17:04:43 PM
Citaat van: hiskodevries op mei 24, 2020, 11:28:39 AM
Die tweede link laat precies zien wat bedoeld is
Dat snap ik niet. Je wilt toch dat wij iets testen of invoeren? Dat kan niet in deze link.
Je plakt het nummer van de waarneming die je wilt testen in de link.
Eerste testje is veelbelovend. Ik heb drie waarnemingen met baggerfoto's getest. Oud geeft een voorstel dat nergens op slaat. Nieuw zegt: De herkennings software is niet in staat tot een resultaat te komen.
Dankje, Martin. Op deze manier is het duidelijk wat je met de link moet doen.
3 willekeurige waarnemingen van vandaag:
https://waarneming.nl/waarneming/view/192273937?_popup=1
oud: Lantaarntje 41% ( fout )
nieuw: Grote roodoogjuffer 96% ( correct )
https://waarneming.nl/waarneming/view/192273683?_popup=1
oud : Watersnuffel 52% ( fout )
nieuw: Azuurwaterjuffer 59% ( correct )
https://waarneming.nl/waarneming/view/192214537?_popup=1
oud: Tangpantserjuffer 94% ( correct )
nieuw: Tangpantserjuffer 100% ( correct )
Voorlopige conclusie: nieuw is aanzienlijk beter
even getest met een paar planten die afgelopen week mis gingen. nu wel goed of (terecht) niet herkenbaar.
Lijkt duidelijk beter te werken. :blink:
Veel belovende resultaten.
Dat hoop ik. Bij de waarnemingen die ik getest heb, zag ik geen significant verschil tussen oud en nieuw.
Test van planten die in april foutief werden goedgekeurd:
Zie https://forum.waarneming.nl/index.php/topic,441859.msg2393491.html#msg2393491
Het bizarre 'Lupine-mos' weet de Betaversie nu wel goed te herkennen inderdaad.
https://waarneming.nl/waarneming/view/192318726?_popup=1
https://old.waarneming.nl/obsidentify_foto.php?id=192318726
Citaat van: hiskodevries op mei 20, 2020, 19:41:53 PM
in het nieuwe zitten 22303 'soorten' http://waarneming.demo.naturalis.io/v1/observation/taxa/benlall
Hisko, valt hier niet iets overzichtelijks van te maken? Gewoon geordend per soortgroep, familie, en op alfabetische volgorde bijvoorbeeld.
Hier kan ik eerlijk gezegd niet veel mee, volgens mij staan de soorten "random" door elkaar.
Bij de motmuggen gaat het soms beter, soms helemaal niet. Het grootste bezwaar van de herkenning is dat er hints uitkomen die er helemaal nooit uit zouden mogen komen. Ik weet niet hoe dat werkt.
Bijvoorbeeld: Peripsychoda fusca en P. auriculata lijken zo op elkaar dat ObsI dat nooit gaat zien. Bij beide soorten zou er alleen Peripsychoda spec uit mogen komen, niet een van de twee soorten, ook niet met een percentage van 54%, ik noem maar wat. Het voeden van de learning machine zou dus anders moeten.
En helemaal gek: een peripsychoda wordt verkeerd herkend en wordt Pneumia trivialis. Dat is een soort die er ook wel eens met echte Pneumia's uitkomt, maar het is een soort die ik niet kan herkennen!!
Citaat van: Weia op mei 25, 2020, 16:49:11 PM
Bij de motmuggen gaat het soms beter, soms helemaal niet. Het grootste bezwaar van de herkenning is dat er hints uitkomen die er helemaal nooit uit zouden mogen komen. Ik weet niet hoe dat werkt.
Bijvoorbeeld: Peripsychoda fusca en P. auriculata lijken zo op elkaar dat ObsI dat nooit gaat zien. Bij beide soorten zou er alleen Peripsychoda spec uit mogen komen, niet een van de twee soorten, ook niet met een percentage van 54%, ik noem maar wat. Het voeden van de learning machine zou dus anders moeten.
En helemaal gek: een peripsychoda wordt verkeerd herkend en wordt Pneumia trivialis. Dat is een soort die er ook wel eens met echte Pneumia's uitkomt, maar het is een soort die ik niet kan herkennen!!
het is gebaseerd op goedgekeurde foto's, dus die herkenning komt niet uit de lucht vallen.
Nee, komt inderdaad niet uit de lucht vallen. Van beide soorten (fusca en auriculata) staan voldoende goedgekeurde waarnemingen op Waarneming.nl.
Als de admin verschillen kan zien, waarom zou ObsId dat dan niet kunnen?
Ik heb wat onzekere waarnemingen erdoor gehaald en een paar op zeker kunnen zetten waarvan één lifer. Ik vind het dus geweldig. :blink: :duim: (Is er een manier om al je onzekere waarnemingen op te roepen in een overzicht?).
Ik heb er een heel aantal gedaan uit dit topic https://forum.waarneming.nl/index.php/topic,461759.0.html en ik moet concluderen dat het met die voorbeelden, vooral de echt duidelijke misperen heel veel beter gaat, en verder in zijn algemeenheid ook. Ik moest nu nog harder zoeken naar een vreemde afwijking en ik heb er 1 hele duidelijke gevonden;
https://old.waarnemingen.be/obsidentify_foto.php?id=174352179 (=Wilde weit)
CiteerBètaversie Herkennings software
Waarschijnlijkheid : 100 %
Soort : Gewoon speenkruid - Ficaria verna
Current Version
De soort is bepaald Spinnenorchis - Ophrys sphegodes
99.997925758362 %
Wilde weit is toch echt wel heel karakteristiek, en de foto is prima, dus wat er daar misgaat en ging?
Dit baart me wel zorgen
https://old.waarnemingen.be/obsidentify_foto.php?id=179202034 (= een wat manke Grote kattenstaart)
CiteerBètaversie Herkennings software
Waarschijnlijkheid : 87 %
Soort : Chenopodium rubrum
Current Version
De soort is bepaald Rode ganzenvoet - Oxybasis rubra
99.320107698441 %
Het gaat me er niet om dat het nog steeds fout is, maar het betekent dat de nieuwe versie met synoniemen werkt. Liefst geeft deze alleen de geldende namen als suggestie.
Opmerkelijk wisselend succes bij twee waarnemingen van een Kanaaljuffer.
https://waarneming.nl/observation/192375840/
Oud: 82% Kanaaljuffer
Nieuw: 57% Watersnuffel
https://waarneming.nl/observation/192375916/
Oud 48% Kanaaljuffer
Nieuw: 100% Kanaaljuffer
Bij de eerste is de oude dus aanmerkelijk beter, de nieuwe geeft zelfs een verkeerde soort. Bij de tweede is nieuw vlekkeloos.
Citaat van: Bart van Hoogstraten op mei 25, 2020, 17:21:49 PM
Ik heb wat onzekere waarnemingen erdoor gehaald en een paar op zeker kunnen zetten waarvan één lifer. Ik vind het dus geweldig. :blink: :duim: (Is er een manier om al je onzekere waarnemingen op te roepen in een overzicht?).
Bart, via de "oude site" kun je je onzekere waarnemingen in een overzicht oproepen.
Citaat van: Th.Heijerman op mei 25, 2020, 17:21:20 PM
Nee, komt inderdaad niet uit de lucht vallen. Van beide soorten (fusca en auriculata) staan voldoende goedgekeurde waarnemingen op Waarneming.nl.
Als de admin verschillen kan zien, waarom zou ObsId dat dan niet kunnen?
Omdat het om 1 adertje gaat. Ik denk niet dat Obsid dat doorheeft.
https://waarneming.nl/waarneming/view/192388589
Opmerkelijk: oud zit er met Maanwaterjuffer 97% compleet naast terwijl nieuw 100% goed zit met Watersnuffel
Win, De foto's zijn september 2019 opgehaald
Toch nog even een vraagje over ObsId en het testen van de nieuwe versie.
Als je een waarneming laat beoordelen of test, worden dan alle bijgeleverde foto's daarvoor gebruikt of alleen de primaire foto. Ik heb de indruk van niet omdat elke foto zijn eigen ID-nummer lijkt te hebben
Moet je dus bij meerdere foto's elke foto apart testen / beoordelen?
Nee alle foto's worden gebruikt. Kanttekening : meerdere foto's levert vaak een slechtere uitkomst op.
Citaat van: Th.Heijerman op mei 27, 2020, 10:09:00 AM
Toch nog even een vraagje over ObsId en het testen van de nieuwe versie.
Als je een waarneming laat beoordelen of test, worden dan alle bijgeleverde foto's daarvoor gebruikt of alleen de primaire foto. Ik heb de indruk van niet omdat elke foto zijn eigen ID-nummer lijkt te hebben
Moet je dus bij meerdere foto's elke foto apart testen / beoordelen?
Het gaat om het waarnemingsnummer, niet het fotonummer, althans dat doe ik.
Wat Weia zegt
Blijft toch wat onduidelijk:
Waarneming: https://waarneming.nl/observation/192474709/
ObsId komt met een foute soort met 51 procent en vraagt de foto bij te snijden.
Toch zit er een prima foto in de serie: https://waarneming.nl/photos/27069024/
Als je daarvan ID-nummer gebruikt komt ObdsId met dezelfde foute soort en met hetzelfde percentage.
De waarnemer zou dus alleen die ene foto moeten laten staan en de overige moeten verwijderen? Als dat zo is moet de waarnemer (beter fotograaf) op voorhand weten wat voor ObsId de ideale foto is....
Maar goed, het werkt zoals het werkt en als ik het goed begrijp: ook al geeft je fotonummer op voor de test, het waarnemingnummer wordt gebruikt.
als je een fotonummer opgeeft wordt de waarneming opgehaald die aan dat nummer voldoet
Bij de laatste pogingen die ik deed kreeg ik telkens de melding "Service unavailable". Is de testversie weer uit de ether?
Citaat van: Gerrian op mei 24, 2020, 21:11:06 PM
Dat hoop ik. Bij de waarnemingen die ik getest heb, zag ik geen significant verschil tussen oud en nieuw.
Toch een duidelijke verbetering ten opzichte van 'oud' gevonden: https://waarneming.nl/observation/192580732/
oud geeft niervleklieveheersbeestje 97,5% (wat de waarnemer dus blijmoedig had overgenomen)
nieuw geeft tweevlekkig Aziatisch lieveheersbeestje 100% (en terecht)
Maar dit vind ik dan toch wel weer teleurstellend, ik vind het best een duidelijke foto van een schaakbordlieveheersbeestje: https://waarneming.nl/observation/192598391/
oud geeft citroenlieveheersbeestje 67,3 %
nieuw zegt dat de herkennings software niet is staat is tot een resultaat te komen
Een onscherpe foto van een Variabele waterjuffer:
https://waarneming.nl/waarneming/view/192687085?_popup=1
Oud gaat de mist in en keurt deze goed met 96%
Nieuw is niet in staat om tot een resultaat te komen.
Soms nog bizarre herkenningen. Probeer deze maar eens.
Update: in de oude bizarre namen, maar nadat ik het in de link van Hisko invoer is het antwoord dat de soort niet bepaald kan worden. Dat is beter dan Zwarte Wegmier.
Citaat van: Mark van Veen op mei 29, 2020, 12:12:54 PM
Soms nog bizarre herkenningen. Probeer deze maar eens.
Update: in de oude bizarre namen, maar nadat ik het in de link van Hisko invoer is het antwoord dat de soort niet bepaald kan worden. Dat is beter dan Zwarte Wegmier.
dus geen bizarre naam. Mooi
Ik ben er nog eens doorgegaan. Na een stuk of 4-5 geeft het trouwens geen resultaten meer, dus uitgebreid testen zit er niet in.
Vragen:
Kan de herkenning nog steeds soorten suggereren die niet in het betreffende land voorkomen?
Kun je met de herkenningsapp soorten invoeren die niet in het betreffende land voorkomen?
Waarom suggereert de herkenning nu synoniemen? Voorbeeld is gegeven hierboven.
Waarom worden er nog steeds ondersoorten gesuggereerd in de nieuwe versie? Dat is toch heel duidelijk gevraagd niet meer te doen.
Ik had daarstraks een Bremzaadkevertje in de tuin. Ter plekke wist ik al wat het was (het was niet mijn eerste), Bij het uploaden van de foto suggereert de oude app dat het voor 84% een Frambozensnuittor was en moest ik hem zelf op Bremzaad zetten. De waarneming door de nieuwe versie gehaald lijkt het er meer op. Ik vind het veelbelovend! :blink: :duim:
CiteerKan de herkenning nog steeds soorten suggereren die niet in het betreffende land voorkomen?
Kun je met de herkenningsapp soorten invoeren die niet in het betreffende land voorkomen?
De app heeft geen idee welke soorten waar voorkomen.
CiteerWaarom suggereert de herkenning nu synoniemen? Voorbeeld is gegeven hierboven.
de vraag is waarom niet, buiten België worden die correct als soort opgeslagen.de kans is groot dat ten tijde van generatie het nog een soort was
CiteerWaarom worden er nog steeds ondersoorten gesuggereerd in de nieuwe versie? Dat is toch heel duidelijk gevraagd niet meer te doen.
dus? Rutger niet elke wens wordt gehonoreerd. Als het model een soort altijd fout meld kunnen we die wel laten verwijderen.
Er zijn inderdaad nu voorbeelden te noemen waar het vaak fout gaat. De nieuwe versie is beter, maar blijft dus ondersoorten suggereren. We (de admins) willen dat niet, want die moeten we, als we het goed willen doen, allemaal handmatig corrigeren.
Bijvoorbeeld Avondkoekoeksbloem https://oudeversie.waarneming.nl/soort/photos/131508 (2650 goedgekeurde foto's)
versus Avondkoekoeksbloem s.s. https://oudeversie.waarneming.nl/soort/photos/8693 (3012 goedgekeurde foto's)
De suggestie kan niet anders dan random zijn, omdat de betreffende taxa evenveel zijn goedgekeurd en er feitelijk geen verschil is. Zo zijn er veel meer soorten en ondersoorten, maar ook genussen en soorten waarop hetzelfde taxon te zien is. Ik kan je honderden voorbeelden geven.
Als je de ondersoorten eruit laat en een selectie van genussen, wordt de app beter.
Citaat van: hiskodevries op mei 31, 2020, 16:01:07 PM
CiteerWaarom worden er nog steeds ondersoorten gesuggereerd in de nieuwe versie? Dat is toch heel duidelijk gevraagd niet meer te doen.
dus? Rutger niet elke wens wordt gehonoreerd. Als het model een soort altijd fout meld kunnen we die wel laten verwijderen.
Waarom is het zo'n probleem om die ondersoorten gewoon uit te sluiten, zijn er dan soortgroepen waarbij dit wel nuttige/ goede resultaten geeft?
Werkt dit bij de vogels dan wel goed? bv Russische/Poolse Kauw, Siberische fitis of weet ik wat voor ondersoorten ze daar allemaal hebben.
Ik zou het omdraaien, en via een poll ofzo vragen welke admins er een probleem mee hebben als die ondersoorten gewoon niet meer getoond worden.
Blijkbaar is dat een groot probleem bij de planten, en dat is toch 1 van de hoofdgroepen op Waarneming.
Bij vogels doet de app het bij kwikstaart ondersoorten behoorlijk goed. Een automatisme om bij voorbaat grote groepen uit de app te gooien dat gaat niet gebeuren.
Maar wat heeft de gemiddelde Obsidentify gebruiker (waarschijnlijk geen hardcore vogelaar..) aan al die ondersoorten, daar zit toch niemand op de wachten.
Ik wist niet eens dat er zoveel kwikstaart-ondersoorten waren trouwens :rolleyes:;
https://oudeversie.waarneming.nl/specieslist.php?q=kwikstaart&g=0&f=0&type=0&z=0&local=0&local=1&p=0&sound=0&sort_lat=0&all_lang=0&exact=0
Bij het valideren heb ik daar heel veel gemak van. De gewone gebruiker krijgt bij invoeren te horen dat hij een Engelse kwikstaart heeft gezien in plaats van een gele kwikstaart etc etc. Dezelfde api wordt overal gebruikt. In alle apps, bij invoeren en bij valideren. Dus een hele rij soorten verwijderen levert armoede op.
Zie het verschil nog niet direct. Witsnuitdolfijnen komen uit als Bruinvis.
Is er een overzicht welke soorten eruit gepikt moeten worden?
Grijze Zeehond en Gewone Zeehond lijkt het vrij goed te doen :duim: :duim:
Citaat van: Hans Verdaat op juni 01, 2020, 17:13:32 PM
Zie het verschil nog niet direct. Witsnuitdolfijnen komen uit als Bruinvis.
Is er een overzicht welke soorten eruit gepikt moeten worden?
Grijze Zeehond en Gewone Zeehond lijkt het vrij goed te doen :duim: :duim:
eerste post
:duim: gevonden.
zie dat er meerdere soorten dolfijnen toegevoegd zijn. Heb er een paar getest maar uitkomst is altijd (onzekere) bruinvis.
voorbeeldje
https://oudeversie.waarneming.nl/waarneming/view/154757812 gewone dolfijn
https://old.waarneming.nl/obsidentify_foto.php?id=154757812
Ik denk te begrijpen dat er wel mogelijkheden zijn om een select aantal soorten, waarbij het regelmatig/grotendeels mis gaat, uit te zetten.
Dan ga ik maar weer voorbeelden sparen. Hoeveel heb je er nodig om ze uit te zetten? 10?
Is er niet een mogelijkheid om met enig volume die nieuwe versie te testen? Na 5 geeft hij het op en het werkt in ieder geval nogal omslachtig (knippen en plakken van nummers).
https://waarneming.nl/observation/192563978/#
Oud geeft hier 42,8% Blauwe metselbij. (Tweede optie Avondkoekoeksbloem)
Nieuw geeft 99% Blauwe metselbij. Wat voor mij aanleiding is om hem op zeker te zetten, maar ik heb heel weinig ervaring met de soort
https://waarneming.nl/observation/191719275/
Oud geeft 79,4 Groot dooiermos (onjuist)
Nieuw geeft 100% Rood dooiermos (juist)
https://waarneming.nl/observation/192028449/
Oud geeft 67,9 Gele viervlekwants
Nieuw geeft 100% Gele viervlekwants (juist)
Dit is absoluut geen verbetering.
N.a.v. een forumvraag deze https://waarneming.nl/observation/193135470/ door de test gegooid;
Oud: 50,11 Viervlekkapoentje (maar volgens vraagsteller ook Driehoekkapoentje)
Nieuw: 100% Veelstippig Aziatisch lhb-tje f. succinea. Maar dat is pertinent onjuist. Het is helemaal geen aziaat.
Uiteraard is het niet feilloos maar ik ben in ieder geval onder de indruk van de enorme verbetering. Ook bij nieuwe Nederlandse soorten die nog niet veel zijn ingevoerd slaat de nieuwe versie minder vaak de plank mis dan de oude. Ik had vanmiddag een soort die ik uit de praktijk ken en ook herkende. De oude versie zat er compleet naast terwijl de nieuwe het bij het goede eind had en dan nog 100% op zeker ook nog. :duim: ;)
Ik heb de afgelopen tijd af en toe wat waarnemingen getest. Over het algemeen werkt het beter, maar er zijn ook soorten waar het slechter lijkt te gaan. Wilde weit is me nu opgevallen.
======
Rubus spec.
Current Version
De soort is bepaald Steenbraam - Rubus saxatilis
99.002748727798 %
Bètaversie Herkennings software
Waarschijnlijkheid : 83 %
Soort : Dauwbraam - Rubus caesius
====
Knoopkruid
Current Version
De soort is bepaald Zwart knoopkruid - Centaurea jacea subsp. nigra
90.550637245178 %
Bètaversie Herkennings software
Waarschijnlijkheid : 100 %
Soort : Knoopkruid - Centaurea jacea
====
Gewoon biggenkruid
Current Version
De soort is bepaald Biesknikbloem - Chondrilla juncea
93.548959493637 %
Bètaversie Herkennings software
Waarschijnlijkheid : 94 %
Soort : Gewoon biggenkruid - Hypochaeris radicata
===
Viola spec.
Current Version
De soort is bepaald Zinkviooltje - Viola lutea subsp. calaminaria
99.058020114899 %
Bètaversie Herkennings software
Waarschijnlijkheid : 88 %
Soort : Akkerviooltje - Viola arvensis
==
Brassicaceae spec.
Current Version
De soort is bepaald Sikkelgoudscherm - Bupleurum falcatum
99.582135677338 %
Bètaversie Herkennings software
Waarschijnlijkheid : 73 %
Soort : Gele waterkers - Rorippa amphibia
===
Wilde weit
Current Version
De soort is bepaald Wilde weit - Melampyrum arvense
99.972546100616 %
Bètaversie Herkennings software
De herkennings software is niet in staat tot een resultaat te komen.
=====
Een Gesteepte witbol
Current Version
De soort is bepaald Zeealsem - Artemisia maritima
96.804982423782 %
Bètaversie Herkennings software
Waarschijnlijkheid : 62 %
Soort : Gestreepte witbol - Holcus lanatus
====
Zwarte toorts
Current Version
De soort is bepaald, een onzekere Alpenandoorn - Stachys alpina
66.48662686348 %
Bètaversie Herkennings software
Waarschijnlijkheid : 56 %
Soort : Zwarte toorts - Verbascum nigrum
====
Wilde weit
Current Version
De soort is bepaald, een onzekere Wilde weit - Melampyrum arvense
84.772026538849 %
Bètaversie Herkennings software
Waarschijnlijkheid : 81 %
Soort : Grote pimpernel - Sanguisorba officinalis
enig idee waar het probleem in kan steken bij wilde weit Rutger?
Mogelijk lijken een aantal planten er te fel op en komt dat nu aan het licht? Toch is de plant vrijwel uniek.
Er gingen ook een aantal wel goed, maar de oude is dus beter in het geval van Wilde weit. Hier nog eentje met nagenoeg perfecte foto's.
====
Wilde weit
https://oudeversie.waarnemingen.be/waarneming/view/47356910
Current Version
De soort is bepaald Wilde weit - Melampyrum arvense
96.47730588913 %
Bètaversie Herkennings software
De herkennings software is niet in staat tot een resultaat te komen.
en deze:
====
Wilde weit
https://oudeversie.waarnemingen.be/waarneming/view/54992963
Current Version
De soort is bepaald Wilde weit - Melampyrum arvense
100 %
Bètaversie Herkennings software
Waarschijnlijkheid : 76 %
Soort : Steenrode orchis - Dactylorhiza incarnata subsp. coccinea
Citaat van: hiskodevries op mei 31, 2020, 16:01:07 PM
CiteerWaarom worden er nog steeds ondersoorten gesuggereerd in de nieuwe versie? Dat is toch heel duidelijk gevraagd niet meer te doen.
Rutger niet elke wens wordt gehonoreerd. Als het model een soort altijd fout meld kunnen we die wel laten verwijderen.
Dag Hisko :blink: Ik begrijp niet zo goed
waarom je deze wens niet wil honoreren? Het levert ons echt meerwerk en geeft veel frustratie. Blijkbaar kunnen taxa verwijderd worden uit het model, waarom doen we dat dan niet gewoon? Kan ik niet gewoon een lijstje van taxa aanleveren die ObsIdentify niet langer mag suggereren op waarneming.nl en waarnemingen.be?
Omdat we eerst de nieuwe versie afwachten natuurlijk
Weg is weg en komt dan niet meer terug.
Bij een beroerde foto kan het nog steeds wel eens mis gaan: :rolleye:
Lantaarntje - Ischnura elegans (https://waarneming.nl/waarneming/view/193726656)
Current Version
De soort is bepaald Metaalvlinder - Adscita statices
97.495359182358 %
Bètaversie Herkennings software
Waarschijnlijkheid : 67 %
Soort : Wilde akelei - Aquilegia vulgaris
:) leuke discussie ook
Ik weet niet of voorbeelden nog gewenst zijn. Ik doe er af en wat uit nieuwsgierigheid en verzamel die..
Muurpeper
Current Version
De soort is bepaald, een onzekere Zacht vetkruid - Sedum sexangulare
48.43784570694 %
Bètaversie Herkennings software
Waarschijnlijkheid : 96 %
Soort : Muurpeper - Sedum acre
====
Schapenzuring
Current Version
De soort is bepaald, een onzekere Klein schorrenkruid - Suaeda maritima
58.613073825836 %
Bètaversie Herkennings software
Waarschijnlijkheid : 90 %
Soort : Schapenzuring - Rumex acetosella
====
Spoorbloem
Current Version
De soort is bepaald Sierui - Allium hollandicum
99.981504678726 %
Bètaversie Herkennings software
De herkennings software is niet in staat tot een resultaat te komen.
====
Raphanus spec.
Current Version
De soort is bepaald Gypsophila elegans
95.080745220184 %
Bètaversie Herkennings software
Waarschijnlijkheid : 50 %
Soort : Radijs spec. - Raphanus spec.
====
Pinksterbloem
Current Version
De soort is bepaald, een onzekere Pinksterbloem - Cardamine pratensis
42.482402920723 %
Bètaversie Herkennings software
Waarschijnlijkheid : 100 %
Soort : Pinksterbloem - Cardamine pratensis
===
Rode beuk in heg
Current Version
De soort is bepaald Gehoornde klaverzuring - Oxalis corniculata
93.086290359497 %
Bètaversie Herkennings software
De herkennings software is niet in staat tot een resultaat te komen.
===
Klein streepzaad
Current Version
De soort is bepaald, een onzekere Wondklaver - Anthyllis vulneraria
84.810328483582 %
Bètaversie Herkennings software
Waarschijnlijkheid : 84 %
Soort : Wondklaver - Anthyllis vulneraria
====
Venkel
Current Version
De soort is bepaald Bergvenkel - Meum athamanticum
99.871647357941 %
Bètaversie Herkennings software
De herkennings software is niet in staat tot een resultaat te komen.
Rutger, ik ben wel overtuigd dat de nieuwe versie beter is.
Dat wil ik best geloven, Hisko, maar beter is niet altijd goed genoeg.
Ik ondersteun de vraag om bepaalde taxa gewoon uit de lijst van Obsidentify te halen. Er zijn echt soorten waar dat totaal de mist ingaat. Of soorten die stelselmatig gesuggereerd worden, blijkbaar als een soort vuilnisbakoplossing ("ik weet het niet, dus ik zeg maar: soort X"). Heel wat bloemen worden blijkbaar als (voor het blote oog onzichtbare) sieralgen benoemd: https://waarnemingen.be/species/187967/photos/?advanced=on
Vanochtend kregen we op waarnemingen.be twee meldingen binnen van de zeer zeldzame Winterbladroller.
Waarneming 1: https://oudeversie.waarnemingen.be/waarneming/view/194101038 (een klassieke buxusmot)
Bètaversie Herkennings software
Waarschijnlijkheid : 93 %
Soort : Huiszebraspin - Salticus scenicus
Current Version
De soort is bepaald, een onzekere Winterbladroller - Exapate congelatella
79.736834764481 %
Dat is dus geen verbetering.
----------------------------------------------------------
Waarneming 2: https://waarnemingen.be/observation/194100984/# (een heel duidelijke foto van een Zwarte-c-uil)
Bètaversie Herkennings software
Waarschijnlijkheid : 100 %
Soort : Zwarte-c-uil - Xestia c-nigrum
Current Version
De soort is bepaald Winterbladroller - Exapate congelatella
98.812276124954 %
Daar gaat ie wel goed.
Mvg
Wim
dus een verbetering van de nieuwe versie.
Bij de ene wel, bij de andere niet.
Wanneer zou die nieuwe versie geïmplementeerd worden?
goede vraag Wim, wat dat betreft draaien de molens erg traag
https://forum.waarneming.nl/index.php/topic,468928.0.html
Ik kom er net achter dat al die kleurvormen van Cepaea nemoralis die in Nederland onderscheiden worden voor dat project (loopt dat überhaupt nog?) ook in België door de API worden gesuggereerd, maar dat die in België niet geactiveerd zijn. Ook in dit geval wil ik met klem vragen of deze vormen uit de suggesties gehaald kunnen worden. Het zou heel vervelend zijn als in onze buurlanden de API gebruikt gaat worden en deze vormen door heel Europa worden ingevoerd.
nee dat project loopt niet meer, maar al die forma bestaan nog steeds
Kunnen we die formae dan niet gewoon schrappen?
Maar ook dan blijft de API ze waarschijnlijk nog wel een tijdje suggereren...
ja dat maakt alleen verschil bij een opnieuw samenstellen.
en dan is het misschien beter om al die forma op beoordeling 'P' te zetten ?
Beekoeverlibel:
https://waarneming.nl/observation/194433219/#
Oud: 99% Gewone oeverlibel
Nieuw: 100% Beekoeverlibel
Wanneer gaan we eigenlijk over?
Ik zie dit topic pas laat, toch nog even een kleine bijdrage van mijn kant:
Positief:
Grote keverorchis (https://waarneming.nl/observation/193775530/):
Nieuwe versie: Waarschijnlijkheid : 81 %, soort : Grote keverorchis - Neottia ovata
Current Version: De soort is bepaald, een onzekere Valse salie - Teucrium scorodonia, 87.958770990372 %
Reebruine bladsnuitkever (https://waarneming.nl/observation/189886638/):
Nieuwe versie: Waarschijnlijkheid : 95 %, Soort : Reebruine bladsnuitkever - Polydrusus cervinus
Current Version: De soort is bepaald, een onzekere Geelzwarte ribbelboktor - Rhagium mordax, 40.111291408539 %
Thereva plebeja (https://waarneming.nl/observation/189866040/):
Nieuwe versie: Waarschijnlijkheid : 91 %, Soort : Thereva plebeja
Current Version: De soort is bepaald Zandviltvlieg - Acrosathe annulata, 98.229604959488 %
Geen verbetering:
Sericus brunneus (https://waarneming.nl/observation/189865946/):
Nieuwe versie: Waarschijnlijkheid : 90 %, Soort : Gerande kniptor - Dalopius marginatus
Current Version: De soort is bepaald Gerande kniptor - Dalopius marginatus, 94.454210996628 %
Hier overigens een opvallende fout:
Onzekere Gewone dubbeltand (https://waarneming.nl/observation/188618950/), in elk geval de verzamelsoort 'Nomada panzeri/ruficornis/flava/striata/villosa'
Nieuwe versie: Waarschijnlijkheid : 54 %, Soort : Veelstippig Aziatisch lieveheersbeestje - Harmonia axyridis f. succinea
Current Version: De soort is bepaald, een onzekere Nomada panzeri/ruficornis/flava/striata/villosa, 50.258588790894 %
Hoe vaak wordt de software eigenlijk geupdate?
Weegbreemot (met niet al te beste foto)
Oude versie: 99,97% Zwerfstreepmot (waarvan drie goedgekeurde waarnemingen in Zuid-Limburg zijn)
Beta versie 50% Weegbreemot
Met een betere foto geven ze beiden 100% Weegbreemot
Citaat van: Michel Langeveld op juni 21, 2020, 13:58:01 PM
Hoe vaak wordt de software eigenlijk geupdate?
Niet vaak. De middelen zijn helaas beperkt.
Over het algemeen gaat het goed, deze slaat de plank mis: https://waarneming.nl/observation/194953928
99,9% zeker Chymomyza amoena volgens de waarnemer, het is echter een wespje.
Inmiddels heb ik een stuk of 100 keer de nieuwe versie gebruikt. Behoorlijk vaak werkt de nieuwe versie beter dan de vorige versie. Minder foute herkenningen en vaker goede herkenning. In beide gevallen minder werk voor de validators. Ik zou zeggen releasen maar en op naar een nog betere versie. Ik ben wel benieuwd hoe het systeem werkt. Gaat dit met kunstmatige intelligentie? Is er een algoritme per soort of is het hele systeem één groot algoritme? In het eerste geval kan er makkelijker uitgebreid worden lijkt me. Is er een los algoritme die bepaalt wat de meest zinvolle foto uitsnede is? Hoeveel foto's hebben jullie gebruikt om te trainen? Hoe lang neemt dit trainproces in beslag? Misschien hebben jullie hier een paper of BLOG over geschreven.
Mvg Michel
Het hele systeem is 1 algoritme, een soort toevoegen is dus niet mogelijk, jammer genoeg.
Wind en weder dienende zal in juli de nieuwe versie live gaan
Oke, dit verklaart ook de hoeveelheid werk die in de afstelling gaat zitten en de lage frequentie van updates. Dank voor de reactie en het beschikbaar stellen van het systeem.
De nieuwe versie werkte de keren dat ik getest heb inderdaad aanzienlijk beter, maar ik kom op één vreemde uitzondering:
De zeslijneendagsvlieg (Ephemera lineata) wordt steevast als vierlijneendagsvlieg (Ephemera glaucops) gesuggereerd bij de oude versie en vaak met mindere zekerheidspercentages als halfgevlekte eendagsvlieg (Ephemera danica) bij de nieuwe versie (of ook weer als glaucops), en ik vraag me af hoe dat komt.
Mijn theorieën zijn:
- de update heeft geen Belgische referentiewaarnemingen meer (lijkt me sterk, maar ik schrijf het toch maar op)
- het systeem kan het verschil in aantal referentiewaarnemingen niet aan.
Die laatste optie lijkt me het meest waarschijnlijk, maar toch even wat uitleg hier. Voor de update werd Ephemera lineata volgens mij ook niet herkend, maar ik had goede hoop aangezien de laatste tijd juist een aantal waarnemingen had goedgekeurd waren.
Ephemera lineata heeft 30 referentiefoto's (29 BE, 1 NL)
Ephemera glaucops heeft er 1594 (780 BE, 814 NL)
Ephemera danica heeft er 851 (543 BE, 308 NL)
Ik ben benieuwd of jullie een idee hebben of mijn theorie klopt?
Daan of de referentie fotos zijn pas onlangs referentie geworden. de gebruikte foto`s zijn eind 2019 opgehaald
Aah dat lijkt me logisch Hisko! 2020 was een goed jaar voor Ephemera lineata namelijk! Dank.
ik zal dat ook even in de eerste post zetten
Ik krijg service unavailable op de testlink.
Mijn ervaring is: hoe meer foto's hoe slechter het resultaat in weerwil van de aansporing om meer detailfoto's op te laden.
Blijkbaar convergeert de algoritme minder goed met meer foto's, wat niet zou moeten met een dergelijk systeem, of er zitten teveel foto's in de referentie database, die niet gedetailleerd zijn. Zoiets dus m.i.
@Frank, volgens mij wordt gewoon het gemiddelde van de percentages genomen bij meerdere foto's, dus als er een foto tussen zit die wat minder duidelijk is trekt deze het totale gemiddelde omlaag.
Terwijl dat eigenlijk niet de manier is om percentages bij elkaar op te tellen, immers zou een foto met 90% en een foto met 60% juist moeten betekenen dat het uiteindelijke percentage omhoog moet, toch?
hoe meer foto`s hoe slechter het resultaat. dan krijg je een gemiddelde
Ik krijg ook "service unavailable" op de testlink voor de nieuwe versie. Wil graag nog wat bladmijnen testen, want die gaan vaak (meestal) fout
Citaat van: Jacob Molenaar op juli 06, 2020, 08:43:01 AM
@Frank, volgens mij wordt gewoon het gemiddelde van de percentages genomen bij meerdere foto's, dus als er een foto tussen zit die wat minder duidelijk is trekt deze het totale gemiddelde omlaag.
Terwijl dat eigenlijk niet de manier is om percentages bij elkaar op te tellen, immers zou een foto met 90% en een foto met 60% juist moeten betekenen dat het uiteindelijke percentage omhoog moet, toch?
Het zal zoiets zijn denk ik inderdaad. Ik zal nog eens wat proeven** nemen. Bedankt.
**Even wachten tot het weer werkt ;)
Als ik twee foto's invoer 1) eerst de uitsnede en dan het overzicht en 2) eerst het overzicht en dan de uitsnede, dan krijg ik in beide gevallen dezelfde x% waarschijnlijkheid.
Als ik de waarschijnlijkheden van 1a) de uitsnede en 2a) het overzicht optel, en ik neem het gemiddelde, dan krijg ik x% + 0,65% in dit specifieke geval dan.
Dus twee foto's in voeren levert niet precies het gemiddelde op van de twee afzonderlijke invoeringen. De algoritme werkt dus toch iets anders.
Zolang de oorzaak van de problemen met de productie omgeving van de herkenningssoftware niet zijn achterhaald is de testomgeving onbereikbaar.
De oorzaak is gevonden en de testomgeving is weer beschikbaar.
Ik ben benieuwd; wat is de oorzaak geweest?
compleet volgelopen directory met log files (zal niet nog een keer gebeuren)
Mooi, dat de oorzaak gevonden is :duim:
De oude versie zit er helemaal naast met 45,8% Bronsprietwapenvlieg. De nieuwe versie heeft het bij het goede eind en dat zelfs met maar liefst 100% :duim: :duim: :duim: :duim: https://waarneming.nl/observation/195903873/
Twee vragen:
1) Is al bekend wanneer de nieuwe versie wordt ingevoerd? Mijn waarnemingen controleer ik bijna allemaal via de testlink en regelmatig sleutel ik dingen om. De nieuwe versie doet het aanmerkelijk beter.
2) Een aantal waarnemingen zijn automatisch gevalideerd tegen het oude image herkenning systeem. Worden deze images nog opnieuw bekeken? en bij te grote afwijking alsnog ter validatie aangeboden?
Ad 1 nee dat is nog niet bekend. Vanwege de uitval in juni is men wat voorzichtig geworden met de uitrollen in de vakantie periode gebeurd zowiezo niks
Ad 2, niet door ons
Citaat van: Michel Langeveld op augustus 05, 2020, 13:30:02 PM
2) Een aantal waarnemingen zijn automatisch gevalideerd tegen het oude image herkenning systeem. Worden deze images nog opnieuw bekeken? en bij te grote afwijking alsnog ter validatie aangeboden?
Citaat van: hiskodevries op augustus 15, 2020, 15:43:26 PM
Ad 2, niet door ons
Dit is toch zo'n gek idee nog niet? Om iedere keer wanneer een nieuwe versie van de herkenningssoftware ingevoerd wordt, de tot dan toe automatisch gevalideerde waarnemingen door de nieuwe versie van de beeldherkenning halen? (bijvoorbeeld in de daluren van de server?)
Wanneer de nieuwe herkenningssoftware vervolgens een andere soort suggereert, en die suggestie bovendien binnen de percentagemarge van automatische validatie voor die andere/'nieuwe' soort valt, kunnen van deze waarneming het waarnemingsnummer en de soortgroep bijvoorbeeld opgeslagen worden in een lijstje. Dit lijstje bevat na doorlopen van deze automatisch gevalideerde waarnemingen als goed is een relatief klein aantal waarnemingen, met een relatief grote kans op foutieve automatische validaties. Het zou dan vervolgens aan de desbetreffende admin(groep) zijn om die lijst (of dit lijstje) door te werken of te verdelen onder elkaar (of links naast zich neer te leggen). De hoeveelheid codeerwerk hiervoor valt ook best wel mee...
Typisch iets waar de computer kan bijdragen! Om alle tot nu toe automatisch gevalideerde waarnemingen met de hand door de nieuwe beeldherkenning te halen/ zelf te controleren is onbegonnen werk, maar zo'n lijstje kan denk ik best wat bijdragen met relatief weinig moeite.
Wat betreft die percentages die per soort zijn ingesteld als 'grens' waarboven automatische validatie mogelijk is: is er rekening mee gehouden dat een nieuwe versie van de beeldherkenning ertoe leidt dat deze grenspercentages hoogstwaarschijnlijk grotendeels herzien zullen moeten worden? De gegeven percentages zijn tenslotte grotendeels arbitrair, en sterk gebonden aan de specifieke codering/structuur van de beeldherkenning en de achterliggende database (waarvan in ieder geval de tweede gewijzigd is ten opzichte van de vorige versie van de beeldherkenning, en de eerste vermoed ik ook(?)).
Gelukkig betekent een betere beeldherkenning dat de correctheid omhoog gaat. Dat kunnen we in dit topic ook lezen. Hierdoor kan de grenswaarde waarschijnlijk dus in veel gevallen naar beneden worden bijgesteld (waardoor het voorlopig gebruiken van de nieuwe automatische validatie met de huidige/'oude', hogere, grenswaarden in ieder geval niet leidt tot meer foutief automatisch gevalideerde waarnemingen dan voorheen). Het kan echter in sommige gevallen natuurlijk ook andersom uitpakken, dat kan ik zo nog niet overzien ;).
Citaat van: Martijn van Sluijs op augustus 15, 2020, 17:30:30 PM
Dit is toch zo'n gek idee nog niet? Om iedere keer wanneer een nieuwe versie van de herkenningssoftware ingevoerd wordt, de tot dan toe automatisch gevalideerde waarnemingen door de nieuwe versie van de beeldherkenning halen? (bijvoorbeeld in de daluren van de server?)
Ik neem aan dat de makers van de herkenningssoftware zo werken, maar daar wordt bewust over gezwegen. Hisko kan je vast wel aan een paar links over dit onderwerp helpen.
Citaat van: marcel234 op augustus 15, 2020, 20:41:58 PM
Citaat van: Martijn van Sluijs op augustus 15, 2020, 17:30:30 PM
Dit is toch zo'n gek idee nog niet? Om iedere keer wanneer een nieuwe versie van de herkenningssoftware ingevoerd wordt, de tot dan toe automatisch gevalideerde waarnemingen door de nieuwe versie van de beeldherkenning halen? (bijvoorbeeld in de daluren van de server?)
Ik neem aan dat de makers van de herkenningssoftware zo werken, maar daar wordt bewust over gezwegen. Hisko kan je vast wel aan een paar links over dit onderwerp helpen.
Volgens mij heb ik een redelijk goed beeld van hoe de herkenningssoftware werkt en toegepast wordt, en ik kan deze reactie binnen die context niet plaatsen. Kun je hem toelichten? Waar wordt precies "bewust over gezwegen"?
Huidige situatie is volgens mij dat er eens in de zoveel tijd (lees: elke paar maanden/één keer per jaar(?)) een nieuwe versie van het model wordt getraind (met of zonder wijzigingen aan het model zelf, in ieder geval met een geupdate/grotere database). Waarnemingen worden vervolgens eventueel automatisch gevalideerd met de geldende beeldherkenningsversie op het moment van invoeren van de waarneming, en naar die validatie wordt momenteel (tenzij een validator er expliciet zelf naar kijkt) later niet meer gekeken. Ook niet met een nieuwe versie van de herkenningssoftware. Dat is dan ook het punt van mijn bijdrage, daar zou 'winst' kunnen worden gehaald. Gebruik maken van het 'voortschrijdend inzicht' van de herkenningssoftware dus. Ik zie in dat proces dus niet echt een "actie van de makers van de herkenningssoftware" waar "bewust over wordt gezwegen"...
Ach ja. Als men niet exact wil verklappen hoe het systeem werkt heb ik daar respect voor. De website is razend populair en draait goed. Zelf ben ik ook druk aan het waarnemen en heb daar best veel lol in en en zeer leerzaam allemaal. Nu lachen we nog om sommige missers van het identificatie systeem (pixels die als vleermuizen worden erkend), maar het slaat regelmatig de spijker flink raak op zijn kop. Elk jaar zal het algoritme wel een stap blijven maken. Beeldherkenning staat nog in de kinderschoenen. Het zal niet lang duren voordat het systeem zich met experts kan meten en het zal deze ook overtreffen. Beetje zelfde ontwikkeling als de schaakprogramma's waarvan men ooit zei dat deze nooit grootmeesters zou kunnen winnen. Ondertussen probeer ik een beetje mee te denken en ga verder met waarnemen.
Citaat van: marcel234 op augustus 15, 2020, 21:31:17 PM
Citaat van: Martijn van Sluijs op augustus 15, 2020, 21:09:59 PM
Volgens mij heb ik een redelijk goed beeld van hoe de herkenningssoftware werkt en toegepast wordt, en ik kan deze reactie binnen die context niet plaatsen.
Ik denk dat je dat niet hebt.
Alright then :rolleye: :P. Wellicht vraag ik ze nog eens op uit interesse, maar in zijn algemeenheid heb ik er geen twijfel over of ik weet hoe beeldherkenningssoftware werkt hoor haha.
Citaat van: marcel234 op augustus 15, 2020, 21:31:17 PM
Want ik kan me niet voorstelen dat de herkennningssoftware op deze manier https://forum.waarneming.nl/index.php/topic,467512.msg2392421.html#msg2392421 wordt getest.
Nee natuurlijk niet. Aangezien er redelijk lange tijd tussen nieuwe versies van de herkenningssoftware zitten, zal het ongeveer als volgt in elkaar zitten, waar bij het proces telkens deels of geheel wordt doorgelopen. Men begint met de volledige gevalideerde fotodatabase. Daarop laat men een 'Convolutional Neural Network' 'leren' (hoe dit precies in zijn werk gaat wil ik je graag tot in de puntjes uitleggen, maar lijkt mij nogal buiten de strekking van dit forum).
Het belangrijkste is in ieder geval om een balans te vinden tussen 'overfitten' en geen herkenning hebben. Dat wil zeggen: voorkomen dat alleen zeer sterk gelijkende foto's op de foto's in de database herkend worden, maar er wel voor zorgen dat soorten 'gegeneraliseerd' herkend worden. Zodat dus ook nieuwe foto's van die soort worden herkend.
Wanneer de volledige database als trainingsmateriaal wordt gebruikt, en de volledige database ook als testmateriaal wordt gebruikt, kan het voorkomen dat een erg complex model superhoog scoort. Superfijn toch, 99% herkenning!! Niet dus. Vaak is dit een gevolg van 'overfitting'. Wanneer je het model een nieuwe foto aanrijkt die deze nog niet eerder heeft gezien, weet het model er vaak slecht raad mee, omdat het heeft geleerd de specifieke foto's uit de database te herkennen in plaats van patronen/'soorten'.
Om dit te voorkomen zijn allerlei trucjes bedacht, waarbij de meest gebruikte optie 'K-fold cross-validation' is, waarbij tijdens het trainen bij iedere iteratie van het proces steeds een ander stukje apart wordt gehouden (vaak ca. 20% van de data, afhankelijk van de grootte van de database), waarna vervolgens het model iedere iteratie van het proces op dat stukje getest/gescoord wordt (wederom, is hier tot in de puntjes uit te leggen, maar niet echt de juiste plaats lijkt mij).
Het uiteindelijke percentage correcte voorspellingen in die 'K-fold cross-validation' van de laatste iteratie geeft vaak al een vrij aardige indicatie van de kwaliteit van het model, maar voor de kwaliteit wordt vaak gekeken naar de 'confusion matrix', waaruit duidelijk wordt wat goed en fout gaat (de waarden en percentages correct voorspelde foto's die hieruit rollen zou je in principe 'testwaarden' kunnen noemen). In de confusion matrix is ook te zien als welke soort een foutief voorspelde soort dan wel voorspeld is etc. etc. Diegenen die statistiek in hun opleiding hebben gehad, zullen zo vast nog wel de termen 'vals positief' en 'vals negatief' herkennen. Ik kan mij zo voorstellen dat in dit geval wordt gepoogd om het aantal vals positieven zo laag mogelijk te houden. Liever geen voorspelling dan een onjuiste voorspelling.
Het bericht waarnaar je hier verwijst is dan ook slechts bedoeld om dingen eruit te vissen die tijdens de ontwikkeling over het hoofd worden gezien. Daar wordt vaak gekeken naar de grote lijnen, en het optimaliseren van het model in het algemeen (met eventueel preprocessing, en vooral neural network design (layers, aantal neurons, leersnelheid, en nog een heleboel parameters)). Wat gepoogd wordt in zo'n publieke testfase als via dit bericht is om erachter te komen of er toch niet wat 'overfitting' in het model is geslopen (er blijven altijd wat valkuilen, wat voor gekozen methode om dit te voorkomen dan ook), en om eventuele terugkerende fouten bij bepaalde soorten of soortgroepen eruit te vissen voordat het geheel in gebruik wordt genomen...
Het overfitten is wel een interessant probleem. Ik heb wel eens gehoord bij beeldherkenning op foto's met tank ja / nee wat perfect werkte. Toen bleek dat bij nieuwe foto's dat het totaal niet werkte. Gebleken was dat in de input alle zonnige foto's tanks hadden en alle regenachtigefoto's geen tanks. Uiteindelijk had men dus een systeem gebouwd om zonnige foto's van regenfoto's te onderscheiden. Overfitten ligt mogelijk om te loer bij donkere foto's => vleermuis en paddenstoel op berk => berkenzwam. Ook zie ik bij zoogdieren wel gekke dingen gebeuren wat lijkt dat de trainingsdata te eenzijdig was. Maar goed - bottomline ben ik dus zeker tevreden over het nieuwe systeem.
nee, ik verwacht het niet snel door personeelswisselingen bij naturalis systeembeheer
https://waarneming.nl/observation/199112972/
Dit bonte Bont zandoogje wordt met resp. 99,9% (oud) en 91% (nieuw) herkend als Argusvlinder. De foto is uit de Jura, maar omdat beide soorten hier voorkomen meld ik hem toch maar.
Automatische herkenning staat blijkbaar gewoon aan op observation.org? Bij de dagvlinders trouwens in veel gevallen behulpzaam.
Bij het gebruik van de herkenningssoftware op wnl ( https://waarneming.nl/fieldwork/observations/create/? ) valt het mij op (en stoort ook eerlijk gezegd) dat men na het bepalen van een soort van een plaatje, niet in staat is om tegelijk het Levensstadium over te nemen :-\
Als er verschil duidelijk is tussen -tig soorten parelmoervlinders of glazenmakers, waarom dan ook niet even ingevuld dat het een rups of imago is? Ik zie bij libellen veel opmerkingen achteraf van admins dat men niet moet vergeten om "imago" in te vullen. Allemaal werk dat voor een groot deel onnodig is. Laat de software dat doen.
Bij determinatie van kevers blijkt dat er technisch geen belemmeringen zijn, Levensstadium wordt dan netjes ingevuld.
Wie gaat over deze kwestie, en hoeveel van mijn corona-vrijetijd heeft deze instantie nodig om dat goed te organiseren/regelen?
Citeeren hoeveel van mijn corona-vrijetijd heeft deze instantie nodig om dat goed te organiseren/regelen
de herkennings software is nog niet in staat om het levensstadium te bepalen van een foto.
Het valideren is niet tijdrovender geworden. het kost exact evenveel klikken om een waarneming goed te keuren of een waarneming goed te keuren en op imago te zetten
Hoi Hisko,
Is er nog nieuws tav het invoeren van de nieuwe versie?
Of laat dit nog even op zich wachten?
Mvg,
Michel
Michel, we sjorren daar elke week een keer aan.
Maar tot nu toe blijft het antwoord hetzelfde
'Wegens gebrek aan systeembeheerders is geen tijd om dit live te zetten en de oude versie standby te houden in geval van calamiteiten'
Oke, bedankt voor je antwoord.
Citaat van: hiskodevries op oktober 15, 2020, 10:45:18 AM
Citeeren hoeveel van mijn corona-vrijetijd heeft deze instantie nodig om dat goed te organiseren/regelen
de herkennings software is nog niet in staat om het levensstadium te bepalen van een foto.
Het valideren is niet tijdrovender geworden. het kost exact evenveel klikken om een waarneming goed te keuren of een waarneming goed te keuren en op imago te zetten
Zelf ben ik geen admin, maar de waarnemer die telkens met de hand het Levensstadium moet invoeren.
Zoals ik al zei
CiteerBij determinatie van kevers blijkt dat er technisch geen belemmeringen zijn, Levensstadium wordt dan netjes ingevuld.
Dus wat je zegt klopt niet helemaal. Het zou toch ook idioot zijn als een algoritme van een rups én van een vlinder een soort kan bepalen, en dat in dat traject onderweg niet even wordt vastgehouden via welke kenmerken je tot een uitkomst gekomen bent! Die van een rups en de volwassen vlinder verschillen nogal.
En dit zal ook opgaan voor andere wezens. Dat niet alles tot in detail te bepalen is, zoals "imago niet uitgekleurd" bij libellen en juffers, lijkt me logisch, maar er moet meer kunnen dan nu geleverd wordt.
De vrije tijd die ik te spenderen heb zou aan het invullen van de parameters van dat algoritme besteed kunnen worden, als het zo werkt tenminste. Daar kan ik wellicht bij assisteren.
Bij wie moet ik zijn?
Net als jij ben ik een medewaarnemer. Toch een reactie van wat ik er van begrijp. Uit het algoritme komt wat je er uit wilt laten komen. De computer traint het algoritme wat hierbij hoort. Er komen nu 22.303 soorten uit. Dit is getrained met laten we zeggen minimaal 50 foto's per soort = meer dan een miljoen foto's. Ik verwacht dat dit trainen wel even duurt. Door een dimensie levensfase toe te voegen zou dit een factor complexer worden. Ik vermoed dat dit huidige systeem het maximaal haalbare was aan de hand van rekentijd / geld. Ik denk dus niet dat op dit moment het algoritme ergens kennis heeft over de levensfase. Dit zou er dan helemaal bijgetrained moeten worden.
Inderdaad kleed herkennen is niet een kwestie van een vinkje zetten en dan maar afwachten. Je moet de software die het model opbouwt gaan leren wat kleden zijn en weken/maanden lang aan knopjes draaien tot de goede uitkomst tevoorschijn komt.
Dit lijkt op het eerste, digitale zwarte gat. Daar blijf ik uit :-X
Citaat van: Platbuik op oktober 15, 2020, 10:37:54 AM
Bij determinatie van kevers blijkt dat er technisch geen belemmeringen zijn, Levensstadium wordt dan netjes ingevuld.
Maar bij de kevers is het stadium imago de standaardinstelling. Als ik bijvoorbeeld een foto van een larve van een aziatisch lieveheersbeestje upload wordt deze wel herkend als aziatisch lhb'tje, maar niet als larve. Het stadium moet ik dan dus zelf aanpassen.
dat is een andere discussie en heeft niets met de herkenning te maken
Citaat van: hiskodevries op oktober 16, 2020, 11:04:00 AM
dat is een andere discussie en heeft niets met de herkenning te maken
Nee, gewoon even een vaststelling ;)
De "nieuwe" beta heeft nogal wat moeite met zomertaling (in het kleed dat ze de afgelopen tijd vooral hebben)... waar de current version een zomertaling soms nog wel enigszins herkent, krijg ik die uit de beta (bijna) nooit (één maal gevonden, zie onderaan)...
enkele voorbeelden van (alleen goedgekeurde) waarnemingen:
https://waarneming.nl/observation/201068872/
https://old.waarneming.nl/obsidentify_foto.php?id=201068872
https://waarneming.nl/observation/201541450/
https://old.waarneming.nl/obsidentify_foto.php?id=201541450
https://waarneming.nl/observation/201212082/
https://old.waarneming.nl/obsidentify_foto.php?id=201212082
https://waarneming.nl/observation/200829399/ <--- erg goede kwaliteit foto
https://old.waarneming.nl/obsidentify_foto.php?id=200829399 <--- toch 76% wintertaling, terwijl current versie er 89% zomertaling van maakt...
https://waarneming.nl/observation/200684257/
https://old.waarneming.nl/obsidentify_foto.php?id=200684257
https://waarneming.nl/observation/200633649/
https://old.waarneming.nl/obsidentify_foto.php?id=200633649
https://waarneming.nl/observation/200603596/
https://old.waarneming.nl/obsidentify_foto.php?id=200603596
https://waarneming.nl/observation/200340152/
https://old.waarneming.nl/obsidentify_foto.php?id=200340152
https://waarneming.nl/observation/200031065/
https://old.waarneming.nl/obsidentify_foto.php?id=200031065
https://waarneming.nl/observation/200012037/
https://old.waarneming.nl/obsidentify_foto.php?id=200012037
Hoera, toch nog één gevonden waar hij WEL zomertaling van maakt:
https://waarneming.nl/observation/200545487/
https://old.waarneming.nl/obsidentify_foto.php?id=200545487
Ik probeer het ook nog regelmatig uit en ik meer nog best vaak dat de percentages lager worden, terwijl de soort wel klopt. Dus waar de huidige versie gewoon 100% zeker was is de nieuwe versie maar 80% bijvoorbeeld. Dit gebeurt m.i. veel vaker dan andersom, hoewel bij lastige soorten mijn indruk is dat de nieuwe versie het soms wel beter snapt.
Citaat van: Jacob Molenaar op oktober 20, 2020, 12:26:24 PM
Ik probeer het ook nog regelmatig uit en ik meer nog best vaak dat de percentages lager worden, terwijl de soort wel klopt. Dus waar de huidige versie gewoon 100% zeker was is de nieuwe versie maar 80% bijvoorbeeld. Dit gebeurt m.i. veel vaker dan andersom, hoewel bij lastige soorten mijn indruk is dat de nieuwe versie het soms wel beter snapt.
Dat het percentage lager is, wil natuurlijk niet zeggen dat het verkeerd is... als de oude foutief 100% gaf, is de nieuwe beter als die 80% geeft...
Maar het betekent wel dat de percentages die gebruikt worden voor automatische validatie moeten worden herzien willen ze dezelfde hoeveelheid waarnemingen kunnen valideren. 'Gelukkig' geeft de nieuwe versie lagere percentages dan de huidige, en niet andersom. Als de grenspercentages voor automatische validatie dus wat vertraagd worden geüpdatet betekent dat alleen dat er wat meer handmatig moet worden gevalideerd, en niet dat er meer onjuiste determinaties doorheen glippen.
Citaat van: SlechtValk op oktober 20, 2020, 12:32:03 PM
Citaat van: Jacob Molenaar op oktober 20, 2020, 12:26:24 PM
Ik probeer het ook nog regelmatig uit en ik meer nog best vaak dat de percentages lager worden, terwijl de soort wel klopt. Dus waar de huidige versie gewoon 100% zeker was is de nieuwe versie maar 80% bijvoorbeeld. Dit gebeurt m.i. veel vaker dan andersom, hoewel bij lastige soorten mijn indruk is dat de nieuwe versie het soms wel beter snapt.
Dat het percentage lager is, wil natuurlijk niet zeggen dat het verkeerd is... als de oude foutief 100% gaf, is de nieuwe beter als die 80% geeft...
Ik bedoelde het vooral bij makkelijke, algemene soorten die gewoon al goed waren. Dus dan is van 100 naar 80 wel slechter.
Voor enkele zeer algemene sluipwespen die altijd slechte resultaten gaven merk ik nu toch betrekkelijk betere resultaten. Het zou fijn zijn mocht deze versie er komen!
Leuk om te testen, resultaten wisselend.
Bij deze geeft de betaversie geen soort, maar wel een waarschijnlijkheid:
https://old.waarneming.nl/obsidentify_foto.php?id=203098222
maak je niet ongerust, dat heeft met de afhandeling te maken
we hebben een probleem ontdekt in de testomgeving.
vanaf 3 september is een deel van het model onbedoeld overschreven waardoor eensklaps de resultaten erg tegen vielen.
Vanaf NU is het model weer in de juiste toestand.
Excuus voor degene die ongewild een verkeerd model hebben getest.
Worden de al goedgekeurde waarnemingen met de herkenninssoftware door een nieuwe versie opnieuw gekeurd?
Nog een adminvraag, maar ik weet niet waar ik deze anders moet stellen: Waarom zijn er maar 148 waarnemingen van de 45.000 nog te keuren plantenwaarnemingen met foto's in Vlaanderen die NIA betrouwbaar vindt?
https://oudeversie.waarnemingen.be/start_inhaalslag.php?g=10&prov=0&order=0&expand=0&expand=1&my_own=0&my_own=1&only_planted=0&iucn_status=1&confident=1¬_this_kleed=0
CiteerWorden de al goedgekeurde waarnemingen met de herkenninssoftware door een nieuwe versie opnieuw gekeurd?
nee.
Een kleine tip voor wanneer in de toekomst (eventueel) weer gebruik gemaakt gaat worden van een bètatest-omgeving voor een nieuwe versie van de beeldherkenningssoftware:
Er zit/zat bij deze testomgeving een verschil in grenswaarde tussen de 'huidige' beeldherkenningssoftware en de 'nieuwe/bètaversie'. Ik heb het dan over de waarde waaronder de melding "De herkennings software is niet in staat tot een resultaat te komen." verschijnt. Die grenswaarde zou beter zo laag mogelijk zijn (of in ieder geval gelijk aan wat in de huidige versie gehanteerd wordt).
Dit is nodig om een goede vergelijking te kunnen maken. Het gaat het hier dan vooral om te kunnen vergelijken of de eerste suggestie gelijk/juist is. Dat er een verschil zit in die grenswaarde wordt nu goed duidelijk doordat 'nieuwe versie' nu gelijk is aan 'huidige versie', en de huidige versie wel een resultaat geeft bij lage percentages, en de bètatestregel nog steeds niet. Dat terwijl ze nu dezelfde bron aanspreken. Zie bijvoorbeeld hier: https://old.waarneming.nl/obsidentify_foto.php?id=204048357. Current version geeft wel een resultaat, maar bètaversie niet, terwijl het inmiddels dezelfde bron is.
de betaversie bestaat niet meer
want de nieuwe versie staat live
Het korstmos-renspin vs buxus renspin probleem is helaas nog niet opgelost in de nieuwe versie.
Ik heb zojuist een test gedaan met autovalidatie bij correct ingevoerde en gevalideerd, of door mij rechtgezette Philodromus buxi (https://waarneming.nl/species/23858/), die allen ingevoerd als P. margaritatus (https://waarneming.nl/species/23865/). Ik concludeer dat de herkenningssoftware ze allemaal ófwel als onzekere Ph. margaritatus bestempelt, éf zelfs als 99% zekere margaritatus. Heel soms komt ze niet verder dan 'renspin'. Nooit komt P. buxi als mogelijkheid naar voren. Dit terwijl er intussen toch aardig wat gevalideerde P. buxi fotos in de database staan. Wat gaat hier mis?
Joost, je kunt zelf checken wat NIA maakt van een soort via https://old.waarneming.nl/hisko/check_nia_one_species.php?id_species=23858
je ziet dat geen enkele waarneming correct op naam wordt gebracht. Je moet wel in acht nemen dat voor het huidige model fotos tot 2019 zijn gebruikt.
De Korstmosrenspin gaat dan wel weer aardig goed https://old.waarneming.nl/hisko/check_nia_one_species.php?id_species=23865
Deze procedure selecteerrt random 20 handmatig goedgekeurde waarnemingen met 1 of meer foto`s
Ah, ok dat verklaart een hoop. Ook waarom er zoveel buxi's als zekere margaritatus worden ingevoerd. Blijft dus zaak om ze allemaal te checken.
Wanneer wordt die foto database weer bijgewerkt?
Nog een wild idee Hisko. Het huidige herkenningsalgoritme werkt best goed, maar mogelijk nog beter door Nederland in een paar blokken op te delen en hier een apart model van te maken. Mvg, Michel
En hoe zou het model daarmee om moeten gaan?