Europees model

Gestart door hiskodevries, september 28, 2021, 15:37:14 PM

Vorige topic - Volgende topic

hiskodevries

Het genereren van het europees model is klaar en staat nu op test.
Deze versie bevat MINDER soorten dan het nederlandse/belgische model omdat het minimaal aantal goedgekeurde waarnemingen met fotos is opgeschroefd van 2 naar 10.
Het gevolg is wel dat de herkenning beter gaat in veruit de meeste ordes
Om deze versie te kunnen testen is op de oude site in het waarnemingen detailscherm een knopje toegevoegd onder het kopje 'contact' .Zie bijlage
b.v. https://old.waarneming.nl/waarneming/view/226572102
Druk daarop en je ziet hoe de herkenning zou uitpakken met de nieuwe versie.

Kom je rare zaken tegen, meld die hier.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Wat de planten betreft ben ik qua soorten die voorheen niet in het NL/BE model zaten nog niet onder de indruk. Ook bij waarnemingen met duidelijke foto's van taxa waarbij een paar honderd goedgekeurde foto's zijn, zit de herkenning er in het merendeel van de gevallen naast. Als test heb ik de prestatie even vergeleken met PlantNet (waar de datakwantiteit van de foto's iets hoger is, maar de datakwaliteit een stuk lager dan 'bij ons' (meer foutieve determinaties)). Daar worden dezelfde foto's consequent wél juist herkend.

Ik twijfel zelfs of het voor de planten op Observation.org wel een vooruitgang is. Er wordt wel iets meer herkend (vooral plantentaxa met >1000 goedgekeurde foto's worden herkend, maar dat is een zeer gering aantal), maar soorten als Edelweiss, Purpersla en Linaria alpina worden consequent niet herkend (en dat zijn toch echt taxa waarbij verwacht mag worden dat de beeldherkenning er iets mee kan, daarvan waren ten tijde van het ophalen van de foto's tenminste ca. 400 gevalideerde foto's van beschikbaar), en de foute suggesties zijn bovendien uiteenlopender dan bij het huidige model het geval is volgens mij. Ik had er iets meer van verwacht/gehoopt om eerlijk te zijn.

De komende tijd zal ik zo nu en dan nog eens wat testen. Ik ben benieuwd wat de ervaringen van andere soortgroepen op observation zijn, maar ook naar de ervaringen van de NL validatoren.

Zit er al iets in de pijplijn mbt het niet laten suggereren van soorten die niet in NL/BE voorkomen wanneer de coördinaten van de foto/waarneming wel in NL/BE zijn?
Vriendelijke groeten,
Martijn

xenion

Ik heb het bij de paddenstoelen geprobeerd, maar bij de niet in NL/BE voorkomende soorten heb ik uitsluitend namen voorgesteld gekregen van soorten die wel in NL/BE voorkomen. Voor de rest is het model voor mijn gevoel het net zo goed/slecht als het huidige model: een aantal soorten worden beter herkend, andere slechter, goed herkenbare algemene soorten worden vrij goed benoemd, bij de slecht herkenbare of zeldzame soorten (die zijn er veel bij de paddenstoelen) krijg je nog steeds de meest uiteenlopende suggesties.
Groeten,
Martin

Jelle

#3
Ik hoop dat men per ongeluk het Europese model nog niet heeft geactiveerd. Ik koos een groep met enkele tientallen bijensoorten met zeer karakteristiek contrasterend geel-zwart of rood-zwart patroon waarvan ik weet dat NIA de Belgische/Nederlandse soorten zeer goed kan herkennen. Het resultaat is dat zelfs voor soorten met helemaal andere unieke kleurpatronen ik nog steeds de Belgische/Nederlandse soorten als suggestie krijg. Van die Europese soorten bestaan tientallen goedgekeurde foto's, van lage tot zeer hoge kwaliteit.

Martijn van Sluijs

Citaat van: Jelle op september 28, 2021, 21:34:03 PM
Ik hoop dat men per ongeluk het Europese model nog niet heeft geactiveerd.

Ik vrees helaas van niet. Dryas octopetala wordt vrij vaak juist herkend. Die komt niet voor in NL/BE/ en dus ook niet in het oude model. De percentages/ uitkomsten zijn ook anders tussen de huidige beeldherkenningsknop op de nieuwe website en de genoemde testknop op de oude site.
Vriendelijke groeten,
Martijn

Jelle

#5
Citaat van: Martijn van Sluijs op september 28, 2021, 21:43:47 PM
Citaat van: Jelle op september 28, 2021, 21:34:03 PM
Ik hoop dat men per ongeluk het Europese model nog niet heeft geactiveerd.

Ik vrees helaas van niet. Dryas octopetala wordt vrij vaak juist herkend. Die komt niet voor in NL/BE/ en dus ook niet in het oude model. De percentages/ uitkomsten zijn ook anders tussen de huidige beeldherkenningsknop op de nieuwe website en de genoemde testknop op de oude site.

De vrees is er. Deze versie is helemaal niet klaar voor productie. Ik probeerde nog enkele soorten en ik krijg enkel helemaal foute suggesties. Zelfs nooit het correcte genus, als het genus niet voorkomt in de Benelux.

hiskodevries

Beste testers. Hartstikke goed dat jullie voortvarend aan het werk zijn geslagen.
Maar benoem aub ook de soorten, genussen of families die je getest hebt.
Dan kan ik later specifieke testen schrijven.
Mochten bepaalde soortgroepen, genussen , soorten wel beter gaan vermeld dit dan ook
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

ik heb het testscherm ook wat informatiever gemaakt
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Platbuik

---88:  A. van Leur (Þlatbuik)

hiskodevries

#9
Citaat van: Platbuik op september 29, 2021, 11:04:58 AM
Van drie Kleine zilverreigers maakt NIA Dwergmeeuwen:
https://oudeversie.waarneming.nl/hisko/check_nia_one_obs.php?w=226286370
dat is bij de huidige niet anders https://waarneming.nl/observation/226286370/# ik zie de logica daar wel van.
Het gaat voor het hier melden meer of een soort vrij consequent fout gemeld wordt
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Tien soorten getest (ca. 10-20 recente wrn per stuk) waarvan ik verwachtingen had:

Helemaal niet tot zeer zelden herkend (waar wel wat verwacht mag worden):
Purpersla
Linaria alpina
Edelweiss
Persicaria vivipara
Witte nieswortel
Ronde steenbreek

Soms herkend, maar minder vaak dan verwacht mag worden:
Silene acaulis

Vrij aardig herkend:
Stengelloze zilverdistel
Turkse lelie
Dryas octopetala

Wat mij vooral opvalt is dat tussen de foutieve suggesties volgens mij vaker andere soortgroepen zitten dan in het huidige model het geval is. Daarnaast zijn foutieve suggesties zeer vaak in NL/BE voorkomende soorten.
Vriendelijke groeten,
Martijn

hiskodevries

later deze week zal ik bestanden per soortgroep publiceren die per soort het resultaat geeft.
Wat ik zo voorbij zie komen is nog niet echt bemoedigend
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Michiel en Milka

#12
Ik heb een mini test gedaan met soorten die niet in Nederland voorkomen. Edit: ik  heb deze waarnemingen weer verwijderd omdat mensen tips gingen geven welke soort het was. En voordat er iemand onrustig van wordt...

https://old.waarneming.nl/waarneming/view/226652521 Witbandzandoog 100% :right:
https://old.waarneming.nl/waarneming/view/226652448 Geraniumblauwtje 100%  :right:
https://old.waarneming.nl/waarneming/view/226652376 Cleopatra 100%  :right: Er staan of stonden heel wat Obsidentify Citroenvlinders in de database die overduidelijk Cleopatra's zijn.
https://old.waarneming.nl/waarneming/view/226652535 Tweekleurig hooibeestje 100%  :right:
https://old.waarneming.nl/waarneming/view/226652543 Vale gier 100%  :right:
Dat vind ik wel goede resultaten. (Maar het zijn natuurlijk ook duidelijke foto's  :angel:)
Maar om die soorten te testen moet je ze dus invoeren via old.waarneming.nl, terwijl er massa's foto's beschikbaar zijn in de database.
Dus om meer soorten te testen die niet in Nederland voorkomen zou het handig zijn om die knop - test NIA - toe te voegen aan eur.observation.org
Groet, Michiel

Michiel en Milka

https://old.waarneming.nl/waarneming/view/105684623 Geelsprietdikkopje, maar NIA geeft 79% Ransuil
https://old.waarneming.nl/waarneming/view/121753668 Geelsprietdikkopje, maar NIA geeft 74% Zwartsprietdikkopje
https://old.waarneming.nl/waarneming/view/140725167 Geelsprietdikkopje, en NIA geeft 99% Geelsprietdikkopje.
Groet, Michiel

Jelle

#14
Een aparte test voor soorten die niet in Nederland voorkomen is inderdaad wel nodig. Het is duidelijk dat het model daar wel nog beter moet scoren.
Volgende 2 soorten zouden voor NIA gemakkelijk moeten zijn:
https://observation.org/species/176852/observations/?advanced=on
https://observation.org/species/176744/observations/?advanced=on

Je krijgt bij elke foto een Nederlandse wolbij als suggestie.

Zie ook de zeer goede referentiefoto's en het zijn er genoeg. Die kwaliteit is wel noodzakelijk om uiteindelijk alle Europese soorten te herkennen, zelfs voor NIA gaat dat zo zijn.

hiskodevries

foreach speciesgroup a csv file can be downloaded
containing the result of a comparison between the current and the European NIA model
Per species, 20 random hand-approved observations with photos are loaded.
The first columns up to 'wrong names' are about the European model, followed by the current one. If the current  shows 21 wrong predictions, you can safely assume that this species is not yet in the current model.

birds
https://old.waarneming.nl/download/nia/nia_log_1.csv
mammals
https://old.waarneming.nl/download/nia/nia_log_2.csv
herpeto
https://old.waarneming.nl/download/nia/nia_log_3.csv
butterflies
https://old.waarneming.nl/download/nia/nia_log_4.csv
odonata
https://old.waarneming.nl/download/nia/nia_log_5.csv
moths
https://old.waarneming.nl/download/nia/nia_log_8.csv

etc, just change the number for your speciesgroup number
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Jelle

#16
Hoopgevend zijn volgende drie waarnemingen van drie verschillende wespensoorten die werden goedgekeurd als Stadreus door de 'photo recognition api'.
Alle worden nu wel correct herkend:
https://old.observation.org/hisko/check_nia_one_obs.php?w=227024076
https://old.observation.org/hisko/check_nia_one_obs.php?w=226188901
https://old.observation.org/hisko/check_nia_one_obs.php?w=225810065

Wat ik nu zie is dat het model wel werkt, maar nog zeer onvolledig is. Ik zie geen reden om een groot aantal algemene soorten met veel foto's uit te sluiten van het model. Het model moet dus eerst en vooral aangevuld worden met alle Europese soorten waarvan minstens 10 goedgekeurde waarnemingen bestaan met foto's. Ik heb de NIA logs bekeken en daar zie je dus hetzelfde resultaat, met veel algemene soorten met 'total wrong prediction =20'

hiskodevries

#17
ik zet deze op slot omdat ik een nieuw topic ga beginnen
Je meldingen kun je nu in https://forum.waarneming.nl/index.php/topic,487439.0.html kwijt
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0