NIA eur versie 2023

Gestart door hiskodevries, april 26, 2023, 08:56:55 AM

Vorige topic - Volgende topic

hiskodevries

Beste mensen
Vanaf heden is de 2023 versie van NIA te testen op de oude site
Als je op old.waarneming.nl (w.be of obs.org) een waarneming met foto opent zie je rechts de optie 'Test het europese NIA model'
Deze bevat inmiddels 48.663 Europese soorten.
In dit geval doen niet alleen de fotos van w.nl,w.be en obs.org mee maar ook van
NBIC Artsdatabanken taxonomy
APSE Artdatabanken taxonomy
DK_ART Arter.dk taxonomy
UK_iRecord iRecord.uk taxonomy
FINBIF FINBIF taxonomy

Via een parameter wordt door NIA bepaald welke taxonomy je wilt gebruiken. Bij het testen wordt in elk geval 'onze' taxonomy' gebruikt.
Om het vergelijke te vergemakkelijken wordt zowel het resultaat van het nieuwe en het oude model getoond

Dit model heeft nog geen morph herkenning. Dit zal in juni toegevoegd worden.

LET OP. Dit scherm houd geen rekening met soorten die altijd worden vervangen door een andere soort op basis van jullie input.
-------------------------------------------------------------------------
Sinds een aantal dagen houd ik bij welke waarnemingen fout worden herkent en groepeer ik deze.
Dat levert onderstaand test overzicht op https://old.waarneming.nl/nia_test_mismatches.php  Daar zie ik al wel wat rare zaken. Ik hoor deze ook graag van julie
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Platbuik

Citaat van: hiskodevries op april 26, 2023, 08:56:55 AMDit model heeft nog geen morph herkenning.

LET OP. Dit scherm houd geen rekening met soorten die altijd worden vervangen door een andere soort op basis van jullie input.
Wat is de consequentie als er geen morph herkenning is?

En wat betekent de tweede zin :huh:
---88:  A. van Leur (Þlatbuik)

hiskodevries

dat nia geen imago herkent.
De tweede zin: Sommige soorten worden software matig naar een andere soort verplaatst.
b.v. soorten die alleen met een microscoop herkent kunnen worden
Als Nia een  Eikvaren of een Brede eikvaren denkt te herkennen wordt dat opgeslagen als Brede eikvaren + Gewone eikvaren
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Jan Mudde

Citaat van: hiskodevries op april 26, 2023, 10:07:42 AMdat nia geen imago herkent.
De tweede zin: Sommige soorten worden software matig naar een andere soort verplaatst.
b.v. soorten die alleen met een microscoop herkent kunnen worden
Als Nia een  Eikvaren of een Brede eikvaren denkt te herkennen wordt dat opgeslagen als Brede eikvaren + Gewone eikvaren

Nu is het ook voor niet_ Hisko's te volgen  ;D  ;D  :duim:
Jan Mudde

"Gutta cavat lapidem non vi sed saepe cadendo" (Ovidius)

Favoriete soortgroepen; Korstmossen, Nachtvlinders, Vogels en verder eigenlijk zeer breed natuurgeïnteresseerd. https://waarneming.nl/users/50310/observations/?advanced=on

lukasverboom

Is er een manier om een paar duizend goedgekeurde waarnemingen per soorgroep door de oude en nieuwe NIA te halen, en een overzicht te krijgen van foutmarges en vaak verkeerd voorgestelde soorten? Het is fijn om daar al een beeld van te hebben voor de nieuwe versie online gaat.

We hebben nu voor een paar soorten automatische validatie aan staan. Kan ook per soort gekeken worden hoe goed de nieuwe NIA  specifiek bepaalde soorten herkent?
Groet,
Lukas

Marien bioloog
Favoriete groepen: korstmossen, mossen, schelpen, vleermuizen, mariene dingen.

Korstmossen in de tuin? https://forum.waarneming.nl/index.php/topic,464730.0.html

hiskodevries

Citaat van: lukasverboom op april 26, 2023, 11:07:25 AMIs er een manier om een paar duizend goedgekeurde waarnemingen per soorgroep door de oude en nieuwe NIA te halen, en een overzicht te krijgen van foutmarges en vaak verkeerd voorgestelde soorten? Het is fijn om daar al een beeld van te hebben voor de nieuwe versie online gaat.

We hebben nu voor een paar soorten automatische validatie aan staan. Kan ook per soort gekeken worden hoe goed de nieuwe NIA  specifiek bepaalde soorten herkent?
dat komt na mijn vakantie
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

lukasverboom

Citaat van: hiskodevries op april 26, 2023, 12:05:25 PM
Citaat van: lukasverboom op april 26, 2023, 11:07:25 AMIs er een manier om een paar duizend goedgekeurde waarnemingen per soorgroep door de oude en nieuwe NIA te halen, en een overzicht te krijgen van foutmarges en vaak verkeerd voorgestelde soorten? Het is fijn om daar al een beeld van te hebben voor de nieuwe versie online gaat.

We hebben nu voor een paar soorten automatische validatie aan staan. Kan ook per soort gekeken worden hoe goed de nieuwe NIA  specifiek bepaalde soorten herkent?
dat komt na mijn vakantie
Prima, veel plezier!
Groet,
Lukas

Marien bioloog
Favoriete groepen: korstmossen, mossen, schelpen, vleermuizen, mariene dingen.

Korstmossen in de tuin? https://forum.waarneming.nl/index.php/topic,464730.0.html

hiskodevries

nog iemand aan het testen geweest ? of werk de nieuwe versie als een speer?
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Wel al hier en daar wat getest (tot nu toe ziet het er goed uit), maar ik wacht vooral op data voor grondige analyse.

Ik ben in het algemeen wel benieuwd hoe is omgesprongen met het combineren van de verschillende datasets, en hoe hier bijvoorbeeld met verschillen in taxonomische opvatting, ondersoorten en homoniemen is omgegaan.

Verder: het lijkt mij logisch dat als iedereen (validatoren en waarnemers) gepusht wordt zo veel mogelijk actief te zijn op de nieuwe site, een testomgeving op de oude site niet zo veel aandacht krijgt als voorheen.
Vriendelijke groeten,
Martijn

hiskodevries

Elke data leverancier heeft zijn eigen taxonomie gekregen.
Dus dat is geen probleem.
Als je wilt wachten op test links op de nieuwe site verwacht ik die 2026. Daar hebben ze wel wat anders te doen.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Citaat van: hiskodevries op mei 09, 2023, 09:30:12 AMElke data leverancier heeft zijn eigen taxonomie gekregen.
Dus dat is geen probleem.

Ik kan mij goed voorstellen dat wat 'wij' bijvoorbeeld als twee ondersoorten beschouwen, door een andere dataleverancier als twee soorten beschouwd wordt, of onder een andere naam wordt ondergebracht etc. In zulke gevallen vraag ik mij af wat er gebeurt en hoe (/via wat) dat aan elkaar gekoppeld is.

In het algemeen kan het combineren van verschillende datasets met verschillende taxonomie mogelijk onverwachte resultaten opleveren, om dat te toetsen zou ik in de nu gegeven voorspellingen van dergelijke taxa moeten duiken.

Citaat van: hiskodevries op mei 09, 2023, 09:30:12 AMAls je wilt wachten op test links op de nieuwe site verwacht ik die 2026. Daar hebben ze wel wat anders te doen.
Nee hoor, dat zeg ik niet. Ik vind het alleen niet vreemd dat er niet veel feedback is wanneer de testknop niet op de omgeving staat waar de meesten actief zijn.
Vriendelijke groeten,
Martijn

hiskodevries

Citaat van: Martijn van Sluijs op mei 09, 2023, 10:03:35 AMNee hoor, dat zeg ik niet. Ik vind het alleen niet vreemd dat er niet veel feedback is wanneer de testknop niet op de omgeving staat waar de meesten actief zijn.
dat klopt natuurlijk helemaal
ik wil je wel even een tussenbestand planten aanleveren , die stuur ik wel even via de email
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

lukasverboom

Ik heb er een tiental bekeken, dat zag er redelijk uit, maar dat is natuurlijk zo niet te vergelijken met tienduizenden API's van het oude systeem die ik heb gezien.

Wat fijn zou zijn is een analyse van misschien 1000-10.000 goedgekeurde waarnemingen we een vergelijking krijgen tussen de oude en de nieuwe in de volgende dingen:
Voorspelling >90%, determinatie goed
Voorspelling <90% en >50%, determinatie goed
Voorspelling <50%, determinatie goed
Voorspelling >90%, determinatie fout
Voorspelling <90% en >50%, determinatie fout
Voorspelling <50%, determinatie fout

En een lijst met soorten die vaak wordt voorgesteld terwijl de waarneming als iets anders is goedgekeurd.

Als je een lijst met voorspellingen kan aanleveren kunnen we de analyse trouwens ook wel zelf doen.
Groet,
Lukas

Marien bioloog
Favoriete groepen: korstmossen, mossen, schelpen, vleermuizen, mariene dingen.

Korstmossen in de tuin? https://forum.waarneming.nl/index.php/topic,464730.0.html

hiskodevries

Citaat van: lukasverboom op mei 09, 2023, 10:33:11 AM1000-10.000 goedgekeurde waarnemingen
per soort ? nee dat gaat het niet worden
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

lukasverboom

Nee, in totaal zou goed genoeg zijn
Groet,
Lukas

Marien bioloog
Favoriete groepen: korstmossen, mossen, schelpen, vleermuizen, mariene dingen.

Korstmossen in de tuin? https://forum.waarneming.nl/index.php/topic,464730.0.html

hiskodevries

de test loopt nu zoals alle voorgaande tests.
20 goedgekeurde waarnemingen met fotos per soort * aantal soorten in het model. dus dat aantal wordt ruim gehaald
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

lukasverboom

Citaat van: hiskodevries op mei 09, 2023, 10:57:57 AMde test loopt nu zoals alle voorgaande tests.
20 goedgekeurde waarnemingen met fotos per soort * aantal soorten in het model. dus dat aantal wordt ruim gehaald

Ah, mooi. Er is dus een grote test die is/wordt uitgevoerd (dat was me uit de vorige berichten niet duidelijk geworden). Kunnen wij de resultaten daarvan inzien?

Snap je de vraag? Wij willen als validatoren gewoon een beeld van hoe goed de nieuwe versie is en waar de problemen zitten, en daarvoor is het niet nuttig om bij tien waarnemingen handmatig de voorspelling op te vragen.

Citaat van: hiskodevries op mei 09, 2023, 10:13:15 AMik wil je wel even een tussenbestand planten aanleveren , die stuur ik wel even via de email
Is er zoiets voor mossen/korstmossen, en kun je dat naar mij sturen?
Groet,
Lukas

Marien bioloog
Favoriete groepen: korstmossen, mossen, schelpen, vleermuizen, mariene dingen.

Korstmossen in de tuin? https://forum.waarneming.nl/index.php/topic,464730.0.html

hiskodevries

is verstuurd, ja ik snap de vragen, maar het moet ook nog te doen zijn.
wat moeilijker te testen is zijn de soorten die zeer frequent compleet verkeerd geïdentificeerd worden. Daarvoor is de hierboven beschreven test link erg waardevol
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Michel Langeveld

#18
Ik heb aardig wat waarnemingen getest in allerlei soortgroepen (zo'n 500 stuks). Ik krijg de indruk dat het nieuwe model iets beter werkt.

- Het komt met verrassend goede voorstellen. Zoals ijsselmeerkorst of straatgras (en dan ook kloppend)
- Is een stuk meer uitgesproken in zijn mening (vrij vaak 100% score voor de juiste soort).
- springstaarten gaan een stuk beter
- Maar slaat ook nog regelmatig (net als de huidige versie) de plank mis (100% boomkikker voor bv een paddenstoel).

De volgende gaat bv 100% fout:
* https://old.waarneming.nl/waarneming/view/204841706

Zwavelgeelschijfzwammetje lijkt vaak naar Kleine geelkorst te gaan:
https://old.waarneming.nl/waarneming/view/203097253

Wat mij opviel is dat met name schriftmossen die ik getest heb bijna allemaal op schriftmos onbekend komen. Het oude model was hier m.i. wat beter in.

Concluderend ben ik wel positief over de nieuwe versie.


hiskodevries

CiteerIs een stuk meer uitgesproken in zijn mening (vrij vaak 100% score voor de juiste soort).
dat viel mij ook op
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Platbuik

Bij mij zou de animo voor dit soort testen toenemen als er een mogelijkheid is om per test een feedback selectielijst in te drukken. Iets van OK; Bijna; 100% zeker maar fout, Verkeerde soortgroep; Spinnen hebben 8 poten; Komplete onzin.
Dan kan het beheer kijken (of niet) wanneer men wil, met de foto er bij.
Geen feedback = alles kits slaat natuurlijk nergens op.
---88:  A. van Leur (Þlatbuik)

hiskodevries

Ik snap je opmerking, maar je baseert een te testen model niet op basis van 1 waarneming of 1 soort.
Het moet een totaal indruk opleveren. Daarvoor draait ook software op dit moment, maar voordat die klaar is, dat duurt dagen met zoveel soorten.
In de tussentijd kunnen mensen ook handmatig een indruk krijgen. Wat michel heeft gedaan , dat bedoel ik .
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Henk Soepenberg

Een aantal waarnemingen van 'Kortschildkever onbekend' getest.
Ongeveer de helft wordt herkend als kortschildkever. Wat al wel een verbetering is, denk ik.

Paar voorbeelden:
https://old.waarneming.nl/waarneming/view/270576410 100% kortschildkever onbekend
https://old.waarneming.nl/waarneming/view/270784366  94% kortschildkever onbekend

https://old.waarneming.nl/waarneming/view/269924912 100% Franse veldwesp
https://old.waarneming.nl/waarneming/view/270662389  99% Elzenhaantje
Vriendelijke groeten,
Henk

lukasverboom

Hisko, bedankt voor het sturen van het bestand over mossen en korstmossen.

Ik zie dat elke soort in het model 20 keer is getest, zover mogelijk. Maar de resultaten baren me zorgen. Ik zie 169 soorten die nul keer correct herkend werden, waaronder hele algemene. Voor 10 van die soorten die 20 keer getest zijn, telkens met een foute uitkomst, was het gemiddelde herkenningspercentage minstens 70% (Physconia enteroxantha, Barbula unguiculata, Didymodon fallax, Didymodon rigidulus, Brachythecium salebrosum, Dicranum polysetum, Philonotis fontana, Tortula modica, Metzgeria fruticulosa en Plagiothecium nemorale). Scapania nemorea werd 1x correct herkend, maar 19x niet, met een gemiddelde zekerheid van 90% bij de foute herkenningen!

Als test heb ik even bij een tiental waarnemingen van Barbula unguiculata op de knop gedrukt, en die werden op 1 na allemaal met 90+ zekerheid herkend als Barbula convoluta. Een soort die er wel wat op lijkt, maar toch prima van een foto te herkennen zou moeten zijn, lijkt me.

Dat betekent heel veel fout positieve waarnemingen (wat ik persoonlijk veel erger vind dan niet herkende waarnemingen). Hoe kan een programma zo vaak tot 100% zekerheid komen als iets niet correct is? Moeten niet alle percentages naar beneden bijgesteld worden? Want als er in de test vele honderden foutieve 100% correcte herkenningen zitten heeft dat percentage toch totaal geen waarde?

Ook zitten er 97 soorten in die niet in de database van waarneming.nl zitten. In die lijst staan geen soorten die aan de hand van een foto te determineren zijn. De afgelopen 2 maanden zijn er 18 duizend foto's van mossen en korstmossen buiten Nederland binnengekomen. Daarvan klopt misschien 10-20%. Ruim 50% is niet op naam te brengen vanaf de foto's. Ik vind het nog steeds onbegrijpelijk en onaanvaardbaar dat de waarnemingen uit Obsidentify zomaar op de website komen, en dat het gebruik actief wordt gepromoot. Soortenlijsten van elk Europees land staan vol met bijna alleen Nederlandse soorten. Dit is een database die nooit meer schoon wordt.
Groet,
Lukas

Marien bioloog
Favoriete groepen: korstmossen, mossen, schelpen, vleermuizen, mariene dingen.

Korstmossen in de tuin? https://forum.waarneming.nl/index.php/topic,464730.0.html

hiskodevries

Lukas, die topic gaat over het testen van nia 2023, geen afreageerplek over obsidentify
ja die niet in nederland voorkomende soorten heb ik niet uitgefilterd, dat is een beetje dom.
Daarom draai ik een nieuwe die alleen over obs.org loopt.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Jan Mudde

Citaat van: hiskodevries op mei 11, 2023, 12:34:46 PMLukas, die topic gaat over het testen van nia 2023, geen afreageerplek over obsidentify
ja die niet in nederland voorkomende soorten heb ik niet uitgefilterd, dat is een beetje dom.
Daarom draai ik een nieuwe die alleen over obs.org loopt.

Beste Hisko,

Wellicht als jullie als "betaald team" achter websites, NIA en apps zowel de waarnemers en de validatoren eens wat serieuzer namen, (of beide groepen iig de indruk gaven) aangaande de aanhoudende stroom klachten en database vervuiling dat mensen ophouden er over te klagen in elk topic dat maar een beetje gelieerd is aan de NIA en vooral ObsIdentify problematiek......ook mij zou je daarmee het zwijgen opleggen terwijl ik nu niet anders kan dan met regelmaar een lans te breken voor de in mijn ogen meer dan terechte klachten van admins, validatoren en gebruikers......

Bovenstaande zal wel weer tegen dovemansoren gericht zijn maar wanneer ik iets zie wat niet deugd, waar dan ook, kan ik niet zwijgen!!!

Ben een groot fan van dzowel de NIA als ObsIdentify en de andere apps zoals je weet. Echter met duidelijke, herhaalde en uitgebreide instructie aan nieuwe gebruikers of nieuwe soortgroepgebruikers. Ik blijf van mening dat het falend beleid van jullie is dat je dat niet aanpakt en oppakt. Omwille van de kwantiteit wordt de kwaliteit totaal om zeep geholpen en mag een heel klein aantal betaalde krachten straks alles gaan valideren.....of je moet toestanden wensen a la INaturalist.....

Ik weet, verkeerde plek, verkeerde toon, verkeerde ogen. Maar helaas, je lokt het zelf uit.

Verder blijf ik groot fan van alles wat de club Obervation International doet en mogelijk maakt. Dat is van een enorme toegevoegde waarde ( laat het niet zijn; GEWEEST!!!!) voor natuurminnend en beschermend en beherend Nederland, België en veel anddre plekken op de wereld. Daar ben ik jullie allemaal oneindig dankbaar voor en uiterst tevreden mee. Maar deze spaander, (halve boom) die nu al jaren de boel vervuild blijft een doorn in het oog van mij en met mij alle oprecht enthousiaste en goedwillende waarnemers, validatoren en datagebruikers!!!

Ik hoop dat je zo sportief bent om deze reactie te laten staan.

Grtz, Jan
Jan Mudde

"Gutta cavat lapidem non vi sed saepe cadendo" (Ovidius)

Favoriete soortgroepen; Korstmossen, Nachtvlinders, Vogels en verder eigenlijk zeer breed natuurgeïnteresseerd. https://waarneming.nl/users/50310/observations/?advanced=on

hiskodevries

ik haal niet snel een reactie weg, elders zou ik er ook op gereageerd hebben.
Voor de goede orde. Bij het bekijken van de test resultaten is het belangrijk om te weten of een significant aantal soorten beter/slechter herkent wordt.

1 resultaat is al wel bekend, deze versie roept wel heel snel 100%.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

lukasverboom

Ik heb de nieuwe resultaten ontvangen, weer bedankt. Tja, op Observation zijn er meer goed dan fout (431 vs 225), maar dat is vooral doordat ik als validator alleen soorten heb gevalideerd die makkelijk te herkennen zijn.

Mijn mening over Obsidentify is trouwens nog altijd positief, ik vind het prachtig wat het kan.
Groet,
Lukas

Marien bioloog
Favoriete groepen: korstmossen, mossen, schelpen, vleermuizen, mariene dingen.

Korstmossen in de tuin? https://forum.waarneming.nl/index.php/topic,464730.0.html

hiskodevries

@lukas, de goedgekeurde waarnemingen op basis waarvan NIA wordt gegeneerd kunnen ook uit
NBIC Artsdatabanken taxonomy
APSE Artdatabanken taxonomy
DK_ART Arter.dk taxonomy
UK_iRecord iRecord.uk taxonomy
FINBIF FINBIF taxonomy
afkomstig zijn.
Voor elke soort zijn minimaal 10 en maximaal 10.000 waarnemingen met fotos gebruikt.
ik weet niet hoeveel data per provider per soort is gebruikt.
Het kan dus prima zijn dat voor soorten waarvan <10 goedgekeurde waarnemingen in onze database staan toch in het model zitten
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

Lukas,jij hebt ook het bestand uit 2022.
Kun jij vergelijken of de herkenning van soorten uit het 2022 bestand verbeterd is in het 2023 bestand? Of verslechterd natuurlijk
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0