Test the new NIA european model

Gestart door hiskodevries, juni 21, 2023, 09:21:35 AM

Vorige topic - Volgende topic

Michel Langeveld

#30
De automatische tests zijn afgelopen. Het model doet zijn werk gemiddeld genomen beter en kent meer soorten. Een mooie sprong voorwaarts. Ook mijn complimenten voor het goede werk. Wat zijn de vervolgstappen?
Mvg,
Michel

Martijn van Sluijs

Citaat van: Michel Langeveld op juni 25, 2023, 12:11:05 PMDe automatische tests zijn afgelopen.
Nee, nog niet alle soortgroepen zijn klaar.

Er dient nadat de tests wel zijn afgelopen nog best wat geëvalueerd (en misschien ook nog wel wat gesleuteld) te worden voordat de nieuwe versie van NIA 'live' kan gaan.

Daarna: https://forum.waarneming.nl/index.php/topic,499061.0.html
Vriendelijke groeten,
Martijn

lukasverboom

Voor de automatische goedkeuring is het belangrijk om te weten hoeveel waarnemingen foutief een >90% of >99% herkenningspercentage hebben gekregen. Ik heb een beetje gespeeld met de csv-bestanden uit de analyse van Naturalis, en het lijkt er sterk op dat naast bij de juiste, ook bij de foute herkenningen het herkenningspercentage gemiddeld zo'n 15% hoger ligt dan het vorige model.

Is er bij de analyses een bestand bijgehouden met alle herkenningen? Zo ja, kan dan gekeken worden hoeveel waarnemingen in beide modellen een >90% of >99% herkenning kregen, terwijl de soort niet klopte? Ik heb het idee dat dit aantal sterk gestegen is, en dat baart me zorgen voor de automatische goedkeuring van waarnemingen. Een betere herkenning is leuk, maar als daarmee het aantal foutief goedgekeurde waarnemingen sterk stijgt baart dat me zorgen...

Voorbeeld: van de 68 plantensoorten die in het nieuwe model 0/20x goed herkend werden is het gemiddelde herkenningspercentage 70%. In het oude model is dat percentage 55%.
Groet,
Lukas

Marien bioloog
Favoriete groepen: korstmossen, mossen, schelpen, vleermuizen, mariene dingen.

Korstmossen in de tuin? https://forum.waarneming.nl/index.php/topic,464730.0.html

Michel Langeveld

#33
@Martin: Alleen verstoringen moeten nog, maar die staat al een tijdje op 'This speciesgroup is not yet evaluated'. Maar idd misschien wordt deze soortgroep nog gedaan.
@Lukas: Goed punt. Stel iemand zet alles >= 90% op zeker. Levert het nieuwe model dan meer werk op voor de validators. En nogmaals berekend voor >= 95%. En dit per soortgroep bepaald. Kan me ook voorstellen dat het dan  meespeelt of de soort een makkelijke of moeilijk te beoordelen soort is.

Martijn van Sluijs

Ik maak mij hier inderdaad ook zorgen over Lukas.

Ik heb ook al zitten rekenen aan een eventuele correctiefactor oid, maar zo eenvoudig lijkt het helaas niet te zijn.

Citaat van: lukasverboom op juni 25, 2023, 12:37:47 PMIk heb een beetje gespeeld met de csv-bestanden uit de analyse van Naturalis
Hoe kom je daaraan? Of bedoel je de csv-bestanden uit de obs analyse?

Citaat van: lukasverboom op juni 25, 2023, 12:37:47 PMIs er bij de analyses een bestand bijgehouden met alle herkenningen?
Hoop ik ook, die zijn idd eigenlijk nodig om hier een goede uitspraak over te kunnen doen. Alhoewel er ook wel wat conclusies getrokken kunnen worden op basis van de top mismatches pagina's.
Vriendelijke groeten,
Martijn

Martijn van Sluijs

Citaat van: Michel Langeveld op juni 25, 2023, 13:01:17 PM@Martin: Alleen verstoringen moeten nog, maar die staat al een tijdje op 'This speciesgroup is not yet evaluated'. Maar idd misschien wordt deze soortgroep nog gedaan.
Even alleen voor NL: Bijen wespen en mieren is nog bezig, en dan moeten iig Vliegen en muggen + Algen, wieren en eencelligen nog. Met name die laatste is spannend. De observation.org tests zijn ook nog niet klaar.
Vriendelijke groeten,
Martijn

lukasverboom

Citaat van: Martijn van Sluijs op juni 25, 2023, 13:04:47 PMIk maak mij hier inderdaad ook zorgen over Lukas.

Ik heb ook al zitten rekenen aan een eventuele correctiefactor oid, maar zo eenvoudig lijkt het helaas niet te zijn.
Citaat van: lukasverboom op juni 25, 2023, 12:37:47 PMIk heb een beetje gespeeld met de csv-bestanden uit de analyse van Naturalis
Hoe kom je daaraan? Of bedoel je de csv-bestanden uit de obs analyse?

Die ja:
https://old.waarneming.nl/nia_eur_global_results.php
Kiezen voor planten, en dan "Get the results file".
Groet,
Lukas

Marien bioloog
Favoriete groepen: korstmossen, mossen, schelpen, vleermuizen, mariene dingen.

Korstmossen in de tuin? https://forum.waarneming.nl/index.php/topic,464730.0.html

Martijn van Sluijs

Ja, dat zijn niet de bestanden uit de test/analyse van Naturalis. Dat zijn de bestanden uit testen die door obs (/Hisko) zijn gedraaid. Naturalis heeft daarnaast een eigen test gedraaid, waarvan we volgens mij alleen het plaatje in de bijlage van de eerste post van dit bericht hebben.

Belangrijk verschil is dat de obs test ook foto's geëvalueerd heeft die het model al zag tijdens trainen, waardoor de herkenning van een aantal taxa nu flink overschat wordt. Wat voor het vinden van bijvoorbeeld die mismatches in het grote plaatje niet echt een probleem is. Naturalis heeft alleen getest op foto's die niet gezien zijn door zowel oude als nieuwe NIA tijdens trainen, wat natuurlijk belangrijk is wanneer je iets van statistiek wil hebben om te bepalen welke van de twee versies gemiddeld genomen beter presteert.
Vriendelijke groeten,
Martijn

lukasverboom

#38
Nog even voor de duidelijkheid: Ik ben erg blij als de herkenning van het nieuwe model beter is, maar de hogere percentages lijken zowel bij goede als foute voorspellingen voor te komen. Hogere percentages lijken dus niet echt een goede indicator te zijn voor hoe goed het systeem soorten herkent. In mijn ogen is een foutief goedgekeurde waarneming honderd keer erger dan een niet goed herkende foto, dus als alle percentages hoger liggen en dat aantal omhoog gaat is het model in mijn ogen slechter dan het vorige.

Ook is er een kans dat de voorpagina veel meer vervuild gaat worden door vage Obsidentify-foto's die door het oude percentage <90% herkend worden dus niet in de algemene pagina's voorkomen, maar door het nieuwe model wel een hoge zekerheid krijgen en bijvoorbeeld op de voorpagina belanden. Dat wordt het hele jaar door rietorchissen op de voorpagina.
Groet,
Lukas

Marien bioloog
Favoriete groepen: korstmossen, mossen, schelpen, vleermuizen, mariene dingen.

Korstmossen in de tuin? https://forum.waarneming.nl/index.php/topic,464730.0.html

Martijn van Sluijs

Citaat van: lukasverboom op juni 25, 2023, 13:37:10 PMOok is er een kans dat de voorpagina veel meer vervuild gaat worden door vage Obsidentify-foto's die door het oude percentage <90% herkend worden dus niet in de algemene pagina's voorkomen, maar door het nieuwe model wel een hoge zekerheid krijgen en bijvoorbeeld op de voorpagina belanden. Dat wordt het hele jaar door rietorchissen op de voorpagina.
In principe klopt dit wel, maar hiervoor is rietorchis net een ongelukkige voorbeeldsoort. Dit omdat de percentages bij foute herkenning (https://old.waarneming.nl/nia_test_mismatches.php?s=186845&g=0) veelal ver onder de 'zeker' grens liggen. Bovendien staat deze soort niet op zeldzaam of zeer zeldzaam, waardoor ze sowieso niet op de voorpagina verschijnt.
Vriendelijke groeten,
Martijn

Martijn van Sluijs

Citaat van: lukasverboom op juni 25, 2023, 13:37:10 PMIn mijn ogen is een foutief goedgekeurde waarneming honderd keer erger dan een niet goed herkende foto, dus als alle percentages hoger liggen en dat aantal omhoog gaat is het model in mijn ogen slechter dan het vorige.
In de praktijk zal dit mogelijk betekenen dat de fotoval percentages opgeschroefd moeten worden voor bepaalde taxa of dat de fotoval voor bepaalde taxa mogelijk zelfs uitgeschakeld moet worden. Vervolgens is het de vraag hoeveel meer validatiehandelingen dat oplevert tov de bespaarde validatiehandelingen doordat waarnemingen wél vaker bij het juiste taxon worden geplaatst door nieuwe NIA.
Vriendelijke groeten,
Martijn

Michel Langeveld

@Martin.

Je schreef:
"Even alleen voor NL: Bijen wespen en mieren is nog bezig, en dan moeten iig Vliegen en muggen + Algen, wieren en eencelligen nog. Met name die laatste is spannend. De observation.org tests zijn ook nog niet klaar."

Ik kijk hier:

Voor vliegen:
https://old.observation.org/nia_eur_global_results.php?g=18

Voor bijen, wespen, mieren:
https://old.observation.org/nia_eur_global_results.php?g=17

Voor algen:
https://old.observation.org/nia_eur_global_results.php?g=19

Ik zie daar geen lopende test.
Op welke plek kijk jij?

Mvg,

michel

Michel Langeveld

#42
@Lukas:

Je schreef:
"In mijn ogen is een foutief goedgekeurde waarneming honderd keer erger dan een niet goed herkende foto, dus als alle percentages hoger liggen en dat aantal omhoog gaat is het model in mijn ogen slechter dan het vorige."

De score van de fout herkende waarnemingen zijn inderaad ook belangrijk. Zeker voor soorten waarbij autovalidatie aan staat.

Helaas kunnen we adhv de beschikbare cvs's geen goede berekening maken en is er een detail log nodig:

Aan de hand van csv's:
Bij 1 x fout met van 97% weten we wel exact met wel de exacte waarde, namelijk 97%
Met N x fout van 0% of 100% ook, namelijk respectievelijk alles 0% of 100%
Maar 2 x fout met 80% kan zijn eentje 100% en de andere 60% wat veel ongustiger is dan beide 80%. Uit de csv's die online staan kunnen we dat niet zien.

groet,

Michel

Martijn van Sluijs

Citaat van: Michel Langeveld op juni 25, 2023, 15:00:46 PM@Martin.

Je schreef:
"Even alleen voor NL: Bijen wespen en mieren is nog bezig, en dan moeten iig Vliegen en muggen + Algen, wieren en eencelligen nog. Met name die laatste is spannend. De observation.org tests zijn ook nog niet klaar."

Ik kijk hier:

Voor vliegen:
https://old.observation.org/nia_eur_global_results.php?g=18

Voor bijen, wespen, mieren:
https://old.observation.org/nia_eur_global_results.php?g=17

Voor algen:
https://old.observation.org/nia_eur_global_results.php?g=19

Ik zie daar geen lopende test.
Op welke plek kijk jij?

Mvg,

michel
Zoals ik schreef; NL. Dus bijvoorbeeld: https://old.waarneming.nl/nia_eur_global_results.php?g=17. Observation.org is intussen idd wel klaar.
Vriendelijke groeten,
Martijn

Michel Langeveld

Dank voor het delen Martin, dan volg ik je nu goed.  :duim:

lukasverboom

Citaat van: Michel Langeveld op juni 25, 2023, 15:16:46 PMAan de hand van csv's:
Bij 1 x fout met van 97% weten we wel exact met wel de exacte waarde, namelijk 97%
Met N x fout van 0% of 100% ook, namelijk alles 0% en 100%
Maar 2 x fout met 80% kan zijn eentje 100% en de andere 60% wat veel ongustiger is dan beide 80%. Uit de csv's die online staan kunnen we dat niet zien.

Ik weet niet of je het al gezien had, maar hier staan wel individuele waarnemingen:
https://old.waarneming.nl/nia_test_mismatches.php?s=7720&g=0
Als dus voor Cepaea nemoralis automatische goedkeuring aan zou staan bij >99% zouden 12 geteste andere dingen foutief worden goedgekeurd als deze soort. Maar deze getallen zou ik graag vergelijken met het andere model. Onder andere een schildpad, een kever, een korstmos en een aantal zeenaaktslakken.
Groet,
Lukas

Marien bioloog
Favoriete groepen: korstmossen, mossen, schelpen, vleermuizen, mariene dingen.

Korstmossen in de tuin? https://forum.waarneming.nl/index.php/topic,464730.0.html

Martijn van Sluijs

Citaat van: lukasverboom op juni 25, 2023, 15:28:46 PMAls dus voor Cepaea nemoralis automatische goedkeuring aan zou staan...
Maar dat is dus niet zo, misschien wel ook door problemen met dit taxon in het huidige model :huh:

Laten we iig als we naar dit soort voorbeelden kijken dan ook echt taxa erbij pakken waarvoor de fotoval wél aan staat.
Vriendelijke groeten,
Martijn

Michel Langeveld

Martin schreef:
"Laten we iig als we naar dit soort voorbeelden kijken dan ook echt taxa erbij pakken waarvoor de fotoval wél aan staat."

misschien dat dan juist _deze soorten_ uitgebreider getest moeten worden?

lukasverboom

Citaat van: Martijn van Sluijs op juni 25, 2023, 15:40:20 PM
Citaat van: lukasverboom op juni 25, 2023, 15:28:46 PMAls dus voor Cepaea nemoralis automatische goedkeuring aan zou staan...
Maar dat is dus niet zo, misschien wel ook door problemen met dit taxon in het huidige model :huh:

Laten we iig als we naar dit soort voorbeelden kijken dan ook echt taxa erbij pakken waarvoor de fotoval wél aan staat.

Goed idee. Drie korstmossen/mossen waarvoor automatische validatie aan staat. In het huidige model is er op duizenden validaties slechts een handvol fouten geweest. Het nieuwe model lijkt dus meer fouten te geven, dat wil ik graag in statistieken terugzien.

https://old.waarneming.nl/nia_test_mismatches.php?s=18463&g=12
Van dit korstmos kan ik me in het oude model geen foutief automatisch goedgekeurde waarnemingen herinneren. In deze test zijn er 13 soorten die >99% als deze soort herkend worden. Dan moeten we van de automatische goedkeuring af, denk ik.

https://old.waarneming.nl/nia_test_mismatches.php?s=18561&g=12
Idem, de parasieten negerend 11 andere soorten die als deze herkend worden. Ook voor deze moeten we dan denk ik automatische validatie uitzetten.

https://old.waarneming.nl/nia_test_mismatches.php?s=17755&g=12
Hier 9 verkeerde >99% herkenningen, allerlei soortgroepen. Voor deze is met het huidige model pas 1x eerder een waarneming foutief goedgekeurd.
Groet,
Lukas

Marien bioloog
Favoriete groepen: korstmossen, mossen, schelpen, vleermuizen, mariene dingen.

Korstmossen in de tuin? https://forum.waarneming.nl/index.php/topic,464730.0.html

Martijn van Sluijs

#49
Ik zeg niet dat je ongelijk hebt, maar houd er ook rekening mee dat bij een heleboel waarnemingen niet NIA gevolgd werd -en zal worden- door de waarnemer. Het is vaak: hoe obscuurder het taxon, hoe meer ervaren de waarnemer, hoe lager de kans dat NIA (zeker bij absurde suggesties) gevolgd zal worden. En hoe obscuurder het taxon, ruwweg ook hoe groter de kans dat NIA in de mist gaat.

Het is m.i. dus niet onmogelijk dat het aantal hoog-percentage-fouten bij het huidige model vergelijkbaar is aan de aantallen die we nu voor nieuwe NIA zien, maar dat je dit alleen niet terug ziet bij de waarnemingen omdat NIA door de waarnemer in die gevallen werd genegeerd. Dat is niet superwaarschijnlijk, maar ook niet onmogelijk. Of dat wel of niet zo is wil je inderdaad met statistieken kunnen onderbouwen/onderzoeken. Helemaal mee eens.

Als de uitkomsten van individuele waarnemingen volledig gelogd zijn is dit vrij eenvoudig te doen trouwens.
Vriendelijke groeten,
Martijn

hiskodevries

nog even over de 'dump' bij de Rietorchis. De verklaring van Naturalis:
CiteerOverigens beschouw ik Rietorchis niet als een "echt" dumptaxon (zoals de Grutto) als de meerderheid van de herkenning een (heel) laag percentage geeft. De reden dat ze bij Rietorchis in het bakje vallen is dat Rietorchis een van de meest voorkomende soorten in de database is, dus bij een heel laag signaal is de kans dan groot dat het signaal voor Rietorchis toch het hoogst is.

Zover ik kan nagaan is dit ook niet een probleem dat specifiek is voor dit model, het komt bij het huidige model ook voor.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

Tests en zeker die mismatches ogen afschrikkend, maar in de praktijk zal dit wel meevallen.
Ik kan mij ook niet voorstellen dat de automatische validatie sterk zal gaan afwijken.
Het is wel goed om deze na de release van deze NIA versie even in de gaten te houden. Dat is vrij simpel met de huidige beheer schermen.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

ow in het foto overzicht van 1 soort heb ik , alleen voor validatoren, een link ingebouwd de een tabel oplevert met de verschillen per waarneming
de keuze voor begin, einddatum ,kleed, alleen handmatig goedgekeurd, worden meegenomen
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

#53
Citaat van: hiskodevries op juni 26, 2023, 08:36:17 AMnog even over de 'dump' bij de Rietorchis. De verklaring van Naturalis:
CiteerOverigens beschouw ik Rietorchis niet als een "echt" dumptaxon (zoals de Grutto) als de meerderheid van de herkenning een (heel) laag percentage geeft. De reden dat ze bij Rietorchis in het bakje vallen is dat Rietorchis een van de meest voorkomende soorten in de database is, dus bij een heel laag signaal is de kans dan groot dat het signaal voor Rietorchis toch het hoogst is.

Zover ik kan nagaan is dit ook niet een probleem dat specifiek is voor dit model, het komt bij het huidige model ook voor.
Dat is inderdaad een prima verklaring (alhoewel er natuurlijk veel meer (planten)taxa zijn met >10.000 foto's), maar is er ook een richting gegeven over hoe we hier 'iets mee kunnen'? Is waardevolle info als het model zo eigenlijk zelf aangeeft: dit herken ik niet.

Of het bij het huidige model ook in deze mate voorkomt? Ik weet het niet. Is wel te testen. Als de volledige testlog er is, dan is het mismatches scherm eenvoudig precies zo op te stellen voor het huidige model ipv het nieuwe model. Dan hebben we ons antwoord.
Vriendelijke groeten,
Martijn

Martijn van Sluijs

#54
Citaat van: hiskodevries op juni 26, 2023, 09:27:25 AMTests en zeker die mismatches ogen afschrikkend, maar in de praktijk zal dit wel meevallen.
Ik kan mij ook niet voorstellen dat de automatische validatie sterk zal gaan afwijken.
Want? We zagen en zien opvallend hoge percentages bij foute voorspellingen. Dat is toch wel een signaal dat het met de fotoval verkeerd zou kunnen gaan. 'zal wel meevallen' is wel een beetje kort door de bocht misschien.

Ook hier kunnen we een stuk eenvoudiger conclusies over trekken met een mismatches scherm van het huidige model. Dan kunnen we ook kijken of bij de korstmossenvoorbeelden die Lukas eerder plaatste bij het huidige model ook foutieve waarnemingen met hoge percentages worden geplaatst of niet.
Vriendelijke groeten,
Martijn

Martijn van Sluijs

#55
Citaat van: hiskodevries op juni 26, 2023, 12:31:07 PMow in het foto overzicht van 1 soort heb ik , alleen voor validatoren, een link ingebouwd de een tabel oplevert met de verschillen per waarneming
de keuze voor begin, einddatum ,kleed, alleen handmatig goedgekeurd, worden meegenomen
Waar kan ik dit vinden? Graag een url  ;D
Vriendelijke groeten,
Martijn

hiskodevries

Martijn, bv https://old.observation.org/soort/photos/2448 helemaal onder de foto's . Als je die niet ziet geef dan even een seintje
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Ja, ik zie hem.

Citaat van: Martijn van Sluijs op juni 26, 2023, 22:11:42 PMAls de volledige testlog er is, dan is het mismatches scherm eenvoudig precies zo op te stellen voor het huidige model ipv het nieuwe model. Dan hebben we ons antwoord.
Is dit mogelijk?
Vriendelijke groeten,
Martijn

hiskodevries

als je goed naar de testschermen kijkt is daar een optie voor, https://old.observation.org/nia_test_mismatches.php?g=10
Het draait nu. Eerst voor planten en mossen, daarna de rest.
Maar dan nog wordt het moeilijk vergelijkbaar omdat het huidige model veel minder soorten bevat, waardoor het minder vaak mis kan gaan
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Ik dacht dat alles per geteste waarneming gelogd was, dan was het zo gepiept geweest.
Vriendelijke groeten,
Martijn