NIA eur versie 2023

Gestart door hiskodevries, april 26, 2023, 08:56:55 AM

Vorige topic - Volgende topic

RutgerB

Op DK_ART Arter.dk taxonomy staan nogal wat niet al te betrouwbare foto's uit Inaturalist. Doen die foto's ook mee?

hiskodevries

#31
Rutger, ik heb geen idee. Ik heb wel een lijst opgevraagd om per soort  per provider aan te geven hoeveel waarnemingen zijn aangeleverd
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

#32
bij een aantal waarnemingen krijg ik een 'general failure' b.v.  https://old.waarneming.nl/check_nia_eur_one_obs.php?w=271326536

Aziatische hoornaar gaat behoorlijk consequent fout. of een ondersoort wordt gegeven https://old.waarneming.nl/check_nia_eur_one_obs.php?w=271280998 of een totaal andere soort
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

lukasverboom

Citaat van: hiskodevries op mei 11, 2023, 14:04:11 PMLukas,jij hebt ook het bestand uit 2022.
Kun jij vergelijken of de herkenning van soorten uit het 2022 bestand verbeterd is in het 2023 bestand? Of verslechterd natuurlijk

Volgens mij is het bestand uit 2022 dat je hebt aangeleverd het Observation-bestand (met alleen buitenlandse waarnemingen). Dat maakt vergelijken met het 2023-bestand van waarneming.nl niet mogelijk.
Groet,
Lukas

Marien bioloog
Favoriete groepen: korstmossen, mossen, schelpen, vleermuizen, mariene dingen.

Korstmossen in de tuin? https://forum.waarneming.nl/index.php/topic,464730.0.html

hiskodevries

de test bestanden die ik nu aanmaak draaien alleen over observation.org
dus straks lukt dat wel
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

Navraag bij het nia team leert ons dat het model op punten nog niet lekker in elkaar steekt.
Dat is het geval voor ondersoorten, insecten en planten.
In Juni zou dit wel helemaal op orde moeten zijn.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

armin.dahl

Hallo Hisko
die Bilderkennung liefert seit ein paar Tagen immer wieder

NIA ist nicht verfügbar (code: 415)

Ref: https://observation.org/observation/260275984/#

Viele Grüße



Armin: https://observation.org/users/116008/
A fool is a man who never tried an experiment in his life. - Erasmus Darwin

hiskodevries

Yes, i also observed this
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Citaat van: hiskodevries op mei 12, 2023, 11:21:02 AMRutger, ik heb geen idee. Ik heb wel een lijst opgevraagd om per soort  per provider aan te geven hoeveel waarnemingen zijn aangeleverd
Is deze er al? Er kan natuurlijk flinke meerwaarde zijn aan het gebruik van foto's uit andere databases, maar het is denk ik ook goed om kritisch te kijken naar de implementatie daarvan. Daarbij zijn twee vragen extra belangrijk:

1. Is bekend welke foto's van de andere bronnen meedoen? Rutger gaf hier een terecht voorbeeld. Een deel van de genoemde portalen zijn 'verzamelportaal'. Welke data van de brondatabases daarvan wordt gebruikt (/mag eigenlijk qua rechten worden gebruikt?) En doen daarvan alleen gevalideerde waarnemingen mee bijvoorbeeld? Tot nu toe was NIA natuurlijk al redelijk 'black box', maar wisten we in ieder geval nog vrij exact welke data het model in ging (grofweg: foto's van obs/wrn met een groene vink, van taxa met genoeg foto's met groene vink). Verliezen we hier volledig die verklaarbare factor? Moeten we dat willen?

2. Is er rekening gehouden met verschillen in taxonomische opvattingen tussen de verschillende brondatabases? Met andere woorden: hoe zijn de verschillende taxa gekoppeld met elkaar? Puur op wetenschappelijke naam? Zo ja, is hierbij rekening gehouden met homoniemen? En verschillen in gehanteerd soortconcept bijvoorbeeld? Lang niet bij alle soortgroepen zal daarbij door alle genoemde databases hetzelfde worden gehanteerd. Zonder daarmee rekening te houden gaat het vanzelfsprekend fout. Wanneer bijvoorbeeld 'wij' iets als twee soorten beschouwen, en een andere db iets als twee ondersoorten beschouwt, en die databases op basis van wetenschappelijke naam aan elkaar worden gekoppeld.

Ik denk dat een kritische blik hier gerechtvaardigd is. We kunnen het leuk vinden of niet, maar feit is dat het iets beter of iets slechter presteren van NIA (ook al is dat maar een paar procent) een verschil van honderden, zo niet duizenden, validatie-uren (en dus ook een enorm verschil in het aantal validaties) oplevert.
Vriendelijke groeten,
Martijn

hiskodevries

Nee die lijst heb ik nog niet ontvangen, ga ik nog een keer achteraan.
ad 1, niet bij mij. is ook niet zo relevant. Soorten die raar doen springen eruit bij de tests
ad 2, ja. Dat is al eerder ter sprake gekomen. ik snap wel dat je je bij planten extra zorgen maakt.
je kunt van te voren een hoop 'ja maar..' opwerpen, maar uiteindelijk geld het resultaat.

ik ga nog geen definitieve export tests maken, maar ik ben wel aan het loggen welke soorten vaak verkeerd gedetermineerd worden. Zodat we een 'grutto' effect kunnen ontdekken

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Citaat van: hiskodevries op mei 31, 2023, 11:27:19 AMad 1, niet bij mij. is ook niet zo relevant. Soorten die raar doen springen eruit bij de tests
Ik vind dat juist zeer relevant, want dan weet ik bijvoorbeeld beter waar bij het testen extra aandacht aan moet worden besteed.

Citaat van: hiskodevries op mei 31, 2023, 11:27:19 AMad 2, ja. Dat is al eerder ter sprake gekomen. ik snap wel dat je je bij planten extra zorgen maakt.
"Ja" op welk deel van mijn vraag? Als hetgeen ik schreef allemaal rekening mee is gehouden, dan ben ik daar zeer van onder de indruk en ook wel een beetje nieuwsgierig naar hoe dat is aangepakt.

Citaat van: hiskodevries op mei 31, 2023, 11:27:19 AMje kunt van te voren een hoop 'ja maar..' opwerpen, maar uiteindelijk geld het resultaat.
Eens, maar het is ook van belang om het resultaat te kunnen duiden en problemen snel te kunnen identificeren en eventueel oplossen. Daarvoor is dit soort achtergrondinformatie cruciaal.
Vriendelijke groeten,
Martijn

hiskodevries

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Zonder verdere toelichting ga ik hier niet veel mee kunnen.
Vriendelijke groeten,
Martijn

hiskodevries

#43
op https://old.waarneming.nl/nia_test_mismatches.php wordt op dit moment een tabel gevuld met data waarin de fouten worden gelogd van de nieuwe versie .
Het gaat niet zo snel. Het bevragen van 2 modellen voor 1 waarneming kost relatief veel tijd.
Ik hoop dat de teksten in dat scherm informatief genoeg zijn.
Voordat alle soorten doorlopen zijn kan het wel 8 juni zijn.
Dus staat jouw soortgroep er nog niet bij, start de pagina later nog eens. Het laden gebeurt (ongeveer) op soortnummer, dus eerst de vogels en nieuwe soorten op het laatst.
Soorten die hier niet in staan zijn:
1. nog niet verwerkt
2. hebben minder dan 5 foute herkenningen
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Vriendelijke groeten,
Martijn

hiskodevries

ik heb nog geen plannen om dat ook voor obs.org of w.be apart te doen.
dat duurt nog veel langer
maar ik sluit niet uit dat, als ik de tijd heb, dat alsnog ga doen
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Ok, betekent dat deze tests nu gaan lopen dat de nieuwe NIA versie nu in principe 'klaar' is?

Dit ivm:
Citaat van: hiskodevries op mei 15, 2023, 11:52:10 AMNavraag bij het nia team leert ons dat het model op punten nog niet lekker in elkaar steekt.
Dat is het geval voor ondersoorten, insecten en planten.
In Juni zou dit wel helemaal op orde moeten zijn.
Vriendelijke groeten,
Martijn

hiskodevries

nee, want daar hebben we nog geen bericht over gekregen
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Hoe kun je dan al gaan testen? Of is het idee dat zodra de testsoftware bij de genoemde soortgroepen is aangekomen, het model voor die soortgroepen intussen klaar is?
Vriendelijke groeten,
Martijn

hiskodevries

wat ik al wel zie is dat sonogram fotos eruit moeten worden gewipt. geen idee hoe
zie b.v. https://old.waarneming.nl/nia_test_mismatches.php?s=284 de duinpieper en dwerggors
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

de nederlandse soorten zijn gedaan. De lijst in bovengenoemd scherm wordt nu aangevuld met de resultaten uit observation.org. Ook een soortgroep filter toegepast dat maak gericht zoeken wat handiger
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

lukasverboom

Fijn dat deze test er is. Ik schrik toch wel van de resultaten. Als van elke soort 10 waarnemingen zijn getest is het bijzonder dat er soorten zijn die meer dan 400x zijn voorspeld. Ook soorten waarvoor we de automatische goedkeuring hebben aangezet worden vaak verkeerd voorspeld, met hoge zekerheidspercentages. Gewoon muisjesmos bijvoorbeeld.

In het algemeen lijken deze percentages duidelijk hoger te liggen dan in het vorige model, en daardoor zijn er denk ik meer vals-positieven. Ik snap niet helemaal hoe een computermodel tot een voorspelling van 100% komt, maar als die zekere voorspellingen niet kloppen, moeten dan niet alle zekerheidspercentages omlaag worden bijgesteld?
Groet,
Lukas

Marien bioloog
Favoriete groepen: korstmossen, mossen, schelpen, vleermuizen, mariene dingen.

Korstmossen in de tuin? https://forum.waarneming.nl/index.php/topic,464730.0.html

hiskodevries

#52
Citeereach species in the model 20 manually approved observations with photos are evaluated with the new model
Voor Nederland zijn 25.133 soorten geevalueerd * 20 waarnemingen =502.660 waarnemingen die de kans hebben om Gewoon Muisjesmos te worden
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

#53
De Steenrode heidelibel en een paar andere libel soorten
 zijn wel een kanshebber https://old.waarneming.nl/nia_test_mismatches.php?s=642&g=5 om verkeerd in het model te zitten.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

ik kreeg zojuist door dat op 16 juni de insecten klaar zouden zijn, dus die libellen laten we nog even
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Citaat van: hiskodevries op juni 05, 2023, 10:23:51 AM
Citeereach species in the model 20 manually approved observations with photos are evaluated with the new model
Voor Nederland zijn 25.133 soorten geevalueerd * 20 waarnemingen =502.660 waarnemingen die de kans hebben om Gewoon Muisjesmos te worden

Waren van al deze 25.133 taxa 20 handgekeurde waarnemingen aanwezig om te kunnen evalueren?
Vriendelijke groeten,
Martijn

Martijn van Sluijs

Ik zie hier (https://old.observation.org/nia_test_mismatches.php?s=17439&g=0) behoorlijk veel plantenwaarnemingen bij een mos staan. Waarnemingen die in de verkeerde soortgroep geplaatst zijn komen toch voort uit fouten uit het 'hoofdmodel' dat de waarnemingen onderverdeelt tussen de verschillende 'submodellen'?

Als iets niet in de juiste soortgroep terecht komt is dat extra problematisch, omdat er dan zéker twee validatoren aan te pas moeten komen om iets onder het juiste taxon te valideren (tenzij er een mossenvalidator is die ook de juiste plantenkennis én -validatierechten heeft, maar die zijn dun gezaaid vermoed ik).
Vriendelijke groeten,
Martijn

hiskodevries

Citaat van: Martijn van Sluijs op juni 06, 2023, 10:02:03 AMWaren van al deze 25.133 taxa 20 handgekeurde waarnemingen aanwezig om te kunnen evalueren?
niet altijd, ik zal je het nl log wel even emailen
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

#58
Citaat van: Martijn van Sluijs op juni 06, 2023, 10:15:02 AMIk zie hier (https://old.observation.org/nia_test_mismatches.php?s=17439&g=0) behoorlijk veel plantenwaarnemingen bij een mos staan
dat is zeker een soort die goed in de gaten moet worden gehouden en welke ik gelijk gedeeld heb met naturalis nia team
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

Antwoord.  Daar zou na 16 juni een verbetering in moeten zitten .
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0