Suggesties toepassingen NIA

Gestart door Martijn van Sluijs, april 10, 2021, 14:18:32 PM

Vorige topic - Volgende topic

Martijn van Sluijs

NIA wordt naar mijn mening nog niet tot het volle potentieel gebruikt. Ik heb drie suggesties uiteengezet waarmee de capaciteiten van NIA verder benut kunnen worden.

Voor waarneming.nl-staf: alhoewel ik deze bijdrage op het forum plaats, zou ik het uiteraard op prijs stellen als deze suggesties met de daarvoor relevante personen intern besproken worden. Mocht het om wat voor reden dan ook gewenst zijn, kan via een persoonlijk bericht contact met mij worden opgenomen.

Voor waarnemers en validatoren: aanvullingen, bezwaren, andere voorbeelden, steun, etc. zijn van harte welkom in dit topic. Ook hier geldt: mocht het om wat voor reden dan ook gewenst zijn, kan ook via een persoonlijk bericht contact met mij worden opgenomen.
Vriendelijke groeten,
Martijn

Martijn van Sluijs

1. Tussenstation
Wat: Op dit moment worden de ID verzoeken vanuit ObsIdentify, ObsMapp, Waarneming.nl etc. bij mijn weten direct verzonden naar een externe server waarop het model/NIA 'draait'. Ik stel voor om hier een tussenstation op een door Waarneming.nl beheerde server tussen te zetten. Dat wil zeggen: de requests gaan dan voortaan via dit tussenstation van Waarneming.nl naar de externe server, waarna het tussenstation het antwoord (/de uitkomsten-array) terug ontvangt van de externe server, en deze terug aanbiedt aan de gebruiker.

Ik ben mij er van bewust dat dit een fractie meer tijd kan kosten dan een directe request naar de externe server, maar het is een benodigde stap voor punt 2 en punt 3. Om dit nadeel van extra tijd te voorkomen, kan de functionaliteit van punt 2 en punt 3 ook direct ingebouwd worden op de externe server, maar dat is wellicht lastiger te bewerkstelligen.

Waarom: Het geeft meer controle over de toepassing van NIA en meer onafhankelijkheid van de externe ontwikkelaars van de beeldherkenning. Dit bevordert functionaliteit, toepasbaarheid en werkbaarheid van punt 2 en 3, met verwaarloosbare negatieve gevolgen voor alle betrokken partijen (externe ontwikkelaars, waarneming.nl, gebruikers). Zie verder punt 2 en 3.
Vriendelijke groeten,
Martijn

Martijn van Sluijs

2. Verwijslijst
Wat: Door het gebruik van het tussenstation, kan een stap tussen de uitkomst van NIA en het terugleveren van informatie aan de gebruiker worden ingebouwd. Hetgeen waar ik hierbij op doel, noem ik een verwijslijst. Deze lijst kan zeer eenvoudig zijn in opzet, en opgebouwd zijn uit twee kolommen. In kolom 1 de naam die NIA suggereert, en in kolom 2 de naam waarin deze gewijzigd dient te worden.

In de huidige situatie levert NIA een array ('lijst') van resultaten, met een x aantal suggesties waaraan bij ieder van die suggesties een waarschijnlijkheidspercentage gekoppeld is. Zodra deze lijst van resultaten bij het tussenstation zou arriveren, kan deze vergeleken worden met de eerste kolom van de verwijslijst. Als hierbij een match wordt gevonden tussen één of meerdere taxa van de uitkomstenarray van NIA en de taxa in de 1e kolom van de verwijslijst, dan dienen die taxa in de uitkomsten array van NIA vervangen te worden door het bijbehorende taxon in kolom 2 van de verwijslijst.

Vervolgens dient de array gecontroleerd te worden op eventuele dubbelingen (dit kan bijvoorbeeld ontstaan wanneer in de rij suggesties een soort en een ondersoort van die soort staan, en de ondersoort door de verwijslijst gewijzigd wordt in de soort). Bij dubbele vermeldingen kunnen deze samengevoegd worden. Volgens mij tellen de percentages uit NIA altijd samen op tot maximaal 100%, dus bij dubbelingen kunnen simpelweg de percentages van de twee taxa bij elkaar worden opgeteld.

Toevoegingen/wijzigingen voor deze verwijslijst zouden aangevraagd moeten kunnen worden via een zelfde soort topic als het 'ontbrekende soorten-topic'. In dit geval is het echter waarschijnlijk beter om dit topic op het adminforum te plaatsen. Voorstellen in dit topic dienen beargumenteerd te worden, en zouden vervolgens door iemand van de waarneming.nl staf beoordeeld moeten worden. Hierna worden ze al dan niet toegevoegd aan de verwijslijst.

Waarom: Ieder taxon waarbij groene vinkjes bij fotowaarnemingen is gezet wordt (vanaf een minimum aantal goedgekeurde waarnemingen) opgenomen in NIA. Opnemen in NIA betekent dat zo'n taxon ook terug kan komen als door NIA gesuggereerde 'kandidaat' bij het invoeren van een foto. Dit is echter lang niet in alle gevallen wenselijk. Dit kan frustratie opleveren, zowel bij de gebruiker/waarnemer als bij de validator. Hieronder enkele voorbeelden van situaties waarbij zo'n verwijslijst een uitkomst zou kunnen zijn. Deze voorbeelden zijn vooral toegespitst op de soortgroep planten, maar bij de andere soortgroepen zijn ongetwijfeld vele andere voorbeelden van toepassingen te noemen.

Voorbeeld 1: Taraxacum
Taraxacum ('de paardenbloemen') is een uiterst lastig en complex geslacht. Zonder er verder al te ver op in te gaan: het is zodanig lastig dat een zeer groot deel van de waarnemingen onder het taxon Taraxacum officinale s.l. wordt ondergebracht. Bij goed gedocumenteerde waarnemingen zijn de validatoren eventueel in staat om tot sectie te valideren, maar tot op (micro)soort kunnen valideren komt zelden of niet voor.

Echter: er zijn in Nederland buitenom de validatoren experts die zich gespecialiseerd hebben in deze soortgroep, en zodoende ook tot op (micro)soort niveau de determinatie kunnen bevestigen. Een waarneming die bevestigd is door zo'n expert, en waarbij dat vermeld is in de beschrijving, is feitelijk net zo waardevol als iedere andere waarneming die bevestigd is door een 'gewone' validator.

De validator staat hier voor een dilemma. Aan de ene kant zou de waarneming hier bevestigd moeten worden met een blauwe vink (op basis van beschrijving), maar aan de andere kant is het ook duidelijk dat de blauwe vink zo min mogelijk moet worden toegepast. Zoals ik al eerder aangaf, zo'n expertoordeel is net zo goed als dat van een validator, dus 'voelt' een groene vink meer op zijn plaats. Bovendien: dit maakt de data beter beschikbaar voor externe instanties (wat in deze gevallen waardevol is, want de data over dit soort taxa is bijzonder schaars). Kortom: groene vink is gewenst.

De groene vink heeft echter nog een groot nadeel, en dat is dat wanneer genoeg groene vinkjes bij een taxon gezet worden, NIA dit taxon kan gaan suggereren. Dit moet koste wat kost worden voorkomen, want dit levert vanzelfsprekend bakken werk op. Het is niet te verwachten/wensen dat NIA dit soort taxa gaat 'herkennen', dat moge duidelijk zijn. Hier komt nog bij dat wanneer zo'n taxon niet de eerste suggestie van NIA wordt, maar bijvoorbeeld de tweede suggestie met 20%. Dit percentage wordt dan opgeslokt wordt van Taraxacum officinale s.l. (gaat naar 80% ipv 100%), wat automatische validatie onder dat laatste taxon in de weg kan gaan zitten.

Met een verwijslijst kan gewoon ieder ander Taraxacum-taxon doorverwezen worden naar Taraxacum officinale s.l., en is er niets aan de hand, en kunnen groene vinkjes zonder zorgen worden gezet waar dit op basis van beschrijving en/of uitgebreide documentatie van kenmerken gewenst is. De ervaren waarnemer die wel tot sectie of (micro)soort kan/wil determineren, laat zich hierbij echt niet tegenhouden doordat NIA niet meegaat met de determinatie...

Voorbeeld 2: Eikvaren
Op basis van overzichtsfoto's kunnen Eikvarens (tenminste voorlopig) niet worden beoordeeld tot soortniveau. Dit kan alleen op basis van microscopisch onderzoek, en de waarneming kan dan ook alleen worden gevalideerd wanneer microscopische foto's zijn toegevoegd aan de waarneming (of bij afdoende beschrijving). Hierbij gaat het met name om het onderscheid tussen Brede eikvaren, Gewone eikvaren en hun kruising.

Overzichtsfoto's worden dus op ofwel 'Gewone eikvaren + Brede eikvaren', ofwel op 'Eikvaren spec.' gezet. Echter: bij de microscopisch onderzochte waarnemingen zijn vaak ook overzichtsfoto's toegevoegd. Die overzichtsfoto's bij zo'n waarneming kunnen dus óók een groene vink krijgen. Zodoende gaan die ook in NIA, en kan ook een overzichtsfoto de suggestie 'Gewone eikvaren' krijgen van de beeldherkenning. Dit is ongewenst om de eerder genoemde redenen.

Oplossing zou zijn om alle Eikvaren-taxa met de verwijslijst door te verwijzen naar 'Gewone eikvaren + Brede eikvaren' (of 'Eikvaren spec.'). Diegenen die de plant microscopisch onderzocht hebben gaan toch niet af op wat de beeldherkenning suggereert, en diegenen die geen idee hebben wat voor plant ze op de foto hebben gezet, krijgen juist de suggestie van NIA waaronder ook gevalideerd wordt. Ook hier zou het weer een toename in de automatische validatie-mogelijkheden betekenen, wat mooi meegenomen is.

Voorbeeld 3: Oude synoniemen
In het verleden is het meermaals voorgekomen dat de geldende naam van een bepaald taxon gewijzigd werd, en de oude naam dus synoniem werd, maar NIA de oude naam (het synoniem) bleef suggereren. Het suggereren van synoniemen is uiteraard ongewenst. Totdat de nieuwe versie van NIA er is, kan dit heel eenvoudig tijdelijk opgelost worden door de oude naam in de verwijslijst op te nemen, en door te laten verwijzen naar de nieuwe naam. Dit kan dan direct, zonder tussenkomst van de externe partij die NIA ontwikkelt.

Voorbeeld 4: Bosboterbloem s.s. en Gewoon speenkruid
Bij iedere versie van NIA duikt wel een 'dumptaxon' op. Eerlijk gezegd vermoed ik dat dit in zekere mate niet te vermijden zal zijn, omdat de afstelling van enkele parameters zeer nauw luistert. Het afstellen hiervan is erg lastig, zeker met een constant uitbreidende/wijzigende database. Voorbeelden bij Planten zijn Gewoon speenkruid in de huidige versie, en Bosboterbloem s.s. bij de vorige versie.

Bij Gewoon speenkruid is dit minder aan de orde, maar de ruime meerderheid van de suggesties Bosboterbloem s.s. van de vorige versie van NIA betrof helemaal geen Bosboterbloem, maar een willekeurige andere plant. Met een verwijslijst zou hier heel snel op ingespeeld kunnen worden (melding via forum door plantenadmin -> controle argumentatie door staf Waarneming.nl -> in verwijslijst opnemen (laten 'verwijderen' uit de array, of verwijzen naar 'Plant onbekend') -> aanpassing suggestie NIA treedt onmiddellijk in werking). Dit biedt direct een oplossing, wat zeer waardevol kan zijn, zeker wanneer door de ontwikkelaars van NIA niet snel een oplossing kan worden gevonden, of de oplossing langere tijd op zich laat wachten om andere redenen.



De eerste twee voorbeelden hebben betrekking op permanente oplossingen. Bij de laatste twee voorbeelden gaat het om een snelle, tijdelijke toepassing. Voor dit soort tijdelijke, snelle oplossingen, kan bij een nieuwe versie van NIA worden gekeken of zo'n 'quickfix' via de verwijslijst weer opgeheven kan worden.
Vriendelijke groeten,
Martijn

Martijn van Sluijs

#3
3. Database controle
Wat: Door het opzetten van een tussenstation is het voor Waarneming.nl mogelijk om constant realtime te monitoren a) hoeveel aanvragen voor NIA binnenkomen, en b) hoe snel de throughput van NIA is op ieder moment. Zo is ten allen tijde te bepalen wat de 'stress' op NIA is. Op de momenten dat deze stress laag is (ik vermoed vooral 's nachts bijvoorbeeld, maar dit zal ook gebonden zijn aan dag v/d week, en maand v/h jaar), heeft NIA 'vrije tijd'.

Daarnaast: NIA is in mijn ervaring goed 'gegeneraliseerd'. Dat wil zeggen: als je NIA een foto aanreikt die ook al gebruikt is als trainingsdata, dan is het niet altijd gezegd dat NIA ook het taxon suggereert dat eraan gekoppeld werd tijdens het trainen. Dat kan bijvoorbeeld om dat NIA voldoende andere voorbeelden heeft gezien waardoor het waarschijnlijker lijkt dat deze foto bij een ander taxon thuishoort. Dit is een goede eigenschap van een beeldherkenningsmodel, en kan worden benut.

De eerder genoemde vrije tijd kan wat mij betreft nuttig gebruikt worden. Ik stel voor om NIA in deze vrije tijd alle waarnemingen met een groene vink langs te lopen, van oud naar nieuw. Van iedere waarneming waarbij NIA een andere suggestie doet dan het taxon waaronder de soort gevalideerd is, wordt het ID/nummer van de waarneming opgeslagen, met daarbij toegevoegde informatie: a) de eerste suggestie van NIA, en b) het percentage waarmee NIA deze suggestie doet. Andere informatie (gevalideerde taxonnaam, foto's, locatie etc.) is natuurlijk gewoon beschikbaar bij de waarneming, dus kan via het ID worden opgeroepen uit de waarneming.

Vervolgens zie ik hierbij mogelijkheden voor een nieuwe module in het validatiescherm: 'NIA check'. Dit scherm zou er identiek uit kunnen zien als het 'Waarnemingencontrole van vandaag ingevoerde foto's'-scherm, en hier worden de waarnemingen getoond uit de lijst die ik in de vorige alinea beschreef. Toegevoegd worden: a) NIA suggestie, b) percentage suggestie en c) de knop 'negeer'. De knop 'negeer' verwijdert het waarnemingsID uit de eerder genoemde lijst, en het veranderen van de validatiestatus en/of soortnaam doet dit ook.

In dit scherm zou op vier zaken gefilterd moeten kunnen worden: soortgroep, soortnaam huidig, soortnaam NIA en percentage. Waarom kunnen filteren op soortgroep hierbij nodig is lijkt mij duidelijk. Het kunnen filteren op soortnaam huidig en soortnaam NIA geeft de mogelijkheid om bij structurele fouten in de output van NIA in één keer al die fouten op 'negeer' te kunnen zetten. Het filteren op percentage zie ik voor mij als tien 10% groepen (100-90%, 90-80%, 80-70% etc.). Hiermee kan eenvoudiger een voorselectie gemaakt worden op basis van NIA percentage (de groep 10-0% zal minder interessant zijn dan 90-80%).

Zoals ik al eerder aangaf: het drukken op de knop 'negeer' haalt een waarneming van de lijst af (hierbij merkt de waarnemer helemaal niets van het hele proces), en bij een waarneming die gewijzigd wordt (andere soortnaam/ andere validatie (bijv. groene naar blauwe vink)), gaat deze ook van de lijst. Het toevoegen aan de lijst zie ik voor mij als éénmaal dagelijks óf constant zodra nieuwe nummers binnen zijn.

Op het moment dat een nieuwe versie van NIA zich aankondigt, begint het proces van voren af aan, met alle waarnemingen weer in de 'running', en de lijst begint op nul.

Dit extra validatiescherm is er uiteraard alleen voor de 'liefhebbers', en kan voor validatoren die hier niet in geïnteresseerd zijn simpelweg genegeerd worden. Het is een uitbreiding van de tools waarover een validator kan beschikken, maar niet als extra werk te beschouwen. Ik vermoed echter dat hiermee een flinke slag gemaakt kan worden m.b.t. tot het filteren van validatiefoutjes, met name uit de beginjaren van waarneming.nl.

Voordat hier commentaar op komt; ja: een deel van de suggesties die NIA gaat doen in deze lijst zal onzin zijn, maar al is NIA maar in 5% van de gevallen juist ipv de validator, is het enorme winst.

Waarom
: Er zijn twee belangrijke redenen om de vrije tijd van NIA op deze manier te vullen:

1. Met dit eerste punt begeef ik mij wellicht wat op glad ijs, maar iedere vrijwel validator maakt ooit eens een foutje. Iedereen is menselijk. Als er op 1000 foto's 4 foutief gevalideerde foto's zijn, en het is op deze manier wellicht mogelijk om er daarvan 2 uit te filteren. Dan zijn we voor de input van NIA net zo goed bezig als wanneer het aantal foto's verdubbeld wordt met alleen maar juiste foto's (om .2% foutmarge te behalen). Dit betekent uiteindelijk een beter toekomstig NIA model, wat vervolgens weer terug kan koppelen in een beter functioneren van dit hele punt 3, maar ook een betere gebruikservaring van ObsID bijvoorbeeld (plus betere werking autovalidatie, minder invoerfouten, etc.).
2. Het geeft meer inzicht over wat in de huidige versie van NIA vaak fout gaat. Met de data hieruit kunnen de percentages en het al dan niet inschakelen van automatische validatie nauwkeuriger worden vastgesteld per taxon. Bovendien kunnen hiermee de verwijslijsten uit punt 2 beter up-to-date worden gehouden.
Vriendelijke groeten,
Martijn

RutgerB

Dat er 'ingegrepen' kan worden bij bepaalde problematische taxa vind ik een goed idee.  Dat geeft ook wat lucht bij het goedkeuren van foto's. Nu heb ik het idee dat ik daar heel erg mee moet oppassen omdat ik dan later hele series waarnemingen moet corrigeren.  Een groot deel van de paardenbloemsoorten zal ik om deze reden nu NOOIT van een groen vinkje voorzien. Hetzelfde geldt overigens voor bloeiende wilgen, bramen in haar algemeenheid.  Indien goed gedocumenteerd (door een kenner) geef ik die een blauwe vink. Helaas was ik vroeger minder voorzichtig.

Ik vind het op zich een prima idee als NIA ook de reeds beoordeelde foto's tegen het licht houdt en helpt de laatste foutjes eruit te halen. Daarmee begeef je je echt niet op glad ijs. Hoe dat het beste kan en of het kan is echter de vraag. Het is voor te stellen dat daar waar validatoren de waarneming extra tegen het licht hielden (door een commentaar te plaatsen) er een gelijkende soort zal zijn die is uitgesloten. Zeker in de tijd dat NIA al gebruikt is, zullen de eerdere suggesties (meer dan 90% iets anders) dan weer komen bovendrijven.  Ik vermoed dat dit er zo veel zijn dat je daardoor de weinige echte foute beoordelingen (die er zeker zijn) niet makkelijk gaat vinden. Ik ben zelf meer voorstander van een ouderwetse review door gewoon af en toe door een foto-overzicht van een soort te scrollen.

hiskodevries

Martijn, iets te veel aannames.
Alle requests lopen al via de waarneming.nl servers. zowel de aanroep als de retour json.
Zo weten we exact hoeveel aanroepen per uur succesvol, mislukt zijn door welk systeem etc
en inderdaad kunnen we sinds heel kort per NIA versie soorten mappen.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Rutger, over het uitsluiten van waarnemingen waarbij commentaar is geplaatst: dat vind ik een lastige, maar ik begrijp het punt helemaal. Ik vermoed inderdaad ook dat bij die waarnemingen de foutmarge lager zal liggen. Ik heb er even verder over na zitten denken, en ik bedacht wel een paar voorbeelden waar het echter niet sluitend betekent dat de waarneming ook 'juist' is door het uitsluiten van andere soorten (bijv. groen vinkje bij onzekere waarneming --> automatisch commentaar, of wat te doen als waarnemer een omschrijving in de reacties plaatst ipv in de opmerkingen (wat opvallend vaak gebeurt))? Commentaar wordt niet altijd veroorzaakt doordat andere gelijkende soorten zijn uitgesloten, maar inderdaad wel vaak.

In mijn suggestie stelde ik al voor om enkele filtermogelijkheden bij de resultaten van deze functie te zetten. Wellicht is een extra filter met (wel/geen commentaar/beiden) een mogelijkheid. Na verloop van tijd wordt dan vanzelf duidelijk of waarnemingen met commentaar echt een veel lagere 'foutmarge' hebben (monitoren!). Zo ja, dan kunnen die naar verloop van tijd bij volgende versies van NIA vooraf al uitgesloten worden van deze hierzieningsfunctionaliteit.

Wat ook handig zou zijn, en ik nog niet eerder aan had gedacht: het bij een nieuwe versie van NIA ook laten herzien van de grijze vinkjes (dus niet alleen de groene, zoals in mijn oorspronkelijke suggestie). Het aantal waarnemingen waarbij NIA het in de vorige versie wel 'wist', en bij de nieuwe versie niet (of met zekerheid iets anders voorstelt), zal vrij laag liggen, maar dat lage aantal is wel zeer interessant om eens door een mens naar te laten kijken.

Het zou overigens een extra gereedschap zijn voor de 'liefhebber', dat wil ik nog wel even extra benadrukken. Als niemand binnen een soortgroep zich hierin interesseert (of tijd voor heeft), hoeft er ook niets mee te gebeuren. Het is voor de ene soortgroep ook relevanter dan voor de andere, daar ben ik mij van bewust.

Hisko: dat is uitstekend, dan vervalt mijn 'ondersteunende' punt 1, en vervalt ook deels het tweede voordeel bij punt 3. Echter: de kern van mijn twee suggesties (2&3) blijft hetzelfde.
Vriendelijke groeten,
Martijn

hiskodevries

ook qua valideren wordt al e.e.a. gebruikt.
en Nee we gaan niet de handmatig geplaatste groene vinkjes laten beoordelen door NIA. Dat kunnen de validatoren zelf doen.
wat nog wel een keer gemaakt moet worden is een evaluatie van alle met een 'A' gevalideerde waarnemingen met een foto. Dat gebeurt ook geregeld voor de gewone 'A' gevalideerde waarnemingen (zeg 1 keer in 3-4 jaar)
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Citaat van: hiskodevries op april 12, 2021, 11:05:58 AM
en Nee we gaan niet de handmatig geplaatste groene vinkjes laten beoordelen door NIA. Dat kunnen de validatoren zelf doen.

Dat is ook niet wat er staat. Dit zou een shortlist opleveren van mogelijke validatiefoutjes, NIA zou hierbij helemaal niets 'beoordelen'. Daarbij:

Citaat van: Martijn van Sluijs op april 12, 2021, 10:19:19 AM
Het zou overigens een extra gereedschap zijn voor de 'liefhebber', dat wil ik nog wel even extra benadrukken. Als niemand binnen een soortgroep zich hierin interesseert (of tijd voor heeft), hoeft er ook niets mee te gebeuren. Het is voor de ene soortgroep ook relevanter dan voor de andere, daar ben ik mij van bewust.

Misschien hoort dit wel in een ander topic, maargoed. Wat betreft dat herevalueren van gewone 'A' waarnemingen eens in de 3-4 jaar: wordt daar ook gekeken of A waarnemingen terug naar onbeoordeeld moeten, of alleen naar onbeoordeeld die naar A kunnen? Onlangs kwam ik erachter dat wanneer de bronwaarnemingen (goedgekeurd met foto) van een A waarneming herzien worden (naar andere soort verplaatst bijvoorbeeld), die A waarneming niet automatisch aangepast wordt terug naar 'onbeoordeeld', wat natuurlijk wel zou moeten wanneer de referentiewaarnemingen 'verdwijnen'.
Vriendelijke groeten,
Martijn

hiskodevries

CiteerWat betreft dat herevalueren van gewone 'A' waarnemingen eens in de 3-4 jaar: wordt daar ook gekeken of A waarnemingen terug naar onbeoordeeld moeten, of alleen naar onbeoordeeld die naar A kunnen
beide
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Citaat van: hiskodevries op april 12, 2021, 11:21:34 AM
CiteerWat betreft dat herevalueren van gewone 'A' waarnemingen eens in de 3-4 jaar: wordt daar ook gekeken of A waarnemingen terug naar onbeoordeeld moeten, of alleen naar onbeoordeeld die naar A kunnen
beide
Dat is mooi, dan zullen die A waarnemingen over 3-4 jaar hun vinkje verliezen  :blink:.
Vriendelijke groeten,
Martijn

hiskodevries

dat is maar de vraag. achter A waarnemingen kunnen >1 gevalideerde waarneming hangen . zie b.v. https://old.waarneming.nl/waarneming/references/210559412
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

Dat is in deze gevallen niet aan de orde. Er zijn geen referentiewaarnemingen meer binnen de referentieradius, en de kans dat deze (planten)soort zich hier de komende jaren gaat vestigen (voor referentiewaarnemingen met terugwerkende kracht) is ook niet erg groot. Maar: prima als dit dus op termijn automatisch wordt opgepakt.
Vriendelijke groeten,
Martijn