Kwaliteitscontrole op Waarneming.nl

Gestart door Dylan, oktober 02, 2007, 14:36:17 PM

Vorige topic - Volgende topic

Dylan

Als je een waarneming plaatst op Waarneming.nl, dan bestaat de kans dat je wordt gevraagd om aanvullende informatie voor een sluitende determinatie. Dit kan vooral gebeuren als je een zeldzame soort meldt (hierop wordt je ook gewezen in het invoerscherm), maar ook een algemeen voorkomende soort op een ongebruikelijke locatie of in een afwijkende periode kan reden zijn om navraag te doen.

Sommige gebruikers ervaren dit als vervelend. "Waarom geloven jullie mij niet?" is dan vaak de reactie, en vervolgens is er sprake van een moeizame discussie. In dit artikel geven we tekst en uitleg over het belang van kwaliteitscontrole, en hoe je hier als gebruiker van Waarneming.nl mee om kunt gaan.


Waarom kwaliteitscontrole?

Waarneming.nl is een enorme verzameling gegevens, die nu en in de toekomst inzicht biedt in de biodiversiteit van Nederland en omstreken. In veel gevallen is Waarneming.nl het digitale equivalent van het aloude notitieboekje. Het is voor allerlei natuuronderzoeken een enorme stap vooruit dat er zoveel gegevens worden verzameld en bewaard.

Voor een correct beeld is het van belang dat gegevens ook gecontroleerd worden. Natuurlijk is het ondoenlijk om ieder individuele waarneming te controleren. Daarom filtert Waarneming.nl door middel van kennisregels alle waarnemingen, en brengt deze onder de aandacht van experts ("admins"). Hiervoor worden onder andere methodes uit de statistiek en bekende gegevens over het voorkomen van soorten in Nederland gebruikt.

De admins controleren vervolgens de determinatie, en kunnen om extra informatie vragen, voorstellen om de waarneming te wijzigen of op "determinatie onzeker" te zetten, et cetera. Door gebruik te maken van een netwerk van admins kunnen we snel en efficiënt komen tot een acceptabele kwaliteit van de database. Waarneming.nl is continu op zoek naar methoden om de kwaliteit nog verder te verbeteren, maar wil wel het laagdrempelige karakter van de site behouden.

Waarom geloven jullie mij niet?

Als een admin contact opneemt met een waarnemer, dan zien we helaas vaak dat er negatief gereageerd wordt. "Waarom geloven jullie mij niet?" is een terugkerende vraag. Deze vraag is eigenlijk niet eens aan de orde. Het is niet zo dat we iemand niet geloven, of dat iemands expertise in twijfel wordt getrokken. Er wordt gevraagd om meer informatie, je wordt verzocht je kennis te delen. Hoe ben je tot deze determinatie gekomen? Door de interactie met de expert kun je wellicht je eigen kennis vergroten. En soms is het zo dat de admin iets bijleert (het toegeven van fouten hoort zeker bij zijn takenpakket, alsmede het hebben van een olifantenhuid en doorzettingsvermogen).

Het is soms best vervelend als er aanvullende informatie wordt gevraagd. Misschien wordt je aan het twijfelen gebracht, of misschien realiseer je je, dat je onvoldoende bewijsmateriaal hebt verzameld (genoteerd, gefotografeerd, opgenomen). Dit komt alle natuurliefhebbers bekend voor. Uiteindelijk is het in het belang van de natuur om eerlijk te zijn naar je zelf en naar anderen. Je kunt zelf overtuigd zijn, maar de waarneming is dan onvoldoende gedocumenteerd. Daarnaast is er een bekend fenomeen genaamd "wishful thinking". Dit betekent, dat de mens soms zichzelf voor de gek houdt, en ziet wat hij graag wil zien. Juist om te voorkomen dat dit leidt tot een nieuwe soort voor Nederland of extreme zeldzaamheden, is het van belang om een (opmerkelijke) waarneming goed en objectief te documenteren. Tenslotte is het zo dat bij verschillende soortgroepen het heel erg moeilijk is om een soort te determineren zonder microscopisch of ander onderzoek. Met andere woorden, alleen in een gespecialiseerde onderzoeksomgeving kan een determinatie tot op soortniveau worden "afgemaakt" -- voor een veldwaarneming moet dan vaak genoegen worden genomen met een verzamelsoort.

Hoe documenteer ik mijn waarneming?

In veel gevallen biedt een digitale foto of een geluidsopname duidelijkheid. Ontbreken die, of geven die geen uitsluitsel, dan zijn andere kenmerken van belang. Zeker bij extreme zeldzaamheden is het van belang om goed te noteren (of als dat niet kan, te onthouden) wat je waarneemt. Niet voor niets wordt in de verschillende atlassen vaak de naam van de eerste ontdekker van een soort voor Nederland genoemd. Die waarneming moet dan wel gedocumenteerd zijn. Eeuwige roem komt je niet zomaar aanwaaien! Ook voor minder zeldzame soorten kan een ongebruikelijke waarneming een (heel) ander beeld over het voorkomen van de soort in Nederland geven.

De admins hebben vaker met dit bijltje gehakt, en zullen je ook zeker helpen bij het komen tot de juiste conclusie. Echter, het is ook hun taak om alternatieven te benoemen, die ook passen bij de waargenomen kenmerken, maar tot een andere determinatie zouden kunnen leiden.

Wat als de determinatie niet sluitend blijkt?

Constateer je in overleg met de admin dat de determinatie niet sluitend is, dan werk je de waarneming bij. Je zet bijvoorbeeld de determinatie op onzeker, of je wijzigt de soort naar een verzamelsoort. Vaak zal de admin een suggestie doen.

Wat als ik het niet eens ben met de admin?

Dat kan gebeuren. Je hoeft je waarneming ook niet aan te passen. De admin zal een markering op de waarneming plaatsen die aangeeft dat de waarneming niet meetelt voor de database van Waarneming.nl (code "NA", "Not Approved"). In jouw eigen, persoonlijke archief (en in je exports) staat de waarneming wel.

Als je vindt dat de admin een fout maakt, of als je een second opinion wilt, dan kun je altijd een e-mail sturen naar info@waarneming.nl.

Mag een admin zomaar mijn waarneming aanpassen?

Nee. Je waarneming is van jou, daar blijft Waarneming.nl van af. De admins kunnen alleen de "adminstatus" van een waarneming aanpassen (bijvoorbeeld "NA"). Er zijn een paar uitzonderingen:

1) Bewust misbruik van de site. Grappenmakers zijn van alle tijden, en mensen die bewust foute informatie invoeren worden geweerd, en hun waarnemingen gewist.

2) Niet reageren van de waarnemer op vragen van de admins. Als een admin je vraagt om meer informatie, en er volgt geen reactie, dan zal de waarneming na verloop van tijd door de admin (wegens onvoldoende documentatie) op "NA" worden gezet. Mocht het zo zijn, dat er wel een foto beschikbaar is, en die foto geeft uitsluitsel over de determinatie, maar de soort is onjuist, dan kan een admin de soort van de waarneming wijzigen. Er wordt altijd een opmerking toegevoegd, zodat de actie van de admin bekend is.

3)
Wanneer uit een bijgevoegde foto duidelijk blijkt dat het gaat om een andere soort  dan de gebruiker vermeldt, dan mag de waarneming, mét uitleg via de
commentaarfunctie, worden gewijzigd. Bijvoorbeeld: 'Op de foto staat een Witgat i.p.v.
Bosruiter, soort is gewijzigd door de admin'

4)Op verzoek van een gebruiker.

5)Als het de snelheid van valideren aanzienlijk vergroot als de wijziging gelijk tijdens het valideren wordt uitgevoerd en het de intentie van een waarneming niet wezenlijk wijzigt.



We hopen, dat deze toelichting een stukje extra duidelijkheid geeft. En nu? Lekker naar buiten, genieten van de natuur, zowel van de zeldzaamheden als van de doodgewone soorten.
Dylan Verheul
Mede-oprichter Waarneming.nl

hiskodevries

#1

We merken dat een deel van de waarnemers veel waarde hecht aan het ´groene vinkje´ bij hun waarneming ter bevestiging van de determinatie. Graag willen we jullie erop wijzen dat dit vinkje met name bedoeld is voor de validatie van de database. We kunnen  ons wel voorstellen dat je het leuk vindt om al je waarnemingen van een groen/grijs vinkje te laten voorzien maar dat streven is voor alsnog niet haalbaar.

Het uiteindelijke doel is om dat wel te bereiken door het gebruik van zoveel mogelijk geautomatiseerde processen.

Ben je niet zeker van je waarneming, voorzie die dan van een vraagteken. Wil je graag snel uitsluitsel, stel dan een vraag op het forum. Blijft het groene vinkje weken of maanden uit... geen zorgen. In de meeste gevallen betekent dit dat je wel goed zit met je determinatie. Indien niet, dan krijg je vaak snel genoeg een reactie van een van de admins.



Op welke waarnemingen wordt extra gelet:
1. uiteraard waarnemingen van zeldzame soorten
2. van een aantal soorten zijn fenologische grenzen vastgesteld, waarnemingen van soorten die daar buiten vallen.
3. foto`s
4. waarnemingen van soorten buiten het 'normale'  verspreidingsgebied (b.v. matkop/glanskop)
5. waarnemingen die via het forum onder de aandacht worden gebracht. ( de topics 'onjuiste determinaties')
6. waarnemingen van soorten die alleen met hulpmiddelen zoals microscoop of chemicalien zijn te bepalen (paddo`s , (korst) mossen)

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

#2
Wat betekenen de iconen
(O) niet onderzocht. Dit is de status waarmee de waarneming binnenkomt. Als de waarneming niet is voorzien van bewijsmateriaal, de waarneming niet automatisch wordt gevalideerd, de waarneming geen zeldzame soort betreft en de waarneming binnen het normale verspreidingsgebied valt zal de waarneming deze status houden.

(J) Waarneming naar het oordeel van admin overtuigend gedocumenteerd met foto of geluid, óf waarneming goedgekeurd  door de verantwoordelijke zeldzaamhedencommissie. Of determinatie bevestigd door een instantie op basis van verzameld materiaal (voeg scan toe van materiaal en naam determinator).

(P) Waarneming  op basis van achtergrondinformatie bekend bij de admin (verspreidingsgegevens, ervaring van de waarnemer, eerdere waarnemingen, zelf gezien door admin) of toegevoegd aan de waarneming (bijv. goede beschrijving) zeer waarschijnlijk deze soort.


(A)Gevalideerd op basis van kennisregels. Dit betekend dat de waarneming goedgekeurd is a.h.v. een bestand met handmatig goedgekeurde waarnemingen.
OF : een waarneming met foto('s) die door de herkenningssoftware zijn gevalideerd.

(I) In behandeling bij het admin team. Deze waarnemingen zijn alleen zichtbaar in je eigen overzichten

(N) Waarneming voldoet naar het oordeel van admin niet aan de eisen voor een zeer waarschijnlijke of zekere waarneming of de waarneming is afgekeurd door de verantwoordelijke zeldzaamhedencommissie. Foto, geluid of beschrijving betreft een andere soort en waarnemer weigert soort aan te passen of waarnemer regaeert niet op commentaar.
Deze waarnemingen zijn alleen zichtbaar in je eigen overzichten

(U)  Niet te beoordelen op basis van foto, geluid of beschrijving. Of als eindoordeel na een discussie waarbij groen of blauw vinkje niet van toepassing zijn. Of waarneming te behandelen / in behandeling bij verantwoordelijke zeldzaamhedencommissie of om onzekere waarnemingen weg te werken.


Voor automatische validatie in Waarneming.nl worden alleen waarnemingen gebruikt

Controle op basis van kennisregels gebeurt door (geautomatiseerde) processen die eerst kijken welke handmatig goedgekeurde waarnemingen aanwezig zijn en dan kijken of vlakbij die waarnemingen nog niet gekeurde waarnemingen bestaan binnen bepaalde datumgrenzen

Waarnemingen met de status , , en worden gebruikt in alle schermen waar waarnemingen geraadpleegd kunnen worden.
Na release nieuwe versie van Waarneming.nl krijg je ook te maken met nieuwe ikonen
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

#3
Op info@ komen geregeld vragen binnen zoals 'mijn foto staat al ... dagen op de site maar is nog steeds niet goedgekeurd'
'waarom is mijn waarneming nog niet goedgekeurd'
'gisteren hebben we met 4 mensen een Zeearend gezien van drie is deze wel goedgekeurd en die van mij niet'

Het beoordelen gebeurt door vrijwilligers die dit geheel belangeloos in hun vrije tijd doen (applaus !)  via een aantal speciale schermen waar op volgorde van invoerdatum de te beoordelen waarnemingen getoond worden. Een waarneming verdwijnt pas uit die schermen als deze door een admin van status is veranderd.

Elke dag komen tussen de 1000-5.000 foto`s binnen.

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

#4
De term 'automatische validatie' / 'goedgekeurd op basis van kennisregels' roept nog wel eens vragen op.


De waarnemingen met een vinkje welke vergezeld zijn van een foto of geluid dienen als basis van de automatische validatie.

De automatische validatie wordt door de server uitgevoerd op basis van instellingen die door admins van de betreffende soortgroep zijn bepaald.
Als jij een waarneming invoert, voor een soort waarvoor de automatische validatie aan staat, wordt direct gekeken of in de 'omgeving'  binnen bepaalde datum grenzen 1 of meer groene vink waarnemingen aanwezig zijn.

De parameters die per soort kunnen worden ingesteld:
- Straal (het aantal meters rond het punt van jouw waarnemingen waarbinnen gezocht wordt)
- Aantal waarnemingen (meestal 1, bij moeilijke soorten 2) die goedgekeurd moeten zijn
- Aantal dagen. Het aantal dagen dat in de toekomst en verleden word gekeken om goedgekeurde waarnemingen te vinden.
- Maximaal aantal waarnemingen met aantal boven dit getal worden niet automatisch gevalideerd
- Of het kleed van de referentie waarnemingen gelijk moet zijn aan die van de te valideren waarneming. (in dat geval doet kleed 'onbekend' niet mee)

Afwijkend geldt voor overvliegende vogels : Aantal dagen=0 . Dit betekend dus dat die waarnemingen alleen automatisch gevalideerd worden als voor dezelfde dag binnen de radius een groene vink waarneming aanwezig is.

Afwijkend voor een aantal fenologische soorten geldt dat die alleen binnen bepaalde periodes automatisch worden gevalideerd.

Wil je weten wat de validatie parameters zijn voor een soort : Zoek een waarneming van de soort en open het detailscherm van de waarneming en kies voor 'Validatie parameters'
Bijvoorbeeld Fazant http://waarneming.nl/waarneming/references/105714760 vs http://waarneming.nl/waarneming/references/105699724

Bij een juist gebruik worden flink wat waarnemingen door de server al gevalideerd.
Overzicht 2014 voor de soortgroep Dagvlinders:

Totaal Handmatig   43.710
Totaal Automatisch   221.086
---------------------------------
Totaal Gevalideerd    264.796
Totaal Ongevalideerd    22.592

Waar zitten de gaten in dit systeem:

Gat 1 : Als iemand alle foto`s bij een waarneming verwijderd zodat het groene vinkje vervalt worden niet  alle waarnemingen aangepast die op basis van deze waarneming automatisch zijn gevalideerd.

Gat 2: Als een waarneming een groene vink krijgt worden niet automatisch al eerder ingevoerde waarnemingen gevalideerd.

Hoe wordt dat opgelost:
Gat 2:  1 keer per week wordt gekeken welke waarnemingen die de afgelopen maand zijn ingevoerd alsnog voor automatische validatie in aanmerking komen.
Gat 1 & gat 2:
1 keer per jaar (meestal net na de jaarwisseling) worden alle waarnemingen nog een keer 'langsgelopen' en wordt de validatie eventueel aangepast.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

#5
Automatische validatie door de server.
Sinds eind juni 2018 wordt de herkenningssoftware van Naturalis bij steeds meer soorten ingezet om een waarneming met 1 of meer foto`s gelijk te valideren.
Als jouw waarneming dit 'overkomt' zie je een   bij je waarneming verschijnen. Tot voor kort zag je dit alleen bij waarnemingen zonder foto`s.

De techniek achter deze procedure is dezelfde als de obsidentify apps, maar dan streng afgesteld.

Voorwaarde: Bij de soort moet aan staan dat deze manier van valideren gebruikt mag worden.

Als dat zo is kan de waarneming gelijk goedgekeurd worden als :

1. De herkennings software een minimaal ingesteld waarschijnlijkheidspercentage terug geeft (90% of hoger).
2. Als voor de betreffende soort ook de 'gewone' automatische validatie aan staat en het GEEN nieuwe lokatie betreft
Krijgt je waarneming deze validatie status.

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0