Eerste batch waarnemingen daadwerkelijk geladen

Gestart door hiskodevries, oktober 05, 2010, 08:08:07 AM

Vorige topic - Volgende topic

hiskodevries

Dit betrof een set van 107.000 records van habitatrichtlijnsoorten
Van de 107.000 records zijn 22 records niet door de automatische validatie heen gekomen.
Hierbij moet wel aangetekend worden dat vrijwel alle 107.000 records al door een waarneming.nl validator waren bekeken.
Deze zullen in Waarneming.nl opnieuw gereviewd worden.
foutpercentage 0.2%
Dit is geen slecht resultaat.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Margreet Kwh

met vriendelijke groet, Margreet Kouwenhoven

Landschapsbeheer

Een indrukwekkende hoeveelheid gegevens. Voor de lol toch eens mijn eigen waarnemingen bekeken in het NDFF en dan zie ik dat toch niet alles goed gaat. Mijn waarnemingen staan er wel in maar het type waarneming is wel verbasterd. Type waarneming staat nu vaak op ' onbekend'  terwijl in wrn.nl iets anders staat. Voor het beleid is een beverburcht toch wel iets anders dan een bevervraatspoor. Ergens in het overzetten van de data kan het NDFF de gegevens van wrn.nl dus nog niet aan. Er is dus nog werk aan de winkel.


Jeroen Reinhold

victor

#3
Hoi jeroen,

Ik ben dus met Hisko aan deze klus begonnen!

Je opmerking snijdt zeker hout als het klopt. Maar ik ben er nog niet achter bij welke waarnemingen het nu fout gaat. Kun je me de waarneming van waarneming.nl even benoemen waar dit fout gaat? Dan heb ik een handvat bij het uitzoekwerk. 
groet, Victor

hiskodevries

Vandaag een verwerkingsverslag gekregen van 1,1 miljoen geladen waarnemingen
95% is gelijk goedgekeurd (of door wrn.nl admins of door de ndff automatische validatie)
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

rapunzel

Citaat van: hiskodevries op november 17, 2010, 10:51:46 AM
gisteren 600.000 waarnemingen verwerkt

Kunnen we ergens zien hoe dat over de soortgroepen verdeeld is ?

Koos
Koos Ballintijn

hiskodevries

als je een abonnement op de ndff hebt , maar waarom zou je dat willen weten?
de data wordt geladen op volgorde van 'belang' binnen de ndff: flora en faunawet soorten,habitatrichtlijnsoorten etc eerst en dan de rest.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

DuDe

Citaat van: hiskodevries op oktober 05, 2010, 08:08:07 AM
Dit betrof een set van 107.000 records van habitatrichtlijnsoorten
Van de 107.000 records zijn 22 records niet door de automatische validatie heen gekomen.
Hierbij moet wel aangetekend worden dat vrijwel alle 107.000 records al door een waarneming.nl validator waren bekeken.
Deze zullen in Waarneming.nl opnieuw gereviewd worden.
foutpercentage 0.2%
Dit is geen slecht resultaat.
Wellicht begrijp ik het verhaal verkeerd, maar 22 van 107.000 is toch 0.02 %?
Vriendelijke groet van Rineke Dedding en/of Axel Duivenvoorden

(Indien niet anders gemeld betreft het Axel...)

rapunzel

Citaat van: hiskodevries op november 17, 2010, 15:53:06 PM
als je een abonnement op de ndff hebt , maar waarom zou je dat willen weten?
de data wordt geladen op volgorde van 'belang' binnen de ndff: flora en faunawet soorten,habitatrichtlijnsoorten etc eerst en dan de rest.

Ik zou graag willen weten hoeveel planten- en vogelwaarnemingen inmiddels zijn verwerkt.
Koos
Koos Ballintijn

victor


We gaan op dit moment uit van een planning waarbij we rond de jaarwisseling bijna 10 miljoen records hebben geladen, verwerking (automatische validatie volgt dan nog).
Er zijn op dit moment 3,2 miljoen records verwerkt, waarvan nog ongeveer 500.000 door de automatische validatie moeten gaan. Het aandeel dat al automatisch gevalideerd is is voor 90% "ok", 10% moet nog nader worden bekeken. Er zal zeker worden geprobeerd om dit aantal nog te valideren nog lager te krijgen, maar dat is iets voor de komende weken. Van die 3,2 M is dus nu al 2,5 als gevalideerde data beschikbaar in de NDFF.
Vogels (ruim 1.6 M) en planten (0.75 M) vormen zoals verwacht een groot aandeel in deze set.

victor

Een nieuwe update:
Tot vandaag zijn er in totaal 6,6 miljoen waarnemingen geladen. Met het doel om op 1 januari alles te hebben geladen liggen we iets achter op schema, maar we vorderen al wel flink. De resultaten tot nog toe:
   planten    919081 
   mossen    11218 
   korstmossen    9402
   paddestoelen    65564 
   vogels    4700337 
   zoogdieren    198643 
   reptielen    12878     
   amfibieen    22049 
   vissen    7887 
   dagvlinders    224120 
   macronachtvlinders    132214 
   micronachtvlinders    28543 
   libellen    137989 
   sprinkhanen/krekels    30094 
   ongewervelden    106583 
   zee-organismen    1635   
Van deze set moeten nog 1,2 miljoen waarnemingen door de automatische validatie.
Wanneer alles is geladen wordt aansluitend een serie updates geleverd door waarneming.nl van de dataset die is opgebouwd/gewijzigd sinds het laden is gestart.

RutgerB

Misschien niet het juiste topic, maar een aanzienlijk deel van de plantenwaarnemingen, namelijk die van Floron Twente, zitten al in de NDFF. Zitten die nu dubbel in de NDFF? Het is in ieder geval gemakkelijk automatisch goed te keuren dan, want de referentiewaarnemingen zijn dezelfde als die gekeurd moeten worden.

petraw

Beste Rutger,

Ik denk van wel. Tenminste voor mijn eigen waarnemingen kan ik dat controleren. Want de set die in waarneming.nl staat zie ik terug komen bij de waarnemingen in de NDFF, met als bron waarneming.nl (sourcefolder). Die van mij staan er dus dubbel in eerst via FLORON en onlangs via waarneming.nl. Datzelfde zal ook voor een groot deel van FLORON Twente gelden en die gaan mee in de automatische validatie van de NDFF. Ik heb er nl. nog geen van mijzelf gezien uit het waarneming.nl bestand die niet automatisch gevalideerd zijn binnen de NDFF.

Groet,

Petra
Groet, Petra

RutgerB

Petra, heb jij dan ook alle waarnemingen van jezelf onder 1 naam of ben je Petra van Waarneming.nl en daar los van; Petra van Floron ?

Men denkt; eerst alle waarnemingen op een hoop en dan zien we wel. Ik vraag me sterk af of die kluwen (met 2-3-4 dubbelen) straks nog wel valt te ontwarren.

hiskodevries

ik stel de vraag: wat maakt een dubbele waarneming uit ?
de soort komt voor op plekje x, soort komt nog een keer voor op plekje x , goh wat leuk
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Margreet Kwh

met vriendelijke groet, Margreet Kouwenhoven

hiskodevries

#17
wat is het verschil tussen een rotskruiper en pak hem beet hondsdraf bij twee waarnemingen op dezelfde dag op dezelfde plek
1 punt op een kaartje lijkt mij, of 1 gevuld kmhok
dat 'dubbelen' probleem heb ik nooit zo begrepen
dit zijn 15 rotskruiper wrn http://waarneming.nl/soort/maps/1576?from=2010-12-11&to=2010-12-11&grid=1000&prov=0&only_valid=0
en dit zijn mijn dubbele waarnemingen van hondsdraf
http://waarneming.nl/soort/maps/6836?from=2011-01-19&to=2011-01-19&grid=1000&prov=0&only_valid=0
Verschil ?
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

petraw

Beste Rutger,

Citaat van: rutgerb op januari 19, 2011, 12:51:12 PM
Petra, heb jij dan ook alle waarnemingen van jezelf onder 1 naam of ben je Petra van Waarneming.nl en daar los van; Petra van Floron ?

De waarnemingen staan er dus meerdere keren in.

Eén keer in als FLORON-vrijwilliger voor de soort uit de streeplijst op km-hok niveau en soms in hetzelfde km-hok nog een/meerdere keren als ik van de soort voor FLORON GPS-gegevens heb geprikt allemaal met mijn eigen naam achter de waarneming.

Daarnaast nog een keer uit het waarneming.nl bestand op km-hok niveau (ingevoerd via het snelinvoerscherm) van eigenlijk bijna alleen maar hokken uit het stedelijk gebied met als waarnemer: waarneming.nl/user/profile/nummer binnen waarneming.nl. De waarnemingen zoals ik nu zie die eind 2010-begin 2011 zijn toegevoegd aan de NDFF zijn nog niet allemaal door de automatische validatie gegaan, maar dat zal vast binnenkort gebeuren.

Citaat van: rutgerb op januari 19, 2011, 12:51:12 PM
Men denkt; eerst alle waarnemingen op een hoop en dan zien we wel. Ik vraag me sterk af of die kluwen (met 2-3-4 dubbelen) straks nog wel valt te ontwarren.

Hoe dit te ontwarren is weet ik niet. Vroeger kon je bij waarneming.nl aangeven dat je de bestanden niet nog een keer aan FLORON wilde sturen als je dat al een keer had gedaan. Nu geef je toestemming om al je gegevens aan de NDFF door te geven, zover ik weet zonder een uitzondering voor een soortgroep te maken.

Groet,

Petra
Groet, Petra

hiskodevries

ik herhaal mijn opmerking nog maar een keer
Citeerdat 'dubbelen' probleem heb ik nooit zo begrepen
want daar hoor ik graag zinvolle reacties op waar het probleem van een 'dubbele' dan wel zit
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

RutgerB

Dank voor je uilteg Petra.

Het probleem van dubbelen;

- je hebt geen idee van het aantal echt unieke waarnemingen
- de database wordt traag van miljoenen dubbelen
- als waarnemer krijg je ook de dubbele waarnemingen achter je naam, als het ooit zover komt dat je al je waarnemingen onder 1 account in de NDFF hebt.
- misschien heeft het consequenties voor analyses van zeldzaamheid (bijv. als iemand het aantal meldingen als richtlijn neemt).

hiskodevries

als gebruiker moet je je nooit druk maken over technische zaken.
het is simpel te checken of data dubbel is
als gewone sterveling zul je geen toegang krijgen tot de ndff.
op zijn hoogst toegang tot telmee wat iets anders is.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

RutgerB

Als het zo simpel is zou ik beginnen met het ontdubbelen. Kunnen ze bij NDFF/Telmee ook meteen alle gegevens van me onder 1 account zetten, dat moet dan ook simpel zijn.

Willem Oosterhof

#23
Citaat van: victor op december 25, 2010, 15:43:37 PM
Een nieuwe update:
Tot vandaag zijn er in totaal 6,6 miljoen waarnemingen geladen. Met het doel om op 1 januari alles te hebben geladen liggen we iets achter op schema, maar we vorderen al wel flink. De resultaten tot nog toe:
   
   macronachtvlinders    132214 
   micronachtvlinders    28543 
 


@Victor (of iemand anders die het weet), een informatievraag uit onwetendheid:
Hoe splitsen jullie eigenlijk deze twee groepen?
Bij mijn weten wordt er op W.nl binnen de groep nachtvlinders & micro's (nog) geen onderscheid gemaakt.
VrGr, Willem


Edit: Met betrekking tot het andere onderwerp:
Meer dan tien ingevoerde waarnemingen van een en dezelfde pijlstaart tijdens de Nationale Nachtvlinder Nacht is zeker geen uitzondering!
Dubbele nachtvlinders (of het tienvoud daarvan) lijken me voor de berekeningen van (dichtheids)berekeningen van nachtvlinders en micro's behoorlijk problematisch.
Vriendelijke groet,
Willem Oosterhof
Mijn foto's van waarnemingen in Nederland en het buitenland:
http://waarneming.nl/user/photos/41867
http://waarnemingen.be/user/photos/41867
http://observado.org/user/photos/41867

HPM

Citaat van: rutgerb op januari 19, 2011, 18:24:34 PM
Als het zo simpel is zou ik beginnen met het ontdubbelen. Kunnen ze bij NDFF/Telmee ook meteen alle gegevens van me onder 1 account zetten, dat moet dan ook simpel zijn.

Als het zo zou zijn dat door die verdubbeling waarnemingen op grond van   hun dubbelganger (automatisch) worden goedgekeurd, zoals je eerder suggereerde, lijkt het mij een   probleem wat opgelost moet worden.
Herman van der Meer

hiskodevries

herman zo werkt het niet.
ik laat de uitleg verder aan de ndff, want mijn uitleg komt niet over.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

RutgerB

Citaat van: HPM op januari 19, 2011, 18:43:32 PM
Citaat van: rutgerb op januari 19, 2011, 18:24:34 PM
Als het zo simpel is zou ik beginnen met het ontdubbelen. Kunnen ze bij NDFF/Telmee ook meteen alle gegevens van me onder 1 account zetten, dat moet dan ook simpel zijn.

Als het zo zou zijn dat door die verdubbeling waarnemingen op grond van   hun dubbelganger (automatisch) worden goedgekeurd, zoals je eerder suggereerde, lijkt het mij een   probleem wat opgelost moet worden.
De referentiewaarneming, die dezelfde is als diegeen die ze van waarneming.nl krijgen is in de NDFF natuurlijk ook eerst door een controle heen geweest. Mijn belangrijkste punt; De NDFF moet doorhebben dat ze voor een groot deel waarnemingen van planten importeert die ze al hebben.

Ik formuleerde eerder wat problemen die misschien voor een beetje databeheerder simpel zijn op te lossen. Wat ik er nog wel aan toe wilde voegen is dat je ook het gevaar krijgt dat waarnemingen die eerst identiek zijn, makkelijk twee unieke kunnen worden als aan 1 van de 2 iets wordt gewijzigd. Bijv; iemand voegt een foto toe aan zijn waarneming in waarneming.nl en die wordt gecorrigeerd/verbeterd. Of de vindplek wordt veranderd in waarneming.nl  In de Floron/NDFF-database staat de waarneming nog onder de oude naam of op de oude plek.

hiskodevries

#27
mogelijke pitfalls bij dezelfde records afkomstig uit verschillende databases (x  en y)
Uitgangspunt: het oorspronkelijke record staat twee keer in de ndff afkomstig uit zowel x en y
1. Als een waarneming op basis van een nieuwe foto een andere soort blijkt te zijn ( in x)
-- dan staat deze in  database x onder een andere naam in de ndff zal dat twee soorten op 1 lokatie opleveren, tenzij de waarnemer zelf zo kien is om ook de waarneming in Y te wijzigen.

2. De waarnemer wijzigt de lokatie in db x dit zal twee verschillende lokaties opleveren in de ndff.

3. verschil van opslag tussen x en y van waarden zoals aantal, kleed, aktiviteit. zal voor het voorkomen van een soort niet zo belangrijk zijn maar wel voor analyses

4.....

Database x,y kun je uitbreiden met vele andere plekken waar jouw waarnemingen ooit terecht zijn gekomen
Ooit voor SBB,RWS,landschappen, provincies of natuurmonumenten geinventariseerd ? dat zijn dan databases a,b,c,d,e

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

HPM

Citaat van: hiskodevries op januari 20, 2011, 07:45:24 AM
[...]
Database x,y kun je uitbreiden met vele andere plekken waar jouw waarnemingen ooit terecht zijn gekomen
Ooit voor SBB,RWS,landschappen, provincies of natuurmonumenten geinventariseerd ? dat zijn dan databases a,b,c,d,e

Maar zolang die databases niet worden samengevoegd met een database met precies dezelfde informatie is er geen probleem. Het overgrote deel van mijn tienduizenden waarnemingen voor degelijke organisaties is overigens nooit in een database terecht gekomen en voor zover wel dan niet gedetailleerd. Ik zou ze heel graag in Waarneming.nl willen zien maar ik denk niet dat dat ooit nog zal gebeuren.

Herman van der Meer

rapunzel

als gebruiker moet je je nooit druk maken over technische zaken.
het is simpel te checken of data dubbel is
als gewone sterveling zul je geen toegang krijgen tot de ndff.
op zijn hoogst toegang tot telmee wat iets anders is.

Citaat van: hiskodevries op januari 20, 2011, 07:45:24 AM
mogelijke pitfalls bij dezelfde records afkomstig uit verschillende databases (x  en y)
Uitgangspunt: het oorspronkelijke record staat twee keer in de ndff afkomstig uit zowel x en y
1. Als een waarneming op basis van een nieuwe foto een andere soort blijkt te zijn ( in x)
-- dan staat deze in  database x onder een andere naam in de ndff zal dat twee soorten op 1 lokatie opleveren, tenzij de waarnemer zelf zo kien is om ook de waarneming in Y te wijzigen.

2. De waarnemer wijzigt de lokatie in db x dit zal twee verschillende lokaties opleveren in de ndff.

3. verschil van opslag tussen x en y van waarden zoals aantal, kleed, aktiviteit. zal voor het voorkomen van een soort niet zo belangrijk zijn maar wel voor analyses

4.....

Database x,y kun je uitbreiden met vele andere plekken waar jouw waarnemingen ooit terecht zijn gekomen
Ooit voor SBB,RWS,landschappen, provincies of natuurmonumenten geinventariseerd ? dat zijn dan databases a,b,c,d,e

Misschien moet je je als gebruiker soms wel zorgen maken/bemoeien met technische zaken.

Koos
Koos Ballintijn