Forum van Waarneming.nl

Informatie => NDFF => Topic gestart door: hiskodevries op oktober 05, 2010, 08:08:07 AM

Titel: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: hiskodevries op oktober 05, 2010, 08:08:07 AM
Dit betrof een set van 107.000 records van habitatrichtlijnsoorten
Van de 107.000 records zijn 22 records niet door de automatische validatie heen gekomen.
Hierbij moet wel aangetekend worden dat vrijwel alle 107.000 records al door een waarneming.nl validator waren bekeken.
Deze zullen in Waarneming.nl opnieuw gereviewd worden.
foutpercentage 0.2%
Dit is geen slecht resultaat.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: Margreet Kwh op oktober 05, 2010, 08:25:30 AM
Indrukwekkend.

Margreet.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: Landschapsbeheer op november 04, 2010, 19:16:11 PM
Een indrukwekkende hoeveelheid gegevens. Voor de lol toch eens mijn eigen waarnemingen bekeken in het NDFF en dan zie ik dat toch niet alles goed gaat. Mijn waarnemingen staan er wel in maar het type waarneming is wel verbasterd. Type waarneming staat nu vaak op ' onbekend'  terwijl in wrn.nl iets anders staat. Voor het beleid is een beverburcht toch wel iets anders dan een bevervraatspoor. Ergens in het overzetten van de data kan het NDFF de gegevens van wrn.nl dus nog niet aan. Er is dus nog werk aan de winkel.


Jeroen Reinhold
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: victor op november 10, 2010, 22:47:22 PM
Hoi jeroen,

Ik ben dus met Hisko aan deze klus begonnen!

Je opmerking snijdt zeker hout als het klopt. Maar ik ben er nog niet achter bij welke waarnemingen het nu fout gaat. Kun je me de waarneming van waarneming.nl even benoemen waar dit fout gaat? Dan heb ik een handvat bij het uitzoekwerk. 
groet, Victor
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: hiskodevries op november 11, 2010, 08:03:02 AM
Vandaag een verwerkingsverslag gekregen van 1,1 miljoen geladen waarnemingen
95% is gelijk goedgekeurd (of door wrn.nl admins of door de ndff automatische validatie)
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: hiskodevries op november 17, 2010, 10:51:46 AM
gisteren 600.000 waarnemingen verwerkt
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: rapunzel op november 17, 2010, 15:49:05 PM
Citaat van: hiskodevries op november 17, 2010, 10:51:46 AM
gisteren 600.000 waarnemingen verwerkt

Kunnen we ergens zien hoe dat over de soortgroepen verdeeld is ?

Koos
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: hiskodevries op november 17, 2010, 15:53:06 PM
als je een abonnement op de ndff hebt , maar waarom zou je dat willen weten?
de data wordt geladen op volgorde van 'belang' binnen de ndff: flora en faunawet soorten,habitatrichtlijnsoorten etc eerst en dan de rest.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: DuDe op november 17, 2010, 15:59:22 PM
Citaat van: hiskodevries op oktober 05, 2010, 08:08:07 AM
Dit betrof een set van 107.000 records van habitatrichtlijnsoorten
Van de 107.000 records zijn 22 records niet door de automatische validatie heen gekomen.
Hierbij moet wel aangetekend worden dat vrijwel alle 107.000 records al door een waarneming.nl validator waren bekeken.
Deze zullen in Waarneming.nl opnieuw gereviewd worden.
foutpercentage 0.2%
Dit is geen slecht resultaat.
Wellicht begrijp ik het verhaal verkeerd, maar 22 van 107.000 is toch 0.02 %?
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: rapunzel op november 17, 2010, 19:46:58 PM
Citaat van: hiskodevries op november 17, 2010, 15:53:06 PM
als je een abonnement op de ndff hebt , maar waarom zou je dat willen weten?
de data wordt geladen op volgorde van 'belang' binnen de ndff: flora en faunawet soorten,habitatrichtlijnsoorten etc eerst en dan de rest.

Ik zou graag willen weten hoeveel planten- en vogelwaarnemingen inmiddels zijn verwerkt.
Koos
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: victor op november 30, 2010, 12:33:34 PM

We gaan op dit moment uit van een planning waarbij we rond de jaarwisseling bijna 10 miljoen records hebben geladen, verwerking (automatische validatie volgt dan nog).
Er zijn op dit moment 3,2 miljoen records verwerkt, waarvan nog ongeveer 500.000 door de automatische validatie moeten gaan. Het aandeel dat al automatisch gevalideerd is is voor 90% "ok", 10% moet nog nader worden bekeken. Er zal zeker worden geprobeerd om dit aantal nog te valideren nog lager te krijgen, maar dat is iets voor de komende weken. Van die 3,2 M is dus nu al 2,5 als gevalideerde data beschikbaar in de NDFF.
Vogels (ruim 1.6 M) en planten (0.75 M) vormen zoals verwacht een groot aandeel in deze set.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: victor op december 25, 2010, 15:43:37 PM
Een nieuwe update:
Tot vandaag zijn er in totaal 6,6 miljoen waarnemingen geladen. Met het doel om op 1 januari alles te hebben geladen liggen we iets achter op schema, maar we vorderen al wel flink. De resultaten tot nog toe:
   planten    919081 
   mossen    11218 
   korstmossen    9402
   paddestoelen    65564 
   vogels    4700337 
   zoogdieren    198643 
   reptielen    12878     
   amfibieen    22049 
   vissen    7887 
   dagvlinders    224120 
   macronachtvlinders    132214 
   micronachtvlinders    28543 
   libellen    137989 
   sprinkhanen/krekels    30094 
   ongewervelden    106583 
   zee-organismen    1635   
Van deze set moeten nog 1,2 miljoen waarnemingen door de automatische validatie.
Wanneer alles is geladen wordt aansluitend een serie updates geleverd door waarneming.nl van de dataset die is opgebouwd/gewijzigd sinds het laden is gestart.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: RutgerB op januari 19, 2011, 10:42:57 AM
Misschien niet het juiste topic, maar een aanzienlijk deel van de plantenwaarnemingen, namelijk die van Floron Twente, zitten al in de NDFF. Zitten die nu dubbel in de NDFF? Het is in ieder geval gemakkelijk automatisch goed te keuren dan, want de referentiewaarnemingen zijn dezelfde als die gekeurd moeten worden.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: petraw op januari 19, 2011, 12:20:46 PM
Beste Rutger,

Ik denk van wel. Tenminste voor mijn eigen waarnemingen kan ik dat controleren. Want de set die in waarneming.nl staat zie ik terug komen bij de waarnemingen in de NDFF, met als bron waarneming.nl (sourcefolder). Die van mij staan er dus dubbel in eerst via FLORON en onlangs via waarneming.nl. Datzelfde zal ook voor een groot deel van FLORON Twente gelden en die gaan mee in de automatische validatie van de NDFF. Ik heb er nl. nog geen van mijzelf gezien uit het waarneming.nl bestand die niet automatisch gevalideerd zijn binnen de NDFF.

Groet,

Petra
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: RutgerB op januari 19, 2011, 12:51:12 PM
Petra, heb jij dan ook alle waarnemingen van jezelf onder 1 naam of ben je Petra van Waarneming.nl en daar los van; Petra van Floron ?

Men denkt; eerst alle waarnemingen op een hoop en dan zien we wel. Ik vraag me sterk af of die kluwen (met 2-3-4 dubbelen) straks nog wel valt te ontwarren.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: hiskodevries op januari 19, 2011, 14:55:37 PM
ik stel de vraag: wat maakt een dubbele waarneming uit ?
de soort komt voor op plekje x, soort komt nog een keer voor op plekje x , goh wat leuk
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: Margreet Kwh op januari 19, 2011, 15:33:53 PM
Als het een Rotskruiper is, wel, lijkt me.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: hiskodevries op januari 19, 2011, 15:46:44 PM
wat is het verschil tussen een rotskruiper en pak hem beet hondsdraf bij twee waarnemingen op dezelfde dag op dezelfde plek
1 punt op een kaartje lijkt mij, of 1 gevuld kmhok
dat 'dubbelen' probleem heb ik nooit zo begrepen
dit zijn 15 rotskruiper wrn http://waarneming.nl/soort/maps/1576?from=2010-12-11&to=2010-12-11&grid=1000&prov=0&only_valid=0
en dit zijn mijn dubbele waarnemingen van hondsdraf
http://waarneming.nl/soort/maps/6836?from=2011-01-19&to=2011-01-19&grid=1000&prov=0&only_valid=0
Verschil ?
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: petraw op januari 19, 2011, 16:04:14 PM
Beste Rutger,

Citaat van: rutgerb op januari 19, 2011, 12:51:12 PM
Petra, heb jij dan ook alle waarnemingen van jezelf onder 1 naam of ben je Petra van Waarneming.nl en daar los van; Petra van Floron ?

De waarnemingen staan er dus meerdere keren in.

Eén keer in als FLORON-vrijwilliger voor de soort uit de streeplijst op km-hok niveau en soms in hetzelfde km-hok nog een/meerdere keren als ik van de soort voor FLORON GPS-gegevens heb geprikt allemaal met mijn eigen naam achter de waarneming.

Daarnaast nog een keer uit het waarneming.nl bestand op km-hok niveau (ingevoerd via het snelinvoerscherm) van eigenlijk bijna alleen maar hokken uit het stedelijk gebied met als waarnemer: waarneming.nl/user/profile/nummer binnen waarneming.nl. De waarnemingen zoals ik nu zie die eind 2010-begin 2011 zijn toegevoegd aan de NDFF zijn nog niet allemaal door de automatische validatie gegaan, maar dat zal vast binnenkort gebeuren.

Citaat van: rutgerb op januari 19, 2011, 12:51:12 PM
Men denkt; eerst alle waarnemingen op een hoop en dan zien we wel. Ik vraag me sterk af of die kluwen (met 2-3-4 dubbelen) straks nog wel valt te ontwarren.

Hoe dit te ontwarren is weet ik niet. Vroeger kon je bij waarneming.nl aangeven dat je de bestanden niet nog een keer aan FLORON wilde sturen als je dat al een keer had gedaan. Nu geef je toestemming om al je gegevens aan de NDFF door te geven, zover ik weet zonder een uitzondering voor een soortgroep te maken.

Groet,

Petra
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: hiskodevries op januari 19, 2011, 16:15:58 PM
ik herhaal mijn opmerking nog maar een keer
Citeerdat 'dubbelen' probleem heb ik nooit zo begrepen
want daar hoor ik graag zinvolle reacties op waar het probleem van een 'dubbele' dan wel zit
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: RutgerB op januari 19, 2011, 17:26:43 PM
Dank voor je uilteg Petra.

Het probleem van dubbelen;

- je hebt geen idee van het aantal echt unieke waarnemingen
- de database wordt traag van miljoenen dubbelen
- als waarnemer krijg je ook de dubbele waarnemingen achter je naam, als het ooit zover komt dat je al je waarnemingen onder 1 account in de NDFF hebt.
- misschien heeft het consequenties voor analyses van zeldzaamheid (bijv. als iemand het aantal meldingen als richtlijn neemt).
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: hiskodevries op januari 19, 2011, 17:50:12 PM
als gebruiker moet je je nooit druk maken over technische zaken.
het is simpel te checken of data dubbel is
als gewone sterveling zul je geen toegang krijgen tot de ndff.
op zijn hoogst toegang tot telmee wat iets anders is.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: RutgerB op januari 19, 2011, 18:24:34 PM
Als het zo simpel is zou ik beginnen met het ontdubbelen. Kunnen ze bij NDFF/Telmee ook meteen alle gegevens van me onder 1 account zetten, dat moet dan ook simpel zijn.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: Willem Oosterhof op januari 19, 2011, 18:41:17 PM
Citaat van: victor op december 25, 2010, 15:43:37 PM
Een nieuwe update:
Tot vandaag zijn er in totaal 6,6 miljoen waarnemingen geladen. Met het doel om op 1 januari alles te hebben geladen liggen we iets achter op schema, maar we vorderen al wel flink. De resultaten tot nog toe:
   
   macronachtvlinders    132214 
   micronachtvlinders    28543 
 


@Victor (of iemand anders die het weet), een informatievraag uit onwetendheid:
Hoe splitsen jullie eigenlijk deze twee groepen?
Bij mijn weten wordt er op W.nl binnen de groep nachtvlinders & micro's (nog) geen onderscheid gemaakt.
VrGr, Willem


Edit: Met betrekking tot het andere onderwerp:
Meer dan tien ingevoerde waarnemingen van een en dezelfde pijlstaart tijdens de Nationale Nachtvlinder Nacht is zeker geen uitzondering!
Dubbele nachtvlinders (of het tienvoud daarvan) lijken me voor de berekeningen van (dichtheids)berekeningen van nachtvlinders en micro's behoorlijk problematisch.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: HPM op januari 19, 2011, 18:43:32 PM
Citaat van: rutgerb op januari 19, 2011, 18:24:34 PM
Als het zo simpel is zou ik beginnen met het ontdubbelen. Kunnen ze bij NDFF/Telmee ook meteen alle gegevens van me onder 1 account zetten, dat moet dan ook simpel zijn.

Als het zo zou zijn dat door die verdubbeling waarnemingen op grond van   hun dubbelganger (automatisch) worden goedgekeurd, zoals je eerder suggereerde, lijkt het mij een   probleem wat opgelost moet worden.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: hiskodevries op januari 19, 2011, 18:56:15 PM
herman zo werkt het niet.
ik laat de uitleg verder aan de ndff, want mijn uitleg komt niet over.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: RutgerB op januari 19, 2011, 20:20:37 PM
Citaat van: HPM op januari 19, 2011, 18:43:32 PM
Citaat van: rutgerb op januari 19, 2011, 18:24:34 PM
Als het zo simpel is zou ik beginnen met het ontdubbelen. Kunnen ze bij NDFF/Telmee ook meteen alle gegevens van me onder 1 account zetten, dat moet dan ook simpel zijn.

Als het zo zou zijn dat door die verdubbeling waarnemingen op grond van   hun dubbelganger (automatisch) worden goedgekeurd, zoals je eerder suggereerde, lijkt het mij een   probleem wat opgelost moet worden.
De referentiewaarneming, die dezelfde is als diegeen die ze van waarneming.nl krijgen is in de NDFF natuurlijk ook eerst door een controle heen geweest. Mijn belangrijkste punt; De NDFF moet doorhebben dat ze voor een groot deel waarnemingen van planten importeert die ze al hebben.

Ik formuleerde eerder wat problemen die misschien voor een beetje databeheerder simpel zijn op te lossen. Wat ik er nog wel aan toe wilde voegen is dat je ook het gevaar krijgt dat waarnemingen die eerst identiek zijn, makkelijk twee unieke kunnen worden als aan 1 van de 2 iets wordt gewijzigd. Bijv; iemand voegt een foto toe aan zijn waarneming in waarneming.nl en die wordt gecorrigeerd/verbeterd. Of de vindplek wordt veranderd in waarneming.nl  In de Floron/NDFF-database staat de waarneming nog onder de oude naam of op de oude plek.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: hiskodevries op januari 20, 2011, 07:45:24 AM
mogelijke pitfalls bij dezelfde records afkomstig uit verschillende databases (x  en y)
Uitgangspunt: het oorspronkelijke record staat twee keer in de ndff afkomstig uit zowel x en y
1. Als een waarneming op basis van een nieuwe foto een andere soort blijkt te zijn ( in x)
-- dan staat deze in  database x onder een andere naam in de ndff zal dat twee soorten op 1 lokatie opleveren, tenzij de waarnemer zelf zo kien is om ook de waarneming in Y te wijzigen.

2. De waarnemer wijzigt de lokatie in db x dit zal twee verschillende lokaties opleveren in de ndff.

3. verschil van opslag tussen x en y van waarden zoals aantal, kleed, aktiviteit. zal voor het voorkomen van een soort niet zo belangrijk zijn maar wel voor analyses

4.....

Database x,y kun je uitbreiden met vele andere plekken waar jouw waarnemingen ooit terecht zijn gekomen
Ooit voor SBB,RWS,landschappen, provincies of natuurmonumenten geinventariseerd ? dat zijn dan databases a,b,c,d,e

Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: HPM op januari 20, 2011, 17:54:09 PM
Citaat van: hiskodevries op januari 20, 2011, 07:45:24 AM
[...]
Database x,y kun je uitbreiden met vele andere plekken waar jouw waarnemingen ooit terecht zijn gekomen
Ooit voor SBB,RWS,landschappen, provincies of natuurmonumenten geinventariseerd ? dat zijn dan databases a,b,c,d,e

Maar zolang die databases niet worden samengevoegd met een database met precies dezelfde informatie is er geen probleem. Het overgrote deel van mijn tienduizenden waarnemingen voor degelijke organisaties is overigens nooit in een database terecht gekomen en voor zover wel dan niet gedetailleerd. Ik zou ze heel graag in Waarneming.nl willen zien maar ik denk niet dat dat ooit nog zal gebeuren.

Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: rapunzel op januari 20, 2011, 18:50:10 PM
als gebruiker moet je je nooit druk maken over technische zaken.
het is simpel te checken of data dubbel is
als gewone sterveling zul je geen toegang krijgen tot de ndff.
op zijn hoogst toegang tot telmee wat iets anders is.

Citaat van: hiskodevries op januari 20, 2011, 07:45:24 AM
mogelijke pitfalls bij dezelfde records afkomstig uit verschillende databases (x  en y)
Uitgangspunt: het oorspronkelijke record staat twee keer in de ndff afkomstig uit zowel x en y
1. Als een waarneming op basis van een nieuwe foto een andere soort blijkt te zijn ( in x)
-- dan staat deze in  database x onder een andere naam in de ndff zal dat twee soorten op 1 lokatie opleveren, tenzij de waarnemer zelf zo kien is om ook de waarneming in Y te wijzigen.

2. De waarnemer wijzigt de lokatie in db x dit zal twee verschillende lokaties opleveren in de ndff.

3. verschil van opslag tussen x en y van waarden zoals aantal, kleed, aktiviteit. zal voor het voorkomen van een soort niet zo belangrijk zijn maar wel voor analyses

4.....

Database x,y kun je uitbreiden met vele andere plekken waar jouw waarnemingen ooit terecht zijn gekomen
Ooit voor SBB,RWS,landschappen, provincies of natuurmonumenten geinventariseerd ? dat zijn dan databases a,b,c,d,e

Misschien moet je je als gebruiker soms wel zorgen maken/bemoeien met technische zaken.

Koos
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: Hinko op januari 21, 2011, 20:28:30 PM
Citaat van: HPM op januari 20, 2011, 17:54:09 PM
Maar zolang die databases niet worden samengevoegd met een database met precies dezelfde informatie is er geen probleem.
En dat is nou juist de essentie van de NDFF, alle datasets beschikbaar maken via 1 portaal.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: HPM op januari 21, 2011, 20:32:08 PM
Citaat van: Hinko op januari 21, 2011, 20:28:30 PM
Citaat van: HPM op januari 20, 2011, 17:54:09 PM
Maar zolang die databases niet worden samengevoegd met een database met precies dezelfde informatie is er geen probleem.
En dat is nou juist de essentie van de NDFF, alle datasets beschikbaar maken via 1 portaal.

Maar dat is iets anders dan reed aanwezige informatie dupliceren. Dat voegt niets toe en kan voor verwarring zorgen en is dus zonde van de moeite en capaciteit.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: Hinko op januari 21, 2011, 20:59:30 PM
Beetje lastig om uit te leggen maar toch een poging hoe het er volgens mij uitziet in Jip en Janneke taal (hoe ik het begrepen heb).

Het 'portaal' is een grote database. Hier zitten een aantal 'deel' databases in die op gegaan zijn in de NDFF. Bijv de database(s) van FLORON. FLORON heeft dus geen database meer die ze zelf onderhouden.

In het portaal zitten ook 'kopieën' van databases die nog wel zelfstandig bestaan. Bijv. Waarneming.nl. Als het goed is worden deze databases regelmatig gesynchroniseerd.

meer uitleg over 'distributed databases'. http://en.wikipedia.org/wiki/Distributed_database
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: marcel123 op januari 21, 2011, 23:54:27 PM
Citaat van: Willem Oosterhof op januari 19, 2011, 18:41:17 PM
Meer dan tien ingevoerde waarnemingen van een en dezelfde pijlstaart tijdens de Nationale Nachtvlinder Nacht is zeker geen uitzondering!
Ik neem aan dat jij dat in een paar seconden kan zien dat een waarneming tiendubbel is uitgevoerd. Kun jij nu dan uitleggen als je dat een oogopslag kan zien waarom het een probleem is?
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: Hinko op januari 22, 2011, 00:13:31 AM
Als gebruiker van de NDFF kan ik melden dat voor het gebruik (analyses) het op zich niet uit maakt of een waarneming er dubbel of voor mijn part 10 dubbel instaat. Het enige is dat de datasets onnodig groot worden. Daar heb ik wel last van bij het ophalen van de data. Ook het maken van selecties in GIS gaat hierdoor trager.

Mijn eigen waarnemingen staan er soms 4 dubbel in: 1x via wrn.nl, 1x Floron kmhok, 1x Floron detail formulier en 1x download van Wrn.nl door Floron.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: Willem Oosterhof op januari 22, 2011, 01:47:11 AM
Citaat van: optilete op januari 21, 2011, 23:54:27 PM
Citaat van: Willem Oosterhof op januari 19, 2011, 18:41:17 PM
Meer dan tien ingevoerde waarnemingen van een en dezelfde pijlstaart tijdens de Nationale Nachtvlinder Nacht is zeker geen uitzondering!
Ik neem aan dat jij dat in een paar seconden kan zien dat een waarneming tiendubbel is uitgevoerd. Kun jij nu dan uitleggen als je dat een oogopslag kan zien waarom het een probleem is?


Nou, nou ... dit is geen kwestie van in een paar seconden zien hoor! Ik heb samen met iemand de afgelopen nachtvlindernacht hier in de omgeving helpen organiseren en zag de daarop volgende dagen dat veel (jeugdige) bezoekers allemaal die ene pijstaart die op het doek was verschenen in hadden gevoerd. En dit betrof niet alleen die ene pijlstaart. Ik geloof je graag wanneer je zegt dat dit geen probleem is, ik vroeg me alleen af of dergelijke 'doublures plus' geen effect zouden hebben op de berekeningen m.b.t. het voorkomen van een soort. Lijkt me een legitieme vraag. Ik begrijp nu van Hinko dat dit geen probleem is.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: HPM op januari 22, 2011, 09:13:55 AM
Citaat van: Willem Oosterhof op januari 22, 2011, 01:47:11 AM
Citaat van: optilete op januari 21, 2011, 23:54:27 PM
Citaat van: Willem Oosterhof op januari 19, 2011, 18:41:17 PM
Meer dan tien ingevoerde waarnemingen van een en dezelfde pijlstaart tijdens de Nationale Nachtvlinder Nacht is zeker geen uitzondering!
Ik neem aan dat jij dat in een paar seconden kan zien dat een waarneming tiendubbel is uitgevoerd. Kun jij nu dan uitleggen als je dat een oogopslag kan zien waarom het een probleem is?


Nou, nou ... dit is geen kwestie van in een paar seconden zien hoor! Ik heb samen met iemand de afgelopen nachtvlindernacht hier in de omgeving helpen organiseren en zag de daarop volgende dagen dat veel (jeugdige) bezoekers allemaal die ene pijstaart die op het doek was verschenen in hadden gevoerd. En dit betrof niet alleen die ene pijlstaart. Ik geloof je graag wanneer je zegt dat dit geen probleem is, ik vroeg me alleen af of dergelijke 'doublures plus' geen effect zouden hebben op de berekeningen m.b.t. het voorkomen van een soort. Lijkt me een legitieme vraag. Ik begrijp nu van Hinko dat dit geen probleem is.

Over het probleem van dat een heleboel mensen hetzelfde exemplaar invoeren is al vaker gediscussieerd, maar hier ging het over waarnemingen die door het samenvoegen van de databases worden gedupliceerd.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: Hinko op januari 23, 2011, 21:03:54 PM
@ Herman
Het maken van kopieën is geen enkel probleem zolang het 'Distributed databases' betreft.
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: HPM op januari 23, 2011, 21:13:26 PM
Citaat van: Hinko op januari 23, 2011, 21:03:54 PM
@ Herman
Het maken van kopieën is geen enkel probleem zolang het 'Distributed databases' betreft.

Dat heb ik begrepen, maar werkt het hier ook zo?
Titel: Re: Eerste batch waarnemingen daadwerkelijk geladen
Bericht door: Niels de Zwarte op februari 25, 2011, 22:26:18 PM
ik heb van de GAN begrepen vorige week dat er software geschreven wordt door de UvA om de dubbelaars er uit te vissen en ze daar al ver mee zijn.
erg makkelijk als XY, soort en datum/tijdstip met waarnemer exact gelijk zijn, voor alle niet exacte overeenkomsten gebruik je de regels der logica.
hoe het met simplificatie zit weet ik ook niet precies; ik zie ook dat alles in de NDFF er veel eenvoudiger in zit dan wij het aangeleverd hebben (wellicht met de eindgebruiker te maken?)


rest een dubbelmarge waarbij ik volledig met Hinko meega dat een km-hok hoe dan ook gevuld is, of het er nu 1 of 2x voorkomt.
en of je nu 2 of 20 vleermuizen aan je pand hebt hangen; de NDFF wordt toch vooral gebruikt om ontheffingen mee te kunnen aanvragen of projecten te kunnen beoordelen in relatie tot voorkomen van beschermde soorten. de aantallen spelen meestal (soms wel) dan niet een cruciale rol.


voor aantalschattingen en populatieberekeningen blijven de PGO's toch de partij, dat moet je niet met de NDFF gaan verwarren.
vergeet tot slot de biostatistiek bij de PGO's niet: het NEM heeft uitstekende software (zoals TRIM) om outliners er uit te halen en voor trends te corrigeren. gebruiken we in rotterdam ook voor lange meetreeksen; uiteindelijk kun je alleen over aantallen en trends uitspraken doen bij langdurige monitoring op dezelfde wijze; daarvoor worden losse waarnemingen dan weer veel minder gebruikt. losse waarneming is meestal aanwezig/afwezig, soortgerichte langdurige monitoring zorgt voor getallen en trends.