How to import eBird data to Observation.org

Gestart door Hans Verdaat, juni 07, 2019, 09:00:35 AM

Vorige topic - Volgende topic

Hans Verdaat

This is a topic for all your questions on how to import your eBird data to Observation.org

To import eBird data to Observation.org, see https://old.observation.org/import/ebird_import.php
or to Waarneming.nl https://old.waarneming.nl/import/ebird_import.php

Manual export your eBird data, see instruction on http://support.birdjournal.com/knowledgebase/articles/476160-export-from-ebird-how-to
Try not to upload more then 5000 observations per upload
Do not open the original eBird file in excell and save it. The date and time formats will be corrupt





Hans Verdaat

#1
more info:
Posted by Hisko on juli 25, 2018, 14:46:17 pm

The function for importing eBird data can also be used to upload your data from any other system.

Creating a csv file is always tricky due to format problems with numbers, data and time fields.
Make sure your file complies to the standards listed.

The eBird import file has 23 columns :
if you want to create a similar file to upload your data filed in another system.
Make sure you have the same number of colums. The column devider is ','
Columns in red must be filled
Submission ID     , can be any number,text. is used to make a record unigue together with species, date and your user id. You can use your own codes
Common Name   , not used
Scientific Name   , used to select the species in observation.org
Taxonomic Order , not used   
Count                 , number of individuals
State/Province    , not used
County               , not used
Location_id    , not used
Location             , not used
Latitude             , lat in decimal for example 52.0181171
Longitude          , lon in decimal for example 4.3786526
Date                 , used in format mm-dd-yyyy
Time                 , used in format hh:mm AM or PM for example 01:00 PM
Protocol             , only used for ebird to create checklists for protocol 'eBird - Stationary Count'
Duration (Min)    , only used for ebird to create end time for checklists
All Obs Reported   , only used for ebird imports
Distance Traveled (km)  , not used   
Area Covered (ha)         , not used   
Number of Observers     , not used
Breeding Code              , used see other table for possible codes
Observation Details       , not used

Species Comments        , used in observation remarks
Checklist Comments      , used in checklist comments if protocol =   'eBird - Stationary Count'   
ML catalog number        , not used   


Possible eBird breeding codes:
NY Nest with Young
NE Nest with Eggs
ON  Occupied Nest
FL   Recently Fledged young
FY   Feeding Young
FS   Carrying Fecal Sac
CF   Carrying Food
UN  Used Nest
DD  Distraction Display
PE   Brood Patch and Physiological Evidence
NB  Nest Building
CN  Carrying Nesting Material
B    Wren/Woodpecker Nest Building
T    Territory held for 7+ days
C   Courtship Display or Copulation
N   Visiting probable Nest site
A   Agitated behavior
P   Pair in Suitable Habitat
M  Multiple (7+) singing males
S7 Singing Male Present 7+ Days
S   Singing male
H   In appropriate habitat
F   Flyover

Julian

Hi Hans and Hisko,

Is this form also being used for importing csv files to waarneming.nl or does its range limit to observation.org?
I'd like to be able to import my Batexplorer export files (csv) to the observation/waarneming systems as discussed here (https://forum.waarneming.nl/smf/index.php?topic=443812.msg2323961#msg2323961) and this would help me out for now.
Having gathered over 4000 sightings (and counting!) of Pipistrellus pipistrellus (https://waarneming.nl/species/387/) alone already this would be really beneficial.

That said, there would be the need for setting certain fields to get the sightings stored to the database as correct as possible.

Default values for those imported Batexplorer sightings should include:

activity: flying over
number:   1
counting method: seen not counted
method:   with batdetector

How to add them?

hiskodevries

Julian, that`s not going to work for your particular case, but i can upload your data manually
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Julian

#4
Many thanks to Hisko for adding an import system for Batexplorer exports! It's similar to the portal used for uploading eBird data.

https://waarneming.nl/import/batlogger_import.php
https://observation.org/import/batlogger_import.php

marcel234


Thijs Fijen

Is er ook een import-pagina voor ornitho-data?
Thijs Fijen

hiskodevries

#7
nee, die aandraag heb ik nooit eerder voorbij zien komen
Ja die hebben we https://forum.waarneming.nl/index.php/topic,470795.msg2407646.html#msg2407646
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

klaasdebus

Citaat van: Hans Verdaat op juni 07, 2019, 09:00:35 AM
This is a topic for all your questions on how to import your eBird data to Observation.org

To import eBird data to Observation.org, see https://old.observation.org/import/ebird_import.php
or to Waarneming.nl https://old.waarneming.nl/import/ebird_import.php

Manual export your eBird data, see instruction on http://support.birdjournal.com/knowledgebase/articles/476160-export-from-ebird-how-to
Try not to upload more then 5000 observations per upload
Do not open the original eBird file in excell and save it. The date and time formats will be corrupt

Is there any possibility to make this work for waarnemingen.be?

kind regards,

Klaas

hiskodevries

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

klaasdebus

hey,

It get this error: "Error in file /home/waarneming/www/_pie/objects/class.db.php on line 247"

Klaas

marcel234

Citaat van: Hans Verdaat op februari 13, 2022, 12:31:05 PM
Ook zal de tijd registratie verbeterd worden. Daar liep iets mis met UTC en lokale tijd. Zal aangepast worden.
Het importeren van de tijdsregistratie lijkt niet goed te gaan, wordt daar nog aan gewerkt?

hiskodevries

daar is niets aan gewijzigd. je hebt het over de ebird import?
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

marcel234

Ik merk het bij iNaturalist maar de opmerking heeft geen duidelijke context, mogelijk alle importtools..
https://forum.waarneming.nl/index.php/topic,490566.msg2505293.html#msg2505293

hiskodevries

klopt bij de inat import is dat een issue.
bij de andere imports niet
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Rutger Koperdraad

#15
Wordt de functionaliteit voor het importeren van eBird data nog onderhouden? Er zijn in ieder geval twee dingen die consequent niet goed gaan:

  • Als de starttijd van de eBird checklist na twaalf uur 's middags is krijgen de observaties de verkeerde tijd, volgens een logica die ik niet doorzie.
  • De eerste regel met gegevens, direkt onder de regel met veldnamen, wort stelselmatig overgeslagen.

groet,
Rutger.
met vriendelijke groet,
Rutger Koperdraad.

hiskodevries

Citaat van: Rutger Koperdraad op maart 16, 2023, 22:37:22 PMvolgens een logica die ik niet doorzie.
Rutger, dan wordt het moeilijk uitzoeken
ik ga er vanuit dat je niet zelf het bestand hebt geopend voordat je het upload naar obs.org
Citaat van: Rutger Koperdraad op maart 16, 2023, 22:37:22 PMDe eerste regel met gegevens, direkt onder de regel met veldnamen, wort stelselmatig overgeslagen
die heb ik niet eerder gehoord.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Rutger Koperdraad

Beste Hisko,

De genoemde problemen zijn eenvoudig te reproduceren. Ik heb een bestandje met drie geëxporteerde waarnemingen. Ik weet niet hoe ik een CSV kan toevoegen, dus ik kopieer de inhoud:

Submission ID,Common Name,Scientific Name,Taxonomic Order,Count,State/Province,County,Location ID,Location,Latitude,Longitude,Date,Time,Protocol,Duration (Min),All Obs Reported,Distance Traveled (km),Area Covered (ha),Number of Observers,Breeding Code,Observation Details,Checklist Comments,ML Catalog Numbers
S000000000,Bananaquit,Coereba flaveola,34926,1,PE-LIM,,L17567743,Malecón Salaverry,-12.1028569,-77.0623361,2023-03-19,09:08 AM,eBird - Stationary Count,25,1,,,1,,,"Some clouds, some sun, some haze, and a moderate temperature with a soft breeze. Only small birds were present in the park itself, which is apparently not very attractive for pigeons. Blue-black Grassquit singing incessantly."
S000000000,Bananaquit,Coereba flaveola,34926,3,PE-LIM,,L6760105,"Parque Acosta, San Isidro",-12.098756,-77.0583791,2023-03-23,08:29 AM,eBird - Traveling Count,15,1,.42,,1
S000000000,Bananaquit,Coereba flaveola,34926,15,PE-LIM,,L14464035,"Parque La Fuente, San Isidro",-12.1034729,-77.0532862,2023-03-18,12:00 PM,eBird - Traveling Count,44,1,.4,,1,,,"Many juvenile sparrows and bananaquits, recognized by their duller colors and smaller size. There were few flowers left and no Peruvian sheartails were found. Also no hooded siskins."

De import is succesvol, maar de eerste waarneming wordt overgeslagen. Dit gebeurt altijd bij ieder bestand dat ik heb geïmporteerd. De tweede waarneming heeft de correcte tijd (08:29 AM), maar de derde niet (00:12 AM in plaats van 12:00 PM). Ook hier: alle tijden op en na 12 uur 's middags worden verhaspeld, zie onderstaande link voor het resultaat van de import.

https://observation.org/users/96886/observations/?date_after=2021-12-31&date_before=2023-12-31&species_group=&rarity=&search=S000000000&advanced=on&species=&sex=&province=&validation_status=&life_stage=&activity=&method=

Het enige wat ik heb gedaan met dit bestand, in een text editor en niet in Excel, is regels verwijderen en het Submission ID aanpassen.

groet,
Rutger.
met vriendelijke groet,
Rutger Koperdraad.

hiskodevries

Rutger, dat is helemaal tegenstrijdig met de opmerkingen in dat import programma
Do not open the original ebird file in excell and save it.

The file you downloaded from Ebird is called MyEBirdData.csv
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries


Rutger, dat is helemaal tegenstrijdig met de opmerkingen in dat import programma
Citaat van: hiskodevries op maart 29, 2023, 08:56:33 AMDo not open the original ebird file in excell and save it.

The file you downloaded from Ebird is called MyEBirdData.csv
Als je toch zelf gaat knoeien heeft dat onvoorspelbare gevolgen.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Rutger Koperdraad

Ik heb de file niet geopend in Excel, ik heb alleen regels verwijderd, want hoe moet ik anders alleen de meest recente checklists importeren? Mijn vraag was "Wordt de functionaliteit voor het importeren van eBird data nog onderhouden?" Als het antwoord daarop "Nee" is, zeg dat dan in plaats van met flauwe excuses te komen. Ik kan het heel goed begrijpen als jullie andere prioriteiten hebben.

met vriendelijke groet,
Rutger Koperdraad.
met vriendelijke groet,
Rutger Koperdraad.

marcel234

#21
Citaat van: Rutger Koperdraad op maart 16, 2023, 22:37:22 PMWordt de functionaliteit voor het importeren van eBird data nog onderhouden? Er zijn in ieder geval twee dingen die consequent niet goed gaan:
  • Als de starttijd van de eBird checklist na twaalf uur 's middags is krijgen de observaties de verkeerde tijd, volgens een logica die ik niet doorzie.
  • De eerste regel met gegevens, direkt onder de regel met veldnamen, wort stelselmatig overgeslagen.
Of het stelselmatig is weet ik niet, maar bij de eerste poging om het te reproduceren en de drie keer erna mis ik altijd de eerste waarneming in het bestand (die bij het importeren anders wordt getoond)  en de tweede waarneming op ,07:05 PM, krijgt het tijdstip ''19:07'' https://old.waarneming.nl/waarneming/view/266249930
Bij een derde waarneming wordt ,11:23 PM, gelijk aan 23:11

Bij eBird kan je kiezen voor een 24 uurs klok of PM en AM. Mogelijk ondersteund de import hier alleen de 24-uurs klok, dus "19:05" en niet  ,07:05 PM,


Upload: MyEBirdData.csv
Type: text/csv
Size: 0.65234375 Kb
Starting tests
Columns : 23
Species: Anser anser
Date: 2023-03-02 ->In file: 2023-03-02
Lat: 52.049393
Lon: 5.174587
All tests are correct, continuing loading records
1    2023-03-02    Casarca        Added to your account

marcel234

#22
Citaat van: Rutger Koperdraad op maart 29, 2023, 17:28:50 PMIk heb de file niet geopend in Excel, ik heb alleen regels verwijderd, want hoe moet ik anders alleen de meest recente checklists importeren?
Dat hoef jij niet te doen, het lijkt erop dat waarneming.nl zelf al geuploade waarnemingen niet voor een tweede keer importeert:

All tests are correct, continuing loading records
------No action needed This observation is already uploaded. SubmissionID: 'S132131941' Observation id: 266249930
------No action needed This observation is already uploaded. SubmissionID: 'S132133750' Observation id: 266251609
1   2023-03-02   Knobbelzwaan      Added to your account
2   2023-03-02   Fazant      Added to your account


Bij meerdere imports komt het trouwens wel voor dat er records zijn waarbij de tijd na 12:00 wel goed wordt geimporteerd.

hiskodevries

Wat Marcel zegt en ja die imports worden nog wel bijgehouden
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Rutger Koperdraad

Dank Marcel, dat zijn dus twee reproduceerbare problemen bij de import. Bij het importeren van de tijd lijkt het erop dat de uren als minuten worden gebruikt en dat 12 PM wordt veranderd in 00 AM.

Ik heb inderdaad gezien dat er een mechanisme is dat dubbele imports voorkomt, maar ik heb veel waarnemingen die in beide systemen staan maar die ik niet op deze manier heb geïmporteerd. Daarom filter ik het exportbestand eerst op datum, daarna vervang ik de wetenschappelijke namen van soorten met verschillen tussen beide taxonomieën en ook die van de stadsduif, dan dupliceer ik de eerste regel en dan importeer ik pas. Dat mag eigenlijk niet van Hisko, maar is goed te doen. Als ik het belangrijk genoeg vind pas vervolgens ook de tijden aan in Observation.org, maar dat laatste is wel veel werk.

groet,
Rutger.
met vriendelijke groet,
Rutger Koperdraad.

hiskodevries

ik sluit niet uit dat de conversie van de tijd een fout kan bevatten. ik zal daar tzt naar kijken
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

jup, bij conversie van een PM tijd ging het fout met de minuten
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

die is ook gefikst. Rutger is zo gek nog niet. Wel merkwaardig dat niemand daar verder over geklaagd heeft
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

marcel234

#29
[...]
Een eBird-export met data uit Nederland, Belgie en Equador moet je drie keer importeren, in elk domein 1 keer?