Importeren Telmee bestanden

Gestart door hiskodevries, september 28, 2020, 10:52:58 AM

Vorige topic - Volgende topic

hiskodevries

Vanuit het 'oude' waarneming.nl is een optie toegevoegd om Telmee exports toe te voegen aan Waarneming.nl
Vanuit https://waarneming.nl kies je in het menu voor 'Oude site'
Zorg dat je ook ingelogd bent op de oude site
On de menukeuze 'Invoeren' zie je een keuze Telmee import

Daarmee kun je een csv export vanuit Telmee in Waarneming.nl importeren

https://waarneming.nl/import/telmee_import.php

De volgende gegevens worden meegenomen
Soort
lokatiepunt
aantal
datum/tijd
kleed *
gedrag *
geslacht

* vermits te matchen met de bij ons bekende gegevens

De import begint met een controle of de essentiële kolommen aanwezig zijn:
soort/datum/lat/lon/aantal
Als die kloppen gaat de import verder.
Tijdens dit proces kun je foutmeldingen krijgen over 'Soort bestaat niet'  of 'Deze waarneming hoort op een andere site terecht' of 'voor deze waarneming is geen exacte datum bekend'
Mocht voor de combinatie Soort/datum en locatie punt al een waarneming van jou bestaan wordt die overgeslagen.

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

ajdees

#1
Omdat ik graag mijn waarnemingen die in Telmee staan in Waarneming.nl wil zien, heb ik de import functionaliteit voorzichtig gebruikt en wat ervaringen opgeschreven met onderstaand verslag als resultaat. Ik denk dat het ook gelezen kan worden als handleiding.

https://waarneming.nl/import/telmee_import.php
Deze pagina begint met de volgende waarschuwing: "LET OP, open het het gedownloade bestand niet zelf met een spreadsheet programma".
Voordat ik iets importeer wil ik controleren of ik het er wel mee eens ben en of alles staat zoals het moet staan in de dataset. Een kopie van de Telmee-export heb ik daarom geopend in Excel. Daarin trof ik veel aan wat me niet beviel en na wat testjes met kleine aantallen waarnemingen bleken er veel fouten op te treden. De bovenstaande waarschuwing heb ik daarom genegeerd. Het blijkt dat als je de Telmee-export opent in Excel, bewerkt en opslaat als .csv, deze prima geïmporteerd kan worden.
"Dubbele records worden voorkomen door een check op datum, soort, kleed, geslacht en punt". 
Ook lijkt dat de check op dubbele waarnemingen niet foutloos. Zo heb ik nu twee identieke waarnemingen van Volucella inanis (?) op 1996-08-05:
https://waarneming.nl/observation/205411996/
https://waarneming.nl/observation/205394489/

Hieronder per kolom uit de Telmee-export mijn bevindingen.

Kolom 1: status      wordt niets mee gedaan, denk ik. Mag ook leeg zijn.

Kolom 2: nederlandse naam   wordt niets mee gedaan, denk ik. Mag ook leeg zijn.

Kolom 3: wetenschappelijke naam   noodzakelijk. Enkele soorten worden niet herkend door gewijzigde taxonomie (bijv. Sylvia communis = Curruca communis, Athene vidalii = Athene noctua). Hiervan krijg je bij uploaden een foutmelding. Waarnemingen van een genus eindigen in Telmee op 'sp. indet.', wat niet wordt herkend. Vervang 'sp. indet.' door 'spec.' d.m.v. Zoeken en Vervangen.

Kolom 4: determinatie onzeker      wordt overgenomen, waarneming wordt geïmporteerd als 'onzeker'.

Kolom 5: datum   noodzakelijk. Bij veel van mijn waarnemingen staat er naast de datum ook een tijdsaanduiding. Sommige zijn correct maar velen zijn onzin variërend tussen 00:10:00 en 00:55:00.  Dit is op te lossen door de weergave aan te passen: cellen (of hele kolom) te selecteren, rechtermuis Celeigenschappen, tabblad Getal: Datum, Type: *14-3-2012. De tijdsaanduiding wordt dan genegeerd. edit 13-1-2021: overname van datum is inmiddels verbeterd.

Kolom 6: einddatum   moet leeg zijn. Als er een datum in staat, krijg je een foutmelding dat er 'geen exacte datum bekend is'.

Kolom 7: telonderwerp      wordt niets mee gedaan, denk ik. Mag ook leeg zijn.

Kolom 8: telmethode   wordt niets mee gedaan, denk ik. Mag ook leeg zijn.

Kolom 9: aantal      noodzakelijk. Als deze cel leeg is (Kolom 8: 'voorkomen'), wordt de waarneming geïmporteerd met aantal '0 onbekend'. De betekenis van '0 onbekend' is me niet duidelijk, vandaar het forum topic betekenis aantal 'o onbekend' (waarneming.nl). edit 13-1-2021: bij aantal = 0 wordt nu ook naar abundantie gekeken. Abundantieklasse is 'aanwezig', dan wordt aantal 1.

Kolom 10: abundantieklasse   wordt niets mee gedaan, denk ik. Niet mee geëxperimenteerd. Zie kolom 9

Kolom 11: stadium   wordt overgenomen maar gaat niet altijd goed. 'Zie opmerking' wordt  Stadium: onbekend. Bij geleedpotigen (behalve vinders, spinnen?) gebruikt Telmee de term 'adult' voor het volwassen stadium terwijl Waarneming.nl 'imago' gebruikt. Deze waarnemingen worden geïmporteerd met stadium 'onbekend' wat natuurlijk jammer is. Oplossing: bij geleedpotigen 'adult' vervangen door 'imago' of zoals bij de vlinders staat 'imago (adult)'. Lastig is wel, dat de Telmee-export geen taxonomie bevat; je moet dus alle geleedpotigen selecteren uit een alfabetische lijst met alle taxa (filter op bovenste rij). Als de cel leeg is, wordt de waarneming geïmporteerd met stadium 'onbekend'. 'nimf' wordt niet herkend, dit veranderen naar 'larve/nimf'. edit 13-1-2021: kolom 11 wordt ook gebruikt bij bepaling van dubbele waarnemingen.

Kolom 12: sekse   wordt overgenomen, gaat goed. Als de cel leeg is, wordt de waarneming geïmporteerd met geslacht 'onbekend'. edit 13-1-2021: kolom 12 wordt ook gebruikt bij bepaling van dubbele waarnemingen.

Kolom 13: plaats   wordt niets mee gedaan, denk ik. Mag ook leeg zijn. Echter, wanneer Telmee in dit veld een puntkomma ';' heeft staan, wordt hierdoor de cel gesplitst en schuiven alle volgende velden bij de betreffende waarneming op naar rechts, waardoor o.m. de kolommen met coördinaten onzinnige data bevatten en de waarneming niet kan worden geïmporteerd. Ook bij het importeren van een ongeopende Telmee-export gaat dit om dezelfde reden niet goed. Dit kan (door mij) alleen handmatig worden opgelost in de Telmee-export.

Kolom 14: type      wordt niets mee gedaan, denk ik. Mag ook leeg zijn.

Kolom 15: x-hok   wordt niets mee gedaan, denk ik. Mag ook leeg zijn.

Kolom 16: y-hok   wordt niets mee gedaan, denk ik. Mag ook leeg zijn.

Kolom 17: x-centrum   wordt niets mee gedaan, denk ik. Mag ook leeg zijn.

Kolom 18: y-centrum   wordt niets mee gedaan, denk ik. Mag ook leeg zijn.

Kolom 19: x-grootte   wordt niets mee gedaan, denk ik. Mag ook leeg zijn. In kolom 19 en 20 staat informatie over de nauwkeurigheid van de waarneming, maar alle waarnemingen worden geïmporteerd met een nauwkeurigheid van 10 meter.

Kolom 20: y-grootte   wordt niets mee gedaan, denk ik. Mag ook leeg zijn.

Kolom 21: lat   noodzakelijk

Kolom 22: long   noodzakelijk

Kolom 23: activiteit   wordt overgenomen, gaat goed. Als de cel leeg is, wordt de waarneming geïmporteerd met activiteit 'ter plaatse'.

Kolom 24: biotoop   wordt niets mee gedaan, denk ik. Niet mee geëxperimenteerd

Kolom 25: determinatie      wordt niets mee gedaan, denk ik. Niet mee geëxperimenteerd

Kolom 26: methode   wordt niets mee gedaan, denk ik. Mag ook leeg zijn.

Kolom 27: verblijfplaats      wordt niets mee gedaan, denk ik. Niet mee geëxperimenteerd

Kolom 28: doodsoorzaak   wordt niets mee gedaan, denk ik. Niet mee geëxperimenteerd

Kolom 29: substraat   wordt niets mee gedaan, denk ik. Niet mee geëxperimenteerd

Kolom 30: oorsprong   wordt niets mee gedaan, denk ik. Niet mee geëxperimenteerd

Kolom 31: apparatuur   wordt niets mee gedaan, denk ik. Niet mee geëxperimenteerd

Kolom 32: lengteklasse   wordt niets mee gedaan, denk ik. Niet mee geëxperimenteerd

Kolom 33: opmerkingen   Deze wordt overgenomen en dat is supergoed. Echter, wanneer Telmee in dit veld een apostrof ''' heeft staan bijv in het woord 's' morgens', wordt hierdoor in de Telmee-export de cel gesplitst en wordt de tekst na de apostrof in de volgende cel geplaatst. Handmatig oplossen in de Telmee-export.

met vriendelijke groeten,
Albert Dees

Imperator

geldt voor vlinderstichtingbestanden (csv) hetzelfde ??
Ik heb het geprobeerd via de link voor telmee, maar dat lukt niet..
vriendelijke groet,

Trees

hiskodevries

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Imperator

vriendelijke groet,

Trees

rapunzel

Ik krijg bij het invoeren van plantenwaarnemingen uit Telmee de boodschap dat dat de wetenschappelijke naam in kolom 2 moet staan, terwijl deze in kolom 3 door telmee wordt aangeleverd.
Graag advies.
M.vr.gr.
Koos
Koos Ballintijn

hiskodevries

Citaat van: rapunzel op december 06, 2021, 20:30:04 PM
Ik krijg bij het invoeren van plantenwaarnemingen uit Telmee de boodschap dat dat de wetenschappelijke naam in kolom 2 moet staan, terwijl deze in kolom 3 door telmee wordt aangeleverd.
Graag advies.
M.vr.gr.
Koos
Koos, je hebt het bestand niet zelf geopend en weer opgeslagen ? ik denk het wel
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

rapunzel

Koos Ballintijn

rapunzel

Zoeven opnieuw geprobeerd. Niets veranderd aan het bestand. Dit is de boodschap:
Start tests
Columns : 33
Species: Oenothera x fallax
------>>>>>ERROR Species not found
-----Species scientific name should be in column 2
Lat: 52,0022230892741
Lon: 5,56195558674933

Koos
Koos Ballintijn

ajdees

misschien ligt het aan de spelling van de naam?
In waarneming.nl heet dit taxon 'Oenothera x fallax (O. biennis x glazioviana)'
met vriendelijke groeten,
Albert Dees

hiskodevries

Koos, dan heb je de pech dat in de eerste 2 rijen soorten voorkomen die niet in w.nl bekend zijn , dat is een dubbele check op de kolom 'soort'
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

rapunzel

Ik heb nog een ander bestand. Dat zal ik ook eens proberen.
Koos
Koos Ballintijn

rapunzel

Er zitten zoveel fouten in de export dat ik overweeg ze maar handmatig in te voeren
Koos
Koos Ballintijn

hiskodevries

voor dat eerste bestand, ik heb die check op de inhoud van de soortnaam verwijderd
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

rapunzel

#14
Dat helpt heel duidelijk, alleen zie ik nu dat alle kilometerhok waarnemingen in deze lijst als losse puntwaarnemingen worden weergegeven, met een nauwkeurigheid van 10 meter
Wat nu ?
Koos
Koos Ballintijn

hiskodevries

ja dat krijgen ze allemaal , kmhok waarnemingen worden omgezet naar het punt wat in het bestand staat
dat zal ook wel de reden zijn van veel meldingen die je krijgt, want als je een soort meerdere keren in hetzelfde kmhok heb ingevoerd voor dezelfde datum worden ze als dubbel gezien
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

rapunzel

Ik denk dat ik de waarnemingen maar weg haal, zo levert het alleen maar verwarring op en veel werk om het corrigeren.
Dank in ieder geval voor de moeite.
Koos
Koos Ballintijn

rapunzel

Citaat van: hiskodevries op december 07, 2021, 12:27:04 PM
ja dat krijgen ze allemaal , kmhok waarnemingen worden omgezet naar het punt wat in het bestand staat
dat zal ook wel de reden zijn van veel meldingen die je krijgt, want als je een soort meerdere keren in hetzelfde kmhok heb ingevoerd voor dezelfde datum worden ze als dubbel gezien
Voor dat ik alles weggooi, kan ik deze uit Telmee geimporteerde waarnemingen binnen Waarneming.nl omzetten naar
km.hok waarnemingen ?
Koos
Koos Ballintijn

hiskodevries

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

rapunzel

Koos Ballintijn