Hoofdmenu

SQLite export

Gestart door wschulte, januari 15, 2024, 08:23:38 AM

Vorige topic - Volgende topic

wschulte

Omdat export van mijn waarnemingen in CSV formaat altijd problemen geeft, dacht ik het in SQLite vorm te doen.
Bij het bekijken van de export file (een SQLite database) stuitte ik op de volgende problemen:
1. in de tabel "observation" wordt een foreign key gedefinieerd naar een tabel "observation_type" die echter niet bestaat ! Wel is er een tabel "type" die in mijn geval echter gevuld is met 177 identieke records en die verder ook nergens gerefereerd wordt.
2. In de tabel "observation" wordt ook een foreign key aangemaakt naar de tabel "ValidationStatus", een tabel die ook niet bestaat, maar wel de tabel "validation_status". Als ik de tabel wijzig in "validation_status" en het "id" een prmary key maak (!) gaat het goed.
Kunnen deze problemen opgelost worden ?

hiskodevries

foutmelding voor aangemaakt, maar ik ben wel benieuwd welke problemen je met csv,xslx ondervindt
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

wschulte

Citaat van: hiskodevries op januari 15, 2024, 14:45:46 PMik ben wel benieuwd welke problemen je met csv,xslx ondervindt
CSV is altijd een probleem als er bv. newlines in de CSV voorkomen (in de toelichting): die moet je er uit halen en vervangen. Maar omdat ik vrij veel met bash-scripts doe werkt CSV niet lekker. En XSLX is gewoon een voor mij onhandig formaat: vreselijk veel overhead en niet het handigste interface om programmatuur te bouwen (haha, CSV ook niet trouwens).
Nu ik voor mezelf een db wil maken ging ik met SQLite aan de slag. Gaat prima lukken, gelukkig al veel ervaring mee.

Met de probleempjes die ik in de SQLite file tegen kwam red ik me wel.

wschulte

Ik zie nog een puntje bij de SQLite export. Als ik bij een waarneming bv. 1M en 2V heb gespecificeerd, komt dat als 2 records in de CSV en de XSLX terecht. In de SQLite export alleen het totaal aantal vermeld en komt de sexe op U(nknown) te staan. Met life_stage gaat dit vast ook zo.
Dat i wel jammer.

hiskodevries

#4
ik vermoed dat je groepssamenstelling bedoelt ?, die wordt ook niet meegegeven via de exports in https;//waarneming.nl
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

wschulte

Citaat van: hiskodevries op januari 15, 2024, 17:20:56 PMik vermoed dat je groepssamenstelling bedoelt ?, die wordt ook niet meegegeven via de exports in https;//waarneming.nl
Die bedoel ik. Maar in de CSV en XSLX exports wordt die wel degelijk meegegeven. Ik sluit even voorbeeldjes bij van 1 zo'n waarneming van 2019-02-18. In de CSV en de XSLX export zie je 2 regels (elk met hetzelfde id), maar in de SQLite export zie je maar 1 record. Ik voeg de originele exports even toe als een zip bestand.

hiskodevries

dat is via de oude site gemaakt.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0


hiskodevries

via de die link krijg je geen csv bestand met de groepssamenstelling, alleen het totaal wat bij de waarneming is vastgelegd.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

wschulte

Citaat van: hiskodevries op januari 16, 2024, 13:52:33 PMvia de die link krijg je geen csv bestand met de groepssamenstelling, alleen het totaal wat bij de waarneming is vastgelegd.

Je bedoelt sqlite bestand denk ik ...
In het csv bestand staatvoor deze waarneming 2 regels: 1 met de mannetjes en 1 met de vrouwtjes.

hiskodevries

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

wschulte

Dan begrijp ik iets niet goed denk ik. De waarneming is ingevoerd met in de app ObsMapp groepssamenstelling. In de CSV staan 2 regels:
Citeerid,date,time,created,species name,scientific name,family,species type,species group,number,sex,life stage,activity,method,counting method,related species,source,location,lat,lng,accuracy,notes,validation status,substrate,is certain,is escape,obscurity,embargo date,external reference,has photos,has sounds,link
167676713,2019-02-18,13:51:00,2019-02-18,Tufted Duck,Aythya fuligula,"Ducks, Geese, Swans (Anatidae)",Species,Birds,2,F,adult breeding,present,unknown,unknown,,ObsMapp,Nieuwkoopse Plassen - De Haeck,52.148499,4.838161,25,,A,,True,False,0,,,False,False,https://waarneming.nl/observation/167676713/
167676713,2019-02-18,13:51:00,2019-02-18,Tufted Duck,Aythya fuligula,"Ducks, Geese, Swans (Anatidae)",Species,Birds,3,M,adult breeding,present,unknown,unknown,,ObsMapp,Nieuwkoopse Plassen - De Haeck,52.148499,4.838161,25,,A,,True,False,0,,,False,False,https://waarneming.nl/observation/167676713/
2 waarnemingen met hetzelfde id.

Net nog even een test waarneming ingevoerd: 4M+6V Grote Bonte Specht. Dat geeft in de CSV een soortgelijk resultaat
Citeerid,date,time,created,species name,scientific name,family,species type,species group,number,sex,life stage,activity,method,counting method,related species,source,location,lat,lng,accuracy,notes,validation status,substrate,is certain,is escape,obscurity,embargo date,external reference,has photos,has sounds,link
296756439,2024-01-17,07:02:00,2024-01-17,Great Spotted Woodpecker,Dendrocopos major,Woodpeckers (Picidae),Species,Birds,4,M,unknown,present,unknown,unknown,,ObsMapp,Bulgaria - Lovech,42.942623,24.763758,4,,O,,True,False,0,,,False,False,https://observation.org/observation/296756439/
296756439,2024-01-17,07:02:00,2024-01-17,Great Spotted Woodpecker,Dendrocopos major,Woodpeckers (Picidae),Species,Birds,6,F,unknown,present,unknown,unknown,,ObsMapp,Bulgaria - Lovech,42.942623,24.763758,4,,O,,True,False,0,,,False,False,https://observation.org/observation/296756439/
2 regels met hetzelfde id.
De SQLite export laat inderdaad maar 1 observation zien.

Oh stik. Sorry  :o . In de SQLite staat de groepssamenstelling wel: in de tabel observation_details. Excuses, daar heb ik helemaal overheen gekeken. Ik liet mij verwarren doordat daar een ander id is toegevoegd.