Forum van Waarneming.nl

Informatie => Waarneming.nl => Topic gestart door: AdeM op september 14, 2019, 10:37:29 AM

Titel: export csv nwe site beperkt
Bericht door: AdeM op september 14, 2019, 10:37:29 AM
Je kunt nu vanaf de nwe site je waarnemingen exporteren naar csv-formaat, maar waarom is er gekozen voor een beperkt deel per waarneming te exporteren?
Hoe kan ik ervoor zorgen om toch alles per waarneming te exporteren naar csv?
Titel: Re: export csv nwe site beperkt
Bericht door: AdeM op september 14, 2019, 11:55:34 AM
Bovendien mis ik in de nwe exportfile 16 waarnemingen die in exportfile van de oude site wel zitten.
Ik ben nog aan het zoeken welke waarnemingen ik mis.
Titel: Re: export csv nwe site beperkt
Bericht door: hiskodevries op september 16, 2019, 07:25:30 AM
Citeeralles
wat mis je dan ?
Titel: Re: export csv nwe site beperkt
Bericht door: AdeM op september 16, 2019, 11:41:03 AM
Citaat van: hiskodevries op september 16, 2019, 07:25:30 AM
Citeeralles
wat mis je dan ?

Dag Hisko,

Exporteren via de oude site levert mij 45 variabelen per waarneming en de via de nieuwe site 18 variabelen.

Wat ik in ieder geval mis:

- de link naar de waarneming op waarneming.nl
- aantal foto's per waarneming

Ik ben mijn programma aan het aanpassen aan de nieuwe situatie en mogelijk komt daar nog meer uit.
Titel: Re: export csv nwe site beperkt
Bericht door: hiskodevries op september 16, 2019, 13:29:10 PM
die link kan je programma zelf wel bedenken.
Titel: Re: export csv nwe site beperkt
Bericht door: AdeM op september 16, 2019, 13:36:04 PM
Citaat van: hiskodevries op september 16, 2019, 13:29:10 PM
die link kan je programma zelf wel bedenken.

Als ik het ID-nummer van de waarneming weet en die wordt niet meegeleverd.
Waar haal ik dan het aantal foto's per waarneming vandaan?
Titel: Re: export csv nwe site beperkt
Bericht door: hiskodevries op september 16, 2019, 13:49:49 PM
ah nee, het id komt niet mee.
Titel: Re: export csv nwe site beperkt
Bericht door: AdeM op september 16, 2019, 14:05:56 PM
Citaat van: hiskodevries op september 16, 2019, 13:49:49 PM
ah nee, het id komt niet mee.


Als het ID en het aantal foto's aan de csv-export toegevoegd kan worden kan ik, waarschijnlijk, over van de oude site naar de nieuwe.
Titel: Re: export csv nwe site beperkt
Bericht door: hiskodevries op september 16, 2019, 16:38:30 PM
dan regelen we dat
Titel: Re: export csv nwe site beperkt
Bericht door: AdeM op september 16, 2019, 18:20:48 PM
Citaat van: hiskodevries op september 16, 2019, 16:38:30 PM
dan regelen we dat

Dank je Hisko voor het regelen.
Titel: Re: export csv nwe site beperkt
Bericht door: AdeM op september 24, 2019, 19:42:29 PM
Citaat van: hiskodevries op september 16, 2019, 16:38:30 PM
dan regelen we dat

Dag Hisko,

Ik heb gezien dat het nu geregeld is maar als ik al mijn waarnemingen wil overhalen gaat het fout.
Er wordt mij geadviseerd de groene specht te zoeken.

Zit er een beperking op het aantal waarnemingen dat overgehaald mag worden? En zoja waarom?
Titel: Re: export csv nwe site beperkt
Bericht door: hiskodevries op september 24, 2019, 22:24:06 PM
De beperking zit in de verwerkingstijd. Kortere periode nemen.
Titel: Re: export csv nwe site beperkt
Bericht door: AdeM op september 24, 2019, 22:38:55 PM
Citaat van: hiskodevries op september 24, 2019, 22:24:06 PM
De beperking zit in de verwerkingstijd. Kortere periode nemen.

Kennelijk zit die beperking niet bij de export van de oude site, want daar gaat het wel. ik kan daar al mijn waarnemingen in één keer exporteren.
Bij de nieuwe site heb ik gezien dat het in blokken van ongeveer 4 jaar nog wel kan.

Waarom is de verwerkingstijd op de nieuwe site zoveel langer?
Titel: Re: export csv nwe site beperkt
Bericht door: hiskodevries op september 25, 2019, 09:21:51 AM
in de nieuwe omgeving worden heel veel losse queries uitgevoerd, in de oude omgeving is het 1 querie
dat scheelt enorm veel verwerkingstijd
met name de foto en geluidenteller 'kost' veel. 4 seconden per 75 waarnemingen
Titel: Re: export csv nwe site beperkt
Bericht door: AdeM op september 25, 2019, 23:25:32 PM
Citaat van: hiskodevries op september 25, 2019, 09:21:51 AM
in de nieuwe omgeving worden heel veel losse queries uitgevoerd, in de oude omgeving is het 1 querie
dat scheelt enorm veel verwerkingstijd
met name de foto en geluidenteller 'kost' veel. 4 seconden per 75 waarnemingen

Kun je uitleggen waarom in de nieuwe omgeving voor losse queries gekozen is ipv 1 query?

Ik heb vandaag een aantal keren de export in de nieuwe omgeving geprobeerd en twee keer lukte het en twee keer niet.
Je krijgt 1 minuut en daarna wordt het verzoek afgebroken. De twee keer dat het wel lukte was beide keren in 55 seconden.
Ik de oude omgeving duurt de export voor mij 5 seconden.
Titel: Re: export csv nwe site beperkt
Bericht door: hiskodevries op september 26, 2019, 15:13:42 PM
dat is voor mij ook het grote raadsel
Titel: Re: export csv nwe site beperkt
Bericht door: AdeM op september 26, 2019, 17:39:02 PM
Citaat van: hiskodevries op september 26, 2019, 15:13:42 PM
dat is voor mij ook het grote raadsel

Hisko, er moet toch iemand zijn die dat wel kan uitleggen.
Zoals het nu gaat is het exporteren in de nieuwe omgeving niet te gebruiken. Ik blijf dus voorlopig voor het exporteren de oude omgeving gebruiken.
Titel: Re: export csv nwe site beperkt
Bericht door: hiskodevries op september 27, 2019, 07:51:32 AM
prima plan.