Forum van Waarneming.nl

Informatie => Waarneming.nl => Topic gestart door: Datura op juli 11, 2014, 20:48:36 PM

Titel: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: Datura op juli 11, 2014, 20:48:36 PM
Het is niet echt een Bug, en ook al vaker ter sprake gekomen, maar wat moest je ook al weer doen met Webobs grenswaarnemingen in Nederland maar die (net) in Observado geupload worden (zie: http://observado.org/waarneming/view/86223652 (http://observado.org/waarneming/view/86223652)). Nog een keer apart invoeren in waarneming.nl?
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: Melchior van Tweel op juli 13, 2014, 15:57:37 PM
Kim, ik vind dit wel een echte bug. Hisko schermt steeds met het argument dat er werkgroepen zijn die grensoverschrijdend werken. Wat mij betreft is dat geen sterk argument. Wat mij betreft zorgen we ervoor dat de Nederlandse grens een harde grens wordt. Die zijn als shapefile wel te vinden. Dat het werkgebied van bepaalde werkgroepen over de landsgrens heen gaat lijkt me geen enkel probleem. Die kunnen hun waarnemingen gewoon terugvinden in wrn-be of obs-org.
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 13, 2014, 16:14:20 PM
even voor de goede orde heren.
bij mobiel gelden andere regels dan voor invoeren via de site.
Valt het punt in de polygoon van nederland ->waarneming.nl--> Nee: Valt het punt in de polygoon van belgie->waarnemingen.be -->Nee ->Observado.org
De opmerking die nu gaat komen:
'Je kunt toch goede landpolygonen laden' ->mijn antwoord 'al enkele tientallen mogen ontvangen en allemaal onbruikbaar'

Remedie:
iemand moet de polygoon van nederland en Belgie precies intekenen.
ik kan zo iemand niet vinden

Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: marijn op juli 13, 2014, 19:23:50 PM
Polygoon NL gratis verkrijgbaar via: http://www.kadaster.nl/web/Themas/Registraties/BRT/TOPgrenzen.htm
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: Datura op juli 13, 2014, 19:52:57 PM
Klopt het, dat het Nederland-polygoon, niet als gebied te selecteren is? Ik wilde het namelijk controleren, aangezien er wel een gebiedspolygoon van waarneming.nl is, waar mijn waarneming duidelijk binnen valt: http://waarneming.nl/gebied/info/7236 Als ik het goed begrijp is dit gebied dus 'grensoverschijdend' in vergelijking met de grenzen van Nederland zoals waarneming ze hanteert?

Maakt mij benieuwd naar hoe vaak dit voorkomt? Als dit ongeveer de enige plaats is waar dit speelt kan ik er mee leven, maar als het op veel meer grensstukken speelt is dat toch jammer van al die waarnemingen die verkeert terecht komen (zonder dat de meeste waarnemers het door zullen hebben). En ik ben benieuwd of het Polygoon van Marijn ook al bij de tientallen zat die je al hebt ontvangen :-).
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 13, 2014, 20:00:17 PM
Citaat van: marijn op juli 13, 2014, 19:23:50 PM
Polygoon NL gratis verkrijgbaar via: http://www.kadaster.nl/web/Themas/Registraties/BRT/TOPgrenzen.htm
niet werkbaar bevat niet de zee
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 13, 2014, 20:01:19 PM
Kim uiteraard is die polygoon niet selecteerbaar zit niet in de gebieden database.
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: Datura op juli 13, 2014, 20:13:00 PM

Citaat van: hiskodevries op juli 13, 2014, 20:00:17 PM
Citaat van: marijn op juli 13, 2014, 19:23:50 PM
Polygoon NL gratis verkrijgbaar via: http://www.kadaster.nl/web/Themas/Registraties/BRT/TOPgrenzen.htm (http://www.kadaster.nl/web/Themas/Registraties/BRT/TOPgrenzen.htm)
niet werkbaar bevat niet de zee

Met mijn simpele Gis-verstand: Als je dat Polygoon samenvoegt met de polygoon van dit gebied: http://waarneming.nl/gebied/info/72038 zou je het helemaal moeten hebben, of zie ik dat fout?
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 13, 2014, 20:47:19 PM
Ja dat heb je fout, dan mis je een flink stuk.
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: marijn op juli 13, 2014, 21:37:45 PM
Combineer https://www.defensie.nl/onderwerpen/hydrografie/inhoud/maritieme-zones-en-zeegrenzen/nederlandse-grenzen-op-de-noordzee/download-grenzen-exclusieve-economische-zone met 2e optie op http://www.imergis.nl/asp/47.asp (exacte grenzen + water).
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 13, 2014, 21:43:16 PM
CiteerHet gebogen karakter van de normale basislijnen en de buitengrenzen noodzaakt tot een hoge puntdichtheid. Voor sommige toepassingen is een benadering van deze lijnen met minder punten wenselijk.
bij gebruik van dit soort shapefile files krijg je een dramatische performance.
Jullie kunnen nog met honderd ideeën komen maar uiteindelijk zal iemand de handjes uit de mouwen moeten steken.( de kadaster kaarten zijn vector bestanden geen shapefile )
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 13, 2014, 21:48:44 PM
Die van imergis zal ik morgen eens testen.
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: marijn op juli 14, 2014, 00:49:28 AM
Citaat van: hiskodevries op juli 13, 2014, 21:43:16 PM
CiteerHet gebogen karakter van de normale basislijnen en de buitengrenzen noodzaakt tot een hoge puntdichtheid. Voor sommige toepassingen is een benadering van deze lijnen met minder punten wenselijk.
bij gebruik van dit soort shapefile files krijg je een dramatische performance.
Jullie kunnen nog met honderd ideeën komen maar uiteindelijk zal iemand de handjes uit de mouwen moeten steken.( de kadaster kaarten zijn vector bestanden geen shapefile )
? Shapefile = vector

En laat Postgis de geometrieën lekker een stuk generaliseren tbv de performance, dat hoeft niemand met de hand te doen.. http://postgis.refractions.net/documentation/manual-1.4/ST_SimplifyPreserveTopology.html
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 14, 2014, 07:44:54 AM
Citaat van: hiskodevries op juli 13, 2014, 21:48:44 PM
Die van imergis zal ik morgen eens testen.
helaas na laden bestand >100 records met een geometry
het resultaat van het laden van zo`n shape file moet 1 record zijn die de geometry bevat van heel nederland inclusief het NCP.
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: marijn op juli 15, 2014, 11:24:10 AM
Citaat van: hiskodevries op juli 14, 2014, 07:44:54 AM
Citaat van: hiskodevries op juli 13, 2014, 21:48:44 PM
Die van imergis zal ik morgen eens testen.
helaas na laden bestand >100 records met een geometry
het resultaat van het laden van zo`n shape file moet 1 record zijn die de geometry bevat van heel nederland inclusief het NCP.
jij moet even een GIS'ser inhuren Hisko
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 15, 2014, 14:29:29 PM
We gaan de aanpak wijzigen.
Via http://waarneming.nl/download/testmaar.kml kun je een kml bestand ophalen welke nederland en belgie bevat.
Eerst de provincies in een tabel geplempt daarna nog twee gebieden voor de nationale continentale plats. daarna nog een paar trucjes om baarle nassau te annexeren.
ik zie nog een paar gaatjes tussen belgie en nederland.
Vragen kloppen de beide ncp`s ?
de performance is getest met uploaden van 5000 mobiele waarnemingen wat 1.8 seconde duurde .

(om de kml te bekijken heb je google earth nodig !)
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 15, 2014, 14:48:37 PM
volgens mij kunnen de belgische provincies beter, ik zal eens bij natuurpunt vragen of die wat hebben
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 17, 2014, 13:21:02 PM
goed de nederlandse provinciegrenzen gekregen uit de top10
de vlaamse provincies van natuurpunt\
toch gaat dit niet waterdicht worden. hierbij een schermafdruk langs de maas.
Alles wat niet blauw is heeft geen dekking .
Dan krijgen we een afweging.
Bij de nieuwe methode:
als je voor een lokatie tussen belgie en nederland waar geen dekking is een mobiele waarneming invoert komt die in observado.org terecht.

Bij de huidige methode is de grens tussen be en nl wat onzuiverder maar de waarneming komt niet in observado terecht.

Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: Melchior van Tweel op juli 17, 2014, 17:10:10 PM
Hisko, als ik een uurtje moet GISsen, laat dan maar even weten
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 17, 2014, 17:26:38 PM
Een uurtje? Het is een rotklus Melchior . Het zijn enorm veel punten dus het laden in de editor duurt even. Maar ik zal je morgen even inregelen?
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: Datura op juli 17, 2014, 21:58:42 PM
Helaas is mijn GIS-kunst enigzins beperkt, en mijn tijd nog beperkter, maar mooi dat er nu actie ondernomen wordt!  :duim:

Als ik het kaartje bekijk waar geen dekking zit, valt me op dat dit een streep midden op de rivier is (toch eigenlijk ook een beetje niemansland toch?  ;D ), is dit vooral een rivierprobleem, of speelt het ook op land? Indien het eerste, dan denk ik dat het aantal waarnemingen waar het mis gaat iig flink zal afnemen (er zullen niet heel veel waarnemingen precies midden op de rivier geplot worden schat ik in). Natuurlijk hebben sluitende polygonen wel de voorkeur (ben je in 1 keer van het gezeur af :-)).
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 17, 2014, 22:00:52 PM
Nee dit speelt langs de hele grens. Volgens mijn bronnen is de belgische kant niet precies genoeg. Maar die bron is Nederlands.
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: Melchior van Tweel op juli 19, 2014, 07:04:38 AM
Ik wil daar best wat tijd in steken, maar de vraag is en blijft natuurlijk: welke grens ga je aanhouden. Voor NL is het gebruikelijk de grenzen van Top10 aan te houden (lees: kadaster). Zo'n kadaster-instituut moet er voor België toch ook zijn?
Hisko zou je me de shapes van NL en B willen sturen (of de links ernaar?) Ik wil er wel even een tijdje mee stoeien. Mocht het niets worden is er niets verloren toch? Ik zal eerst eens proberen de NL grens aan te houden.
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 19, 2014, 11:13:56 AM
Melchior stuur mij even een email dan kunnen we bespreken wat je precies nodig hebt
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: Melchior van Tweel op juli 19, 2014, 20:39:15 PM
Done
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 21, 2014, 12:12:50 PM
Het is Melchior gelukt om de grenzen tussen Belgie en Nederland perfect te laten aansluiten.
nu een tijdje testen.
Melchior bedankt
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: Datura op juli 21, 2014, 19:23:01 PM
 :duim: :duim: :duim:
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 22, 2014, 09:01:39 AM
wat laboratorium tests gedaan .
Het duurt nu 2-10 keer langer om de juiste site te bepalen. Dat is natuurlijk niet zo vreemd omdat de gebruikte polygonen een stuk complexer zijn.
in de huidige situatie tussen 0.3 en 0.5 msec per waarneming en in de wenselijke situatie tussen de 0.4 en 5 msec. Die laatste tijden zullen in het echie wel verbeteren want als een index meer gebruikt wordt zal het besturingssysteem deze verplaatsen van de harde schijf naar het interne geheugen van de server.
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: marijn op juli 22, 2014, 15:51:14 PM
Heb je ze wel een beetje vereenvoudigd? Zo niet, dan zijn ze waarschijnlijk onnodig nauwkeurig en complex (vergelijk oud met nieuw mbv ST_NPoints).
Citaat van: marijn op juli 14, 2014, 00:49:28 AM
En laat Postgis de geometrieën lekker een stuk generaliseren tbv de performance, dat hoeft niemand met de hand te doen.. http://postgis.refractions.net/documentation/manual-1.4/ST_SimplifyPreserveTopology.html (http://postgis.refractions.net/documentation/manual-1.4/ST_SimplifyPreserveTopology.html)

Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 22, 2014, 15:54:32 PM
nee en dat ga ik ook niet doen. Daarmee zijn de 'oude' polygonen ook min of meer mee om zeep geholpen.
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: Melchior van Tweel op juli 23, 2014, 15:20:43 PM
Citaat van: hiskodevries op juli 22, 2014, 09:01:39 AM
Het duurt nu 2-10 keer langer om de juiste site te bepalen.
Is dat een probleem?
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: OlivierO op juli 23, 2014, 15:52:40 PM
Eerst en vooral merci Melchior én Hisko.

En of het verschil tussen 0.3 ms en 5 ms zo'n verschil maakt? Mij lijkt van niet, tenzij het de performance echt zou beïnvloeden. Maar voor wat hoort wat zeker?
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 23, 2014, 15:56:58 PM
nee ik heb ook met de bestaande upload software al getest, geen merkbaar verschil bij de meest mobiele uploads.
het zal ietsje langer duren als je alles tijdens een vakantie opgespaard hebt en 2-3000 waarnemingen tegelijk upload.
ik durf het nog niet live te zetten.
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 24, 2014, 08:59:43 AM
zojuist het uploaden van obsmapp naar de nieuwe methode overgezet.
Dat gaan we vandaag secuur monitoren
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 24, 2014, 09:14:39 AM
Ook de upload van iObs is nu over naar de nieuwe methode
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 24, 2014, 09:20:53 AM
Ook de upload van WebObs is over naar de nieuwe plaatsbepaling
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: OlivierO op juli 24, 2014, 09:42:37 AM
Citaat van: hiskodevries op juli 24, 2014, 09:20:53 AM
Ook de upload van WebObs is over naar de nieuwe plaatsbepaling

Oké, dat zullen we zo meteen eens testen en zien of het merkbaar verschil uitmaakt.
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: hiskodevries op juli 24, 2014, 09:59:44 AM
dat merk je alleen aan de grenzen van nederland en belgie Olivier.
Titel: Re: kan het bepalen van de site beter bij uploaden mobiel
Bericht door: OlivierO op juli 24, 2014, 12:32:39 PM
Citaat van: hiskodevries op juli 24, 2014, 09:59:44 AM
dat merk je alleen aan de grenzen van nederland en belgie Olivier.

Daar heb je natuurlijk een goed punt.  :rolleye: