Een API van gegevens van waarneming.nl

Gestart door VictorE, februari 25, 2013, 19:00:53 PM

Vorige topic - Volgende topic

VictorE

Steeds vaker zie ik via Twitter overzichtjes en visualisaties van de gegevens die waarneming.nl heeft. Ik vroeg mij af of het misschien voor de toekomst mogelijk is om van de gegevens een API key te maken zodat "buitenstaanders" ook in de gelegenheid worden gesteld om aan de slag te gaan met de data van waarneming.nl. Vaak is het zo dat daar hele gave dingen uitkomen. Bijvoorbeeld de NS die zijn gegevens via een API heeft vrij gegeven en er nu de website vertraa.gd bestaat waar je kunt zien hoeveel van het aantal rijdende treinen met vertraging rijdt.

hiskodevries

Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

VictorE

Dank voor je bericht Hisko, maar ik hoopte eigenlijk op iets meer. Dit zijn alleen de recente bijzondere waarnemingen en is een rss die zichzelf constant ververst... Ik hoopte eigenlijk op een API waarbij ik zelf kan kiezen wat ik opvraag (bijvoorbeeld ook wat verder in de historie dan de afgelopen twee dagen). Ik begrijp dat sommige gegevens misschien vanuit privacy overwegingen niet openbaar gemaakt kunnen worden, maar iets meer dan dit is toch wel mogelijk?

hiskodevries

#3
Citaat van: VictorE op februari 26, 2013, 10:15:31 AM
Dank voor je bericht Hisko, maar ik hoopte eigenlijk op iets meer. Dit zijn alleen de recente bijzondere waarnemingen en is een rss die zichzelf constant ververst... Ik hoopte eigenlijk op een API waarbij ik zelf kan kiezen wat ik opvraag (bijvoorbeeld ook wat verder in de historie dan de afgelopen twee dagen). Ik begrijp dat sommige gegevens misschien vanuit privacy overwegingen niet openbaar gemaakt kunnen worden, maar iets meer dan dit is toch wel mogelijk?
Eigenlijk niet.
De waarnemingen zijn van de waarnemers. die stellen het niet altijd op prijs dat hun data vrij willekeurig verspreid wordt.
Verder wil we zelf ook controle hebben waar data wel/ niet naar toe gaat.
Het zou zo maar kunnen dat jij voor een WBE werkt ( even een fictief voorbeeld)
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

VictorE

Hmmmm ik begrijp het wel, maar vind het wel jammer dat jullie er zo terughoudend in zijn... Ik snap heel goed dat je met de gegevens ook verkeerde dingen kunt doen, maar ik denk juist dat het ook hele gave nieuwe uitwerkingen kan hebben...

Douwe van der Ploeg

Ik denk dat als je een specifiek idee hebt, en dit doorgeeft aan Hisko, die vast wel even wil nadenken of hij je een grotere dataset kan geven voor dit doel..? Of er zelf mee bezig kan, als het iets simpels is (en dus weinig tijd kost).
Douwe van der Ploeg

xenion

Een tijdje terug kwam er ook de vraag voor het uitbreiden van een bepaald scherm, dat is vanwege het bovenstaande argument ook niet doorgevoerd. Maar volgens mij is dat een verkeerd argument om ontwikkelingen tegen te houden.

Als ik het goed heb hoef je bij het registreren van een nieuw account niet akkoord te gaan met de voorwaarden van de site (toch?), als je dat zou toevoegen en bestaande gebruikers ook nog eens akkoord laat gaan met de voorwaarden waar duidelijk in staat dat de data niet gebruikt mag worden voor zakelijk gebruik dan zie ik zo snel geen probleem? (hoe rechtsgeldig dat alles is heb ik weinig kennis van)
Als je toch misbruik ziet dan kun je met die persoon/organisatie vast wel een leuke regeling treffen.
Heb je zakelijke gebruikers die wel gebruik willen maken van die schermen/API dan is daar goed een tarief voor te bedenken.

De (meeste) data is natuurlijk gewoon beschikbaar op de website, iemand die het wil kan vrij makkelijk met een script alle waarnemingen van de site af trekken en daar zelf vanalles mee gaan doen.

Juist met dit soort initiatieven kun je leuke resultaten krijgen wat (na het maken van de API) allemaal kostenloze toevoegingen zijn en leuke reclame kan zijn.
Groeten,
Martin

jvogels

Ik ben het met hisko eens, dergelijke zaken zo makkelijk ontsluiten vraagt om misbruik, en zoals ik het nu begrijp is het nu al ondoenlijk om de buro's die misbruik maken van wrn.nl (en dat zijn er niet weinig) aan te spreken op het feit dat ze de regels overtreden.

Dus: als je een goed idee/onderzoeksvraag hebt, die je zonder winstoogmerk bijv wilt publiceren en daarvoor de gegevens van wrn.nl wilt gebruiken: stuur een mail naar de beheerders van de site met een verzoek, maar ga het de rapportenbakkers niet nog makkelijker maken.

xenion

Ik vind het nog steeds een zwak argument, iemand die een API weet te gebruiken kan ook makkelijk een scriptje in elkaar prutsen wat hetzelfde (en meer) doet. Bovendien kun je ervoor kiezen om de API alleen beschikbaar te maken via een key welke je via je account moet activeren, desnoods zit daar nog iemand van wn.nl tussen om het te valideren, het zal heus geen storm lopen.

Wordt er op het moment eigenlijk wel enige moeite gedaan om de misbruikers aan te spreken?
Groeten,
Martin

VictorE

Met behulp van API keys denk ik inderdaad ook dat het beter te beveiligen is. Als er dan bedrijven met winstoogmerk gebruik willen maken van de API kan daar nog geld mee verdient worden ook. Daarnaast zou je voor die API ook nog kunnen kiezen voor een IP white list waarbij je bijhoudt waar de API wordt gebruikt en mocht je toch misbruik vaststellen kun je meteen het IP blokkeren.

Ik heb ook het idee dat als je er misbruik van wilt maken je niet via het forum gaat vragen of er een mogelijkheid is om een API te maken en daar toegang toe te krijgen. Daarvoor geven de url's die wrn.nl gebruikt te makkelijk de mogelijkheid om dingen van de website af te halen.

Zelf heb ik ook al bedacht dat ik me bij beheerders van wrn.nl kan aanbieden om mee te helpen bij het maken van die leuke visualisaties (mocht dat tot de mogelijkheden behoren), maar wil me eigenlijk niet verplicht voelen om daar mee bezig te gaan. Mij lijkt het leuk om daar in mn vrije tijd af en toe mee aan de slag te gaan en te kijken wat er nog meer mee te doen is dan de lijstjes en visualisaties die nu naar buiten komen. Juist niet met het uitgangspunt om daar winst mee te maken, maar vooral om te bekijken of het ook op andere manieren kan dan nu het geval is door wellicht andere API's en wat Photoshop te combineren met de gegevens van wrn.nl en de werkwijze die nu gehanteerd wordt mogelijk te verrijken met nieuwe ideeën.