De soortstatistiek kan beter (algemeen: kwaliteit van getoonde gegevens)

Gestart door Arp, augustus 11, 2017, 21:51:04 PM

Vorige topic - Volgende topic

Arp

Citaat van: hiskodevries op augustus 15, 2017, 07:57:53 AM
Vergeet niet dat al die schermen in de loop van de jaren is opgebouwd met de wijsheid / kennis van dat moment
Ik snap de oorsprong van veel keuzes wel, maar ik vond minstens 5 (8?) jaar geleden al, dat daar wel een keer aan gesleuteld mocht worden, en vind dat dus nog steeds  ;)

Citaat van: hiskodevries op augustus 15, 2017, 07:57:53 AM
Arp, je expose is helder en zal zeker meegenomen worden bij de nieuwbouw.
Prima dan. Heb je al groen licht voor een wrn 2.0 ?

Citaat van: hiskodevries op augustus 15, 2017, 07:57:53 AM
Zeker wat betreft uitleg wat wel en niet getoond wordt (zie b.v. https://waarneming.nl/species_active_week_v2.php?diergroep=8&jaar=0&prov=0&family=0&current_week=0 )
per scherm zal een keuze gemaakt moeten worden.
Ik zag het, maar tegelijk merkte ik ook dat bij sommige families heel veel soorten wegvallen (waar wel wat gevalideerde waarnemingen van zijn, maar vermoedelijk niet voldoende) - zoiets zou dan ook wel uitgelegd mogen worden. Maar het zijn mooie schermen, die ik zeker vaker ga raadplegen :)

CiteerVooral de startende waarnemer verwacht zijn/haar foto overal te zien.
Ik begrijp die spagaat wel, maar we moeten toch eens naar oplossingen zoeken.
Een deel van de oplossing kan zijn om beter uit te leggen aan beginnende/geregistreerde waarnemers uit te leggen waarom we de Eenhoorn die Heidi van 5 in Zwitserland heeft ingevoerd niet meteen op de voorpagina zetten. Ik denk dat ook beginnende waarnemers dat in alle redelijkheid zullen kunnen begrijpen.

Citaat van: HPM op augustus 15, 2017, 08:01:26 AM
... Nu je zegt dat ze verondersteld worden alleen in augustus en september voor te komen vraag ik me af waarom die van mei nog niet zijn afgekeurd als ze fout zijn. ... Als dit zo belangrijk is dan moet er aan de validatie gewerkt worden. .... Ik denk dat in het algemeen door het verbergen van ongevalideerde waarnemingen meer goede dan foute waarnemingen zouden worden 'weggegooid'.
Herman, je gooit twee problemen op één hoop, die we gewoon uit elkaar moeten trekken en apart goede oplossingen voor vinden.

1) Er wordt heel veel foute/ongecontroleerde informatie getoond op een manier die doet vermoeden dat het allemaal goed is
2) Er wordt heel veel goede informatie nog niet optimaal gebruikt omdat er te weinig validatie is.

De oplossing voor 2 kan nooit zijn dat we dan maar decennia lang op observado die Eenhoorn van Heidi uit Zwitserland laten zien omdat we per ongeluk geen validator voor Mythische wezen buitenland hebben.

Gegevens die je niet kunt vertrouwen met behoorlijke zekerheid (validators maken tenslotte ook fouten), moet je m.i. niet tonen alsof het wel betrouwbaar is en zeker niet per default en zonder waarschuwing.

Voor probleem 2 heb ik ook al vaak allerlei ideetjes aangedragen (vooral een wat fijnschaligere validatie/betrouwbaarheid met meer trappen, waarin de hoogste trap validatie door een expert is maar met meer trappen eronder waarin je validatie op basis van groepskennis/gebruikers/citizen-science ook een plaats geeft, met uiteraard de mogelijkheid om die in/uit te schakelen bij het tonen van de gegevens), maar dat is een voor een andere discussie.

Citaat van: HPM op augustus 15, 2017, 08:04:53 AM
Gewoon bovenaan de pagina een tekstje om duidelijk te maken wat er op de pagina gebeurt. Nu staat er alleen 'Statistiek' of 'Foto's' en dergelijke.
Marleen gaf - denk ik terecht - al aan dat een hoop "clutter" bovenaan, waar je doorheen moet scrollen gebruikers ook ongelukkig maakt. Maar de exacte technische oplossing vind ik niet zo interessant - daar zijn vast allerlei slimme/mooie dingen voor te verzinnen en er kan tegenwoordig in webdesign heel veel meer dan alleen een knop of alleen een pop-up (openschuivende panelen met een openen/sluiten bedienelement bijvoorbeeld).

Maar we zijn het er wel over eens dat het goed zou zijn om beter uit te leggen wat er getoond wordt, wat de beperkingen zijn en met welke keuzeopties de gebruiker de dingen beter op zijn/haar behoefte kan afstemmmen. Dat is toch al weer wat  B)
Groetengedoe, Arp (wrn - JungleDragon)

RoyKleukers

Voor de nieuwbouw is het misschien een idee om voor de kwestie van de goedgekeurde en ongevalideerde waarnemingen op kaart en diagram een tussenoplossing te kiezen. Je zou in het startscherm wel alle waarnemingen kunnen tonen, maar met een verschillende kleur voor de beide categorieën, bijvoorbeeld groen voor goedgekeurd en rood voor ongevalideerd. Dat zou de interpretatie een stuk makkelijker maken en je hebt geen uitgebreide uitleg nodig. Misschien maakt dat de knop 'Toon alleen goedgekeurde waarnemingen' overbodig.
EIS-coordinator sprinkhanen

HPM

#32
Citaat van: Arp op augustus 15, 2017, 09:53:04 AM
...
Citaat van: HPM op augustus 15, 2017, 08:01:26 AM
... Nu je zegt dat ze verondersteld worden alleen in augustus en september voor te komen vraag ik me af waarom die van mei nog niet zijn afgekeurd als ze fout zijn. ... Als dit zo belangrijk is dan moet er aan de validatie gewerkt worden. .... Ik denk dat in het algemeen door het verbergen van ongevalideerde waarnemingen meer goede dan foute waarnemingen zouden worden 'weggegooid'.
Herman, je gooit twee problemen op één hoop, die we gewoon uit elkaar moeten trekken en apart goede oplossingen voor vinden.

1) Er wordt heel veel foute/ongecontroleerde informatie getoond op een manier die doet vermoeden dat het allemaal goed is
2) Er wordt heel veel goede informatie nog niet optimaal gebruikt omdat er te weinig validatie is.

De oplossing voor 2 kan nooit zijn dat we dan maar decennia lang op observado die Eenhoorn van Heidi uit Zwitserland laten zien omdat we per ongeluk geen validator voor Mythische wezen buitenland hebben.

Gegevens die je niet kunt vertrouwen met behoorlijke zekerheid (validators maken tenslotte ook fouten), moet je m.i. niet tonen alsof het wel betrouwbaar is en zeker niet per default en zonder waarschuwing.
...

Je hebt het steeds over dingen waar niemand iets mee kan. Geen bruikbare feiten.
Dat validators ook fouten maken weet 'iedereen' maar als je dat als probleem opvoert zal je álle waarnemingen moeten wantrouwen, dus ook de goedgekeurde. Dan zouden de statistiekpagina's dus leeg zijn. Maar uiteraard wel uiterst betrouwbaar.

Ik vind het prima om onderscheid te maken tussen gevalideerd en ongevalideerd, maar niet alleen gevalideerd als de standaardinstelling.

Vroeger gaven de grafieken ook 'overvliegend' weer en nu soms 'overige' (dan 'ter plaatse'). Op dezelfde manier zou je ongevalideerd kunnen laten zien. Dan zou je een beeld hebben van alle (niet afgekeurde) waarnemingen, waarbij de goedgekeurde benadrukt worden.
Dan krijg je in theorie zo'n soort plaatje:



Dat botst dan wel met het soms best nuttige onderscheid ter plaatse/overig.
In de tabellen zouden twee kolommen (achter waarnemingen en exemplaren) met het aantal goedgekeurde kunnen komen.
Voor hokken lijkt me dat lastiger.
Hoe dan ook kost het allemaal extra rekenkracht en -tijd.

PS. Roy suggereert hetzelfde.
Herman van der Meer

Arp

#33
Citaat van: HPM op augustus 15, 2017, 11:00:09 AM
Je hebt het steeds over dingen waar niemand iets mee kan. Geen bruikbare feiten.
:huh:
Waar heb je een probleem mee? Kan het niet omdat we geen gebruiker "Heidi" hebben? Of ken je Heidi en is ze geen 5 maar 7 jaar oud? Of omdat de Eenhoorn nog niet is aangemaakt? Of wil je het voorbeeld gewoon niet als abstractie van daadwerkelijke problemen begrijpen?

CiteerDat validators ook fouten maken weet 'iedereen' maar als je dat als probleem opvoert zal je álle waarnemingen moeten wantrouwen, dus ook de goedgekeurde. Dan zouden de statistiekpagina's dus leeg zijn. Maar uiteraard wel uiterst betrouwbaar.
Dat staat er niet Herman. De bijzin over validators die ook wel eens een fout maken staat er omdat daarvoor het woordje "behoorlijke" (zekerheid) gebruikt is in plaats van bijvoorbeeld "absolute" (zekerheid). Kun je met die kennis de zin dan wel ontcijferen? Probeer het eens zo:

Gegevens die je niet kunt vertrouwen <snip></snap>, moet je m.i. niet tonen alsof het wel betrouwbaar is en zeker niet per default en zonder waarschuwing.

Het voorstel van Roy en ook van Herman dus, kan ik prima mee leven, maar ik zou alsnog wel graag de knop "alleen goedgekeurd" erbij beschikbaar willen houden.

De crux is dat het vooral duidelijk moet zijn wat er getoond wordt en dat dit wellicht niet betrouwbaar is.
Anderzijds: als je genoeg betrouwbare gegevens hebt waarom zou je dan überhaupt nog standaard onbetrouwbare erbij tonen? Dus daar kun je misschien ook nog een keuze in maken: Bij "weinig" gevalideerde waarnemingen een kleurtjes-mengscherm, bij voldoende gevalideerde waarnemingen alleen gevalideerd tonen.

Ik hoor Marleen trouwens alweer in de startblokken kruipen om voor de kleurenblinden onder ons op te komen, maar misschien is daar een mouw aan te passen door iedereen in z'n profiel eigen kleuren voor goed/twijfel in te laten stellen?

Eén probleem met het kleurtjesvoorstel is overigens wel dit: Als er geen (of heel weinig) gevalideerde waarnemingen zijn, zie je het kleurtje voor wel gevalideerd niet meer (duidelijk genoeg) en dus niet een "verschil" tussen wel/niet gevalideerd waardoor je erover na gaat denken. Je ziet dan bijvoorbeeld een verspreidingskaartje met alleen rode hokken en géén groene, waardoor je je dus niet meer intuïtief realiseert dat de rood wel zoiets als "ongevalideerd" zal betekenen (want er is geen groene tegenhanger te zien).
Hetzelfde probleem dat nu ook optreedt met de groene vinkjes onder de foto's. Als er op een pagina helemaal geen gevalideerde foto's staan, en dus helemaal geen groene vinkjes, realiseer je je niet automatisch dat géén groen vinkje een duidelijke negatieve connotatie heeft.   

CiteerIk vind het prima om onderscheid te maken tussen gevalideerd en ongevalideerd, maar niet alleen gevalideerd als de standaardinstelling.
Zie hierboven. Maar nog een kanttekening: De gemengde kleurtjes werken voor grafieken en verspreidingskaartje, maar hoe ga je aangeven dat foto's in fotooverzichten ongevalideerd zijn?

In het verleden heb ik daar al wel eens dingen voor aangedragen:

  • Elke foto in een gekleurd kadertje (1-2px randje eromheen) waarmee de betrouwbaarheid wordt aangegeven (groen, blauw, rood bijvoorbeeld). Dat wordt kakelbont, maar geeft het wel aan misschien (ook hier weer: een pagina met alleen rode kadertjes laat niet vermoeden dat er ook groene en blauwe zouden moeten zijn)
  • Ongevalideerde foto's vervagen/transparant of in grijstinten of dergelijke. Eventueel full color bij mouse-over ... hoop gedoe ljjkt me
  • Behalve een vinkje voor gevalideerd een icoontje voor niet-gevalideerd eronder (rood vraagteken ofzo?)
  • ... whatever
Kan allemaal, maar is allemaal niet per se "mooi" en ook niet zonder meer duidelijk wat er aan de hand is. Dan vind ik standaard alleen gevalideerd tonen toch een "elegantere" optie. Desnoods - zoals al eerder genoemd - met een fall back/noodprogramma als er helemaal niks of erg weinig gevalideerd valt te tonen: Een automatische dialoog in de trant van "Geen resultaten. Wilt u ongevalideerd zien?"
Groetengedoe, Arp (wrn - JungleDragon)

HPM

Citaat van: Arp op augustus 16, 2017, 02:05:12 AM
Citaat van: HPM op augustus 15, 2017, 11:00:09 AM
Je hebt het steeds over dingen waar niemand iets mee kan. Geen bruikbare feiten.
:huh:
Waar heb je een probleem mee? Kan het niet omdat we geen gebruiker "Heidi" hebben? Of ken je Heidi en is ze geen 5 maar 7 jaar oud? Of omdat de Eenhoorn nog niet is aangemaakt? Of wil je het voorbeeld gewoon niet als abstractie van daadwerkelijke problemen begrijpen?

Je hebt het bijvoorbeeld steeds over gegevens die niet zijn te vertrouwen. Dat is een aanname waar niemand iets mee kan, maar voor jou is het reden om duizenden onverdachte waarnemingen 'weg te willen gooien' of op zijn minst tot onbetrouwbaar te verklaren.
Bedenk ook dat jouw probleem met ongevalideerde waarnemingen (er zitten (misschien) fouten in) bij de meeste(?) soorten/waarnemingen helemaal geen probleem is.
Als er foute waarnemingen zijn zonder dat ze als fout zijn aangegeven, moet dát aangepakt worden en elke weergave omdat daar misschien wel eens fouten waarnemingen bij worden gebruikt.

Citeer... Eén probleem met het kleurtjesvoorstel is overigens wel dit: Als er geen (of heel weinig) gevalideerde waarnemingen zijn, zie je het kleurtje voor wel gevalideerd niet meer (duidelijk genoeg) en dus niet een "verschil" tussen wel/niet gevalideerd ...

Hetzelfde geldt voor ongevalideerd. Het heeft dan ook niets met gevalideerd of ongevalideerd te maken. Kleine aantallen zijn in de grafieken vaak vrijwel onzichtbaar. Kijk naar het voorbeeld van Kraanvogel https://waarneming.nl/soort/stats/19. Die komt in alle maanden voor (zie de tabel), maar van april tot september is daar niet of nauwelijks iets van te zien, terwijl het over alle jaren toch om duizenden waarnemingen per maand gaat.

Ongevalideerde waarnemingen ook op het verspreidingskaartje op de statistiekpagina's weergeven zie ik niet zitten. Gewoon zo eenvoudig mogelijk houden.
Als dat kaartje op de statistiekpagina's wordt gehandhaafd, zou ik het zelfs van elke nuancering willen ontdoen. Dat bespaart ook nog eens rekenkracht.

Bij de foto's is er al helemaal geen probleem met de herkenning.  Alles zonder vinkje is ongevalideerd. Daar zijn echt geen extra gekleurde kadertjes en dergelijke bij nodig.

[/quote]
Herman van der Meer

Arp

#35
Ik was deze net al aan het opstellen, terwijl het antwoord van Herman binnen kwam. Hieronder reageer ik op het nieuwe antwoord van Herman


P.S. Nog even om ook voor vogelaars duidelijk te maken wat het probleem bij de insecten een beetje is:

Naar aanleiding van het voorbeeld van Herman:


Daar lijkt het inderdaad alsof je een hoop zou missen door ongevalideerd niet te tonen

Bij de insecten is zoiets als dit dus schering en inslag:


Optisch "zie" je dan toch dat de kraanvogels midden in de zomer nog een keer voorbij komen trekken ...

En dat blijft dus decennia lang zo staan en elke bezoeker van waarneming die dit opvraagt krijgt decennia lang te zien dat het er toch wel erg op lijkt dat de kraanvogels in de zomer nog eens even massaal in Nederland komen kijken. Ik vind dat niet fraai ...

Persoonlijk zie ik dan liever dit:


Met de aantallen uit het voorbeeld van Herman zou dat dan hierop neer kunnen komen:


Dat geeft niet per se slechter weer wat er aan de hand is dan de grafiek met ongevalideerd erbij ...

Ofwel: Bij groepen met veel waarnemingen en validatie zie ik het negatieve effect van het weglaten van de ongevalideerde waarnemingen hier niet duidelijk. Sterker nog: Eigenlijk wordt het juist duidelijker dat de kraanvogel sporadisch wel het hele jaar eens te zien is.


Groetengedoe, Arp (wrn - JungleDragon)

Arp

#36
Citaat van: HPM op augustus 16, 2017, 07:39:29 AM
Je hebt het bijvoorbeeld steeds over gegevens die niet zijn te vertrouwen. Dat is een aanname waar niemand iets mee kan, maar voor jou is het reden om duizenden onverdachte waarnemingen 'weg te willen gooien' of op zijn minst tot onbetrouwbaar te verklaren.
Misschien moet je het zo zien: Er is een verschil tussen niet-betrouwbaar en onbetrouwbaar. Mijn voorkeur gaat er naar uit om in eerste instantie, als automatisme alléén te tonen wat nagewezen wel betrouwbaar is. Dat maakt de rest niet per definitie "onbetrouwbaar", maar het is dus wel zo dat die (nog) niet-betrouwbaar zijn.

CiteerBedenk ook dat jouw probleem met ongevalideerde waarnemingen (er zitten (misschien) fouten in) bij de meeste(?) soorten/waarnemingen helemaal geen probleem is.
We houden ons duidelijk met verschillende groepen bezig, want bij de groepen waar ik veel naar kijk en die veelal niet gevalideerd worden is dat dus heel duidelijk wel een probleem.

CiteerAls er foute waarnemingen zijn zonder dat ze als fout zijn aangegeven, moet dát aangepakt worden...
En wie gaat dat doen?

Precies. Dat wordt niet gedaan en zolang het niet gedaan wordt heb je dus een probleem.

Het is precies deze denkwijze die het probleem veroorzaakt. Bij de vogels wordt toch alles wel snel gecontroleerd dus blijven ernstige fouten niet extreem lang staan : "ach wat maakt het uit dat we even bagger tonen, over een uurtje is het weer goed". Dat uurtje is bij heel veel groepen _decennia_

Voor het zelfde geld kan ik de spies omdraaien en dit zeggen:

Als je het een bezwaar vindt dat al die "goede waarnemingen" niet getoond worden, dan moet je gewoon zorgen dat ze wel gevalideerd worden, dus wat is het probleem?

Want volgens jou is het kennelijk geen probleem om validtie/controle te regelen?

CiteerBij de foto's is er al helemaal geen probleem met de herkenning.  Alles zonder vinkje is ongevalideerd.
De praktijk bewijst dat dit anders loopt. Ik heb daar voorbeelden voor aangedragen. Op een pagina waar geen enkel vinkje staat denkt niemand er automatisch aan dat er vinkjes "ontbreken" en dat de hele pagina dus ongevalideerde meuk toont. Terwijl we wel gewoon per default net zo gemakkelijk pagina's kunnen tonen die alleen uit gevalideerde foto's bestaan.

Waarom wil je zo graag per se elke bezoeker ongevalideerde foto's voorschotelen terwijl er ook gewoon gevalideerde beschikbaar zijn?
Groetengedoe, Arp (wrn - JungleDragon)

HPM

Citaat van: Arp op augustus 16, 2017, 08:10:13 AM
...
Waarom wil je zo graag per se elke bezoeker ongevalideerde foto's voorschotelen terwijl er ook gewoon gevalideerde beschikbaar zijn?

De bezoekers krijgen voorgeschoteld wat in de database zit en aan de markeringen is te zien wat de status van elke waarneming, foto en geluidsopname is en in de meeste gevallen is er niets mis met de waarnemingen, foto's  en geluidsopnamen zonder vinkje.

Je maakt van een mug een olifant omdat het in sommige groepen wel een probleem is. Ik ontken dat probleem niet maar in de meeste gevallen is het probleem er niet.
Het heeft niet te maken met met welke groepen wij ons het meest bezig houden. Dat de door mij gebruikte voorbeelden vogels zijn komt gewoon omdat het het gemakkelijkst is om voorbeelden van de voorpagina te halen. Daar staan standaard vogels omdat 67% van de waarnemingen vogels zijn.
Het probleem zit bij de validatie in groepen die een minimale bijdrage leveren.

Herman van der Meer

Arp

#38
Citaat van: HPM op augustus 16, 2017, 09:24:11 AM
Het probleem zit bij de validatie in groepen die een minimale bijdrage leveren.
Als dat serieus je argument is om de zaken niet correct aan te pakken, dan moet je ook maar weer snel ophouden om te proberen om er een "biodiversiteit"-site van te maken en teruggaan naar een site voor vogelaars. Die groepen die de kleinste bijdrage leveren in bulk van de waarnemingen zijn de groepen met het grootste aantal organismen, waarbij die paar vogels (en planten) totaal in het niet vallen.

Wat zeggen 1,8 miljoen waarnemingen van overvliegende Kraanvogels in maart me nou helemaal? Voegt dat echt wat toe aan onze kennis over de biodiversiteit van Nederland, boven die 125000 gevalideerde waarnemingen van overvliegende kraanvogels in maart? Het zegt vooral wat over de diversiteit van mensen met teveel vrije tijd lijkt me. Of liever gezegd naar het gebrek aan diversiteit daarin, want als ze diverser waren zouden ze niet met 300 man naast elkaar op een dijk staan en ieder 1000 waargenomen Kraanvogels invoeren (en volgend jaar weer), maar dan zouden ze er 3 aanwijzen die dat samen doen en de rest zou zich eens op organismen kunnen gaan specialiseren waar we minder over weten. Ik chargeer wat natuurlijk en ik gun ieder z'n hobby, maar het is lijkt me geen argument om dingen niet gewoon correct af te handelen.

Het is zoiets als: "Bij de groep waar heel veel mensen naar kijken en waar we eigenlijk alles al wel zo'n beetje over weten hebben we geen last van fouten die ontstaan door gebrek aan kennis bij de waarnemers en gebrek aan controle door validators, dus is het niet belangrijk om de dingen goed te doen en om te zorgen dat de info die we tonen de meest correcte info is die we te bieden hebben"

Seriously?

P.S. Nogmaals: Juist bij die groepen met grote aantallen waarnemingen en veel validatie zie ik er geen probleem in om "als binnenkomer" alleen gevalideerde data/foto's/geluiden te tonen - daar hebben we namelijk zoveel van dat zelfs als je het tot alleen gevalideerd beperkt het beeld een hele redelijke benadering van de werkelijkheid is.

  • De statistiek van alleen gevalideerd is een goede benadering van de daadwerkelijke fenologie
  • De verspreidingskaart van alleen gevalideerd is een goede benadering van de daadwerkelijke verspreiding
  • De foto's van alleen gevalideerd geven een goed beeld van hoe de soort er daadwerkelijk uitziet.
Dus wat is hier nou ook alweer precies het nadeel van "alleen gevalideerd tonen" ? Het ontgaat me even...

Bij groepen met weinig waarnemingen en weinig validatie ligt het heel anders, daar heb je theoretisch misschien zelfs meer belang bij het tonen van niet-gevalideerd, domweg omdat je dan meer te zien krijgt, maar als wat je dan te zien krijgt niet klopt (en je wordt daar niet voor gewaarschuwd) word je op het verkeerde been gezet, want je ziet als binnenkomer:

  • Een statistiek die het voorkomen van de soort suggereert in jaargetijden dat deze niet te verwachten is
  • Een verspreidingskaart die voorkomen suggereert in gebieden waar de soort niet voorkomt
  • Foto's die vooral andere soorten tonen, maar niet de soort die je zoekt.
Zet dat nou eens af tegenover het "nadeel" (welk was dat ook alweer?) uit het eerste rijtje

Groetengedoe, Arp (wrn - JungleDragon)

HPM

Arp, je moet de fouten aanpakken waar de fouten zitten, en dat is niet bij de statistieken of bij de foto's.
Waar zulke fouten enige betekenis kunnen hebben is in groepen die een hele kleine bijdrage leveren aan het totaal van de waarnemingen. Daar kan ik ook niets aan doen.
Ook als die groepen een potentieel zouden hebben van honderdmiljoenmiljard waarnemingen zou dat niet relevant zijn.
Zorg dat die paar waarnemingen die jou zo dwars zitten gevalideerd worden en het probleem is opgelost. Als dat niet kan hoef je niet eens aan die honderdmiljoenmiljard te denken.
Herman van der Meer

Arp

#40
Citaat van: HPM op augustus 16, 2017, 11:52:34 AM
je moet de fouten aanpakken waar de fouten zitten, en dat is niet bij de statistieken of bij de foto's.
Dat is precies wel waar de schoen wringt en vandaar het voorstel: Namelijk statistieken en foto's tonen op basis van gegevens die kloppen en niet op basis van gegevens die (mogelijk) niet kloppen. Gewoon de meest correcte statistieken en foto's (en kaartjes) tonen die we hebben dus, in plaats van dingen waarvan we geen idee hebben of het klopt of niet.

Is dat nou zo'n probleem dan? Leg nou eens uit waarom je het zo belangrijk vindt als binnenkomer bij een soort een statistiek/fotoset/kaartje te krijgen met mogelijke/waarschijnlijke fouten, in plaats van eentje die op gecontroleerde gegevens berust?

CiteerWaar zulke fouten enige betekenis kunnen hebben is in groepen die een hele kleine bijdrage leveren aan het totaal van de waarnemingen.
En daarom is het okay om fouten te tonen alsof het allemaal prima is? Terwijl het ook goed kan.

CiteerOok als die groepen een potentieel zouden hebben van honderdmiljoenmiljard waarnemingen zou dat niet relevant zijn.
Nou spreek je jezelf tegen, want hierboven was dat juist nog wel een argument - als er veel waarnemingen zijn is het belangrijk, voor andere maakt het kennelijk niet uit.

CiteerZorg dat die paar waarnemingen die jou zo dwars zitten gevalideerd worden en het probleem is opgelost.
Dat argument is kul. Dat heb ik dacht ik nou wel vaak genoeg uitgelegd. Die waarnemingen worden niet gecorrigeerd en jij hebt daar ook geen oplossing voor aangedragen.

En dus moeten we, omdat we niet in staat zijn om fouten te corrigeren (gebrek aan kennis/validators) diezelfde fouten maar blijven tonen alsof het allemaal correct is wat we laten zien?

Terwijl we vaak ook in eerste instantie dingen kunnen laten zien waarvan we wel weten dat het klopt?

P.S. Het is helemaal geen probleem om ongecontroleerde dingen, ernstige fouten of wat dan ook in de database te hebben. Sterker nog - dat kan niet anders, want alles wordt altijd eerst ingevoerd en kan pas daarna gecontroleerd of gecorrigeerd worden. Je hebt dus ook bij maximale/optimale validatie altijd fouten in je database.

Je moet ze alleen niet willen tonen tussen de gevalideerde gegevens.

Groetengedoe, Arp (wrn - JungleDragon)

Arp

Zojuist kom ik er nog eentje tegen die voor de volledigheid hier ook maar vermeld moet worden:

Het tonen van relaties tussen organismen (een geweldige functie - in principe!) op basis van ongevalideerde gegevens en dan in dit geval dus zelfs meteen in soortinfo - de plek bij uitstek waar gebruikers nog een beetje de goede hoop zouden mogen hebben dat er alleen zinvolle info staat en geen waarnemersverzinsels
Groetengedoe, Arp (wrn - JungleDragon)

Arp

Zoals al eerder aangegeven: Dit is niet de eerste keer dat ik met deze "kritiek" kom, ik roep dit al jaren. En ik vind de herhaling van zetten nu wel weer even mooi geweest.

Heel kort door de bocht is de argumentatie, vroeger van Hisko, nu even van Herman: Het gaat om weinig gegevens, maakt niet zoveel uit, als er meer gevalideerd wordt komt het vanzelf wel goed ... etc.

Maar het komt niet goed, zo blijkt. Al meer dan tien jaar niet.

Mijn argumentatie is altijd deze geweest: Het berust allemaal op een principiële (denk)fout, of zo je wilt keuze. Inherrent aan het systeem van iedereen maar laten invoeren wat hij/zij denkt dat tof is (en daar is niks mee!) en vervolgens deze gegevens controleren en zo nodig corrigeren, is dat je altijd enige tijd met ongecontroleerde, ongecorrigeerde gegevens zit. Bij sommige groepen kort (veel validatie), bij andere lang tot eindeloos (weinig/geen validatie). Maar ook bij "populaire" groepen toon je principieel altijd een stukje ongecontroleerde, twijfelachtige data.

Je moet dus de keuze maken of je alles wat je binnenkrijgt meteen wilt tonen (als "waarheid") of dat je behoudend te werk wilt gaan en mensen die info over een soort opvragen wilt tonen waarvan je zeker weet (met aan zekerheid grenzende waarschijnlijkheid) dat het klopt.

Hisko en Herman hechten er kennelijk meer waarde aan om continu de wereld te tonen wat (Nederlandse) waarnemers bij elkaar kunnen "verzinnen". Kwantiteit boven kwaliteit.

Ik hecht er meer waarde aan om zoveel mogelijk goede, gecontroleerde info te tonen waar mensen die naar info op zoek zijn wat aan hebben. Kwaliteit boven kwantiteit.

Waarneming krijgt steeds meer gewicht, steeds meer erkenning (terecht - er is geen plek op de wereld waar zoveel info/foto's etc te vinden is), maar als je serieus genomen wilt worden door de mensen die we er graag bij willen halen voor de validatie van de moeilijke groepen, dan denk ik dus dat je een keer serieus over meer kwaliteit moet gaan nadenken. Die kwantiteit (zeer sterk punt van waarneming!) is er inmiddels wel, vooral bij de groepen waar veel naar gekeken wordt. Het in eerste instantie niet tonen van een deel van de waarnemingen om daarmee zeker te stellen dat hetgeen je wel toont ook correct is, wordt een steeds kleinere aderlating.
Groetengedoe, Arp (wrn - JungleDragon)

HPM

Citaat van: Arp op augustus 16, 2017, 14:00:53 PM

Maar het komt niet goed, zo blijkt. Al meer dan tien jaar niet.
CiteerMijn argumentatie is altijd deze geweest: Het berust allemaal op een principiële (denk)fout, ...
CiteerHet in eerste instantie niet tonen van een deel van de waarnemingen om daarmee zeker te stellen dat hetgeen je wel toont ook correct is, wordt een steeds kleinere aderlating.

Voor een validatieprobleem in een 'splintergroepje' duizenden waarnemingen in andere groepen voor een "eerste instantie" van meer dan tien jaar verbergen lijkt me toch wat overdreven.
De waarnemers willen vast niet zo lang wachten tot er orde op zaken is gesteld op de plek waar dat nodig is.
Herman van der Meer

hiskodevries

Citaat van: Arp op augustus 16, 2017, 13:26:08 PM
Zojuist kom ik er nog eentje tegen die voor de volledigheid hier ook maar vermeld moet worden:

Het tonen van relaties tussen organismen (een geweldige functie - in principe!) op basis van ongevalideerde gegevens en dan in dit geval dus zelfs meteen in soortinfo - de plek bij uitstek waar gebruikers nog een beetje de goede hoop zouden mogen hebben dat er alleen zinvolle info staat en geen waarnemersverzinsels
Arp. Hier moet ik je terecht wijzen. Dit wordt alleen gebaseerd op gevalideerde data.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

de waarnemer heeft het correct ingevuld.
de software moet alleen niet elke op/in relatie met een vlinder omzetten naar een nectarplant.
Heeft totaal niets met (on)gevalideerd te maken
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

Over het statistiekscherm zelf. ik denk dat het bij nieuwbouw komt te vervallen in de huidige vorm.
Buiten het feit van eventueel niet gevalideerde data zit je ook met het niet kunnen ontdubbelen van data.
Dat is zonder handwerk echt niet te doen, dus -> weg ermee
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

HPM

Citaat van: hiskodevries op augustus 16, 2017, 17:05:34 PM

Over het statistiekscherm zelf. ik denk dat het bij nieuwbouw komt te vervallen in de huidige vorm.
Buiten het feit van eventueel niet gevalideerde data zit je ook met het niet kunnen ontdubbelen van data.
Dat is zonder handwerk echt niet te doen, dus -> weg ermee

Vooral bij zeldzame vogels wordt er een heleboel dubbel ingevoerd, maar ik kan me eigenlijk niet goed voorstellen dat je dat soort dubbel bedoelt, ook al levert het een raar resultaat op als je denkt dat het om aparte gevallen gaat. Een kleine verklaring kan zo'n misverstand voorkomen.
Bij de hokken en de hokkenkaart hoeft het ook helemaal geen probleem te zijn als je alleen naar aanwezigheid/afwezigheid kijkt.
Afschaffen van de statistiekpagina zou ik erg jammer vinden, want ondank de gebreken geeft het veel nuttige informatie.
Herman van der Meer

hiskodevries

#48
Huidige vorm Herman.
Bijvoorbeeld zoiets https://waarnemingen.be/soort/stat_species/694
Bij het bepalen van die statistieken doen alleen bewezen soortkenners mee.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

#49
Over de foto schermen heb ik ook even nagedacht.
De start instelling:
Als je niet ingelogd bent krijg je alleen goedgekeurde foto's te zien.
Als je wel ingelogd bent, alle foto's eventueel verfijnd tot alleen gevalideerde foto's + die van jezelf.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

HPM

Citaat van: hiskodevries op augustus 16, 2017, 17:40:06 PM
Huidige vorm Herman.

Dat had in gezien, Hisko, maar je eindigde zo resoluut met "dus -> weg ermee" omdat je niet automatisch kan ontdubbelen.
Herman van der Meer

HPM

Citaat van: Marleen op augustus 16, 2017, 17:52:37 PM
...
Bijvoorbeeld: Welke maanden van het jaar een soort voorkomt.

Dan hoef je niet exact te weten of het er 13 zijn 45 of 63.
Dan voldoet zoiets als op de soortenkalender ....

Dat is een vereenvoudiging die geen recht doet aan de werkelijkheid. Neem bijvoorbeeld maar weer eens de Kraanvogel. Die komt het hele jaar voor en zou dus een volle streep opleveren, terwijl nou juist het massale voorkomen gedurende de trek zo karakteristiek is. Dergelijke dingen zijn niet goed in een streep te vangen, ook al is die door kleurtjes genuanceerd. De huidige grafieken zijn wat dat betreft gemakkelijker te lezen. Voor de kalenderpagina vind ik het prima  https://waarneming.nl/species_active_week_v2.php
Wat jij noemt zou m.i. ook beter op een soortinfopagina passen (en misschien ook wel een verspreidingskaartje).

Maar het hangt er ook een beetje vanaf waarop je je op de statistiekpagina wil richten. Op de ingevoerde waarnemingen (de waarnemers) of op de soortinformatie (de overige soorten).  Vanwege de complicaties is allebei een beetje lastig.
Hoe dan ook vind ik inzicht in wat er aan waarnemingen is ingevoerd nuttig.
De huidige statpagina's zijn eigenlijk soortgerichte verlengstukken/verfijningen/uitbreidingen van deze pagina https://waarneming.nl/statistiek.php
Herman van der Meer

HPM

Marleen, percentages geven geen ander beeld dan absolute cijfers.
Percentages kunnen wel nuttig zijn bij een vergelijking, zoals op de kalenderpagina tot op zekere hoogte mogelijk is, omdat dan de schaal hetzelfde is.
Herman van der Meer

HPM

Citaat van: Marleen op augustus 16, 2017, 18:57:25 PM

Maar de vraag is: Wat voor informatie wil je uit je statistieken halen?
Is het daadwerkelijk van belang om te weten of er in februari 283 of 285 merels overvlogen? Of 310? Of 432? En wat met dubbeltellingen enz dan?

Die percentages valt misschien over te denken, niet in groepen van 20% maar van 10% ?
Dan verfijn je de verschillen tussen de maanden.

Met absolute cijfers kan je naar percentages, maar andersom niet.
Als 285 niet van belang is, dan is 10% of 20% dat ook niet. En percentages hebben evenveel last van dubbeltellingen als abolute cijfers.
Juist vanwege mogelijke dubbeltellingen is het waargenomen aantal exemplaren (aboluut of relatief) wel het meest nietszeggende cijfer wat je kan kiezen. Zie bijvoorbeeld dit in dat opzicht beruchte geval https://waarneming.nl/soort/stats/1554
Pas als je het gemiddelde neemt (exemplaren/waarnemingen) krijgt het aantal exemplaren enige zin.
Herman van der Meer

HPM

Citaat van: Marleen op augustus 16, 2017, 19:57:54 PM

Herman, wat voor informatie wil je uit de statistieken halen?

In principe het huidige soort informatie.
Maar het is niet eenvoudig om waarnemers- en soortinformatie ondubbelzinnig te combineren. Misschien moet dat wel gewoon geplitst worden.

Als het om soortinformatie gaat vind ik de grafieken die Hisko vandaag liet zien veelbelovend https://waarnemingen.be/soort/stat_species/694
Herman van der Meer

HPM

Citaat van: Marleen op augustus 16, 2017, 20:55:59 PM
Citaat van: HPM op augustus 16, 2017, 20:46:47 PM
Citaat van: Marleen op augustus 16, 2017, 19:57:54 PM

Herman, wat voor informatie wil je uit de statistieken halen?

In principe het huidige soort informatie.

En dat is precies? Kun je het concreet/feitelijk benoemen wat voor soort informatie je uit de statistieken wilt halen?
In principe het huidige soort informatie

Citeer
Citaat van: HPM op augustus 16, 2017, 20:46:47 PM

Als het om soortinformatie gaat vind ik de grafieken die Hisko vandaag liet zien veelbelovend https://waarnemingen.be/soort/stat_species/694

Ik kan niets met deze statistieken, vaag, geeft weinig informatie, moet veel te veel nadenken over waar het nu over gaat, onoverzichtelijk, enorm groot op de pagina. Nee, bedankt.

Ah, je wil kleine grafieken waar je niet over hoeft na te denken.
Dat schiet op.
Herman van der Meer

HPM

Iets over onduidelijkheid en ontdubbeling(?).
Bij vogels wordt in de tabel het aantal uurhokken gegeven, onderverdeeld in 'ter plaatse' en 'overig'. Dat onderscheid wordt ook gemaakt in de tijdgrafieken.
Het is een beetje lastig omdat ter plaatse vogels die als 'roepend' en dergelijke zijn ingevoerd hier onder 'overig' vallen. Dat is in ieder geval wat ik aanneem.
Maar ik besef dat door de vele niet exclusieve invoermogelijkheden een eenduidige splitsing moeilijk is. Er zijn bovendien mensen die het standaard 'ter plaatse' niet veranderen als dat nodig is. Het probleem was er ook toen nog onderscheid werd gemaakt tussen 'ter plaatse' en 'overvliegend'.

Iets anders zijn de uurhokken op het kaartje.
Het aantal hokken wat daarbij wordt genoemd komt niet overeen met dat in de tabel.
Als voorbeeld de Kraanvogel in 2016.
De tabel geeft als aantallen uurhokken voor maart 92+368=460, maar bij het kaartje staat 400. In november 46+119=165 en bij het kaartje 140.
Of het bij het kaartje genoemde aantal overeenkomt met het aantal weergegeven hokken heb ik niet gecontroleerd. De aantallen komen ook soms wel en soms niet overeen met het aantal op de grote verspreidingskaarten. https://waarneming.nl/soort/maps/19

Ik begrijp niet hoe de aantallen in de tabel en bij het kaartje kunnen verschillen.
Herman van der Meer

HPM

Citaat van: hiskodevries op augustus 16, 2017, 17:42:20 PM

Over de foto schermen heb ik ook even nagedacht.
De start instelling:
Als je niet ingelogd bent krijg je alleen goedgekeurde foto's te zien.
Als je wel ingelogd bent, alle foto's eventueel verfijnd tot alleen gevalideerde foto's + die van jezelf.

Als ik nu bijvoorbeeld op de voorpagina op het foto-icoontje achter een waargenomen soort click krijg ik de foto's niet ziet te zien omdat de waarneming nog niet is goedgekeurd. Dan moet ik eerst ' Alleen goedgekeurde waarnemingen' ontvinken en op OK drukken, of inloggen. Dat is niet handig, vooral niet omdat het bij indiensoorten jaren kan duren voor ze worden goedgekeurd.
Normaal is er alleen reden om in te loggen voor het invoeren van waarnemingen en voor het bekijken/editen van de eigen gegevens.
Als het zo moeilijk moet, waarom dan niet gelijk maar de waarnemingen helemaal verbergen totdat ze zijn goedgekeurd?
Argeloze kijkertjes mochten eens denken dat er Kraanvogels zijn gezien terwijl dat misschien wel niet zo is.
Herman van der Meer

paulhoekstra

Citaat van: hiskodevries op augustus 16, 2017, 17:42:20 PM
Over de foto schermen heb ik ook even nagedacht.
De start instelling:
Als je niet ingelogd bent krijg je alleen goedgekeurde foto's te zien.
Als je wel ingelogd bent, alle foto's eventueel verfijnd tot alleen gevalideerde foto's + die van jezelf.
Dat lijkt me niet helemaal wenselijk. Zou je eventueel met de vogels kunnen doen, maar bij veel groepen op observado.org of bij sommige insectengroepen op waarneming.nl krijg je dan als nieuwkomer niks te zien en haak je snel af. Alleen een knop om goedgekeurde waarnemingen in de statistiek te laten zien is volgens mij voldoende om veel mensen tevreden te krijgen. Overigens ben ik al zeer blij dat die knop er wel is bij de verspreidingskaarten, die knop was er daar een paar jaar geleden nog niet.
groeten,
Paul

hiskodevries

#59
Citaat van: paulhoekstra op augustus 18, 2017, 22:09:06 PM
Citaat van: hiskodevries op augustus 16, 2017, 17:42:20 PM
Over de foto schermen heb ik ook even nagedacht.
De start instelling:
Als je niet ingelogd bent krijg je alleen goedgekeurde foto's te zien.
Als je wel ingelogd bent, alle foto's eventueel verfijnd tot alleen gevalideerde foto's + die van jezelf.
Dat lijkt me niet helemaal wenselijk. Zou je eventueel met de vogels kunnen doen, maar bij veel groepen op observado.org of bij sommige insectengroepen op waarneming.nl krijg je dan als nieuwkomer niks te zien en haak je snel af. Alleen een knop om goedgekeurde waarnemingen in de statistiek te laten zien is volgens mij voldoende om veel mensen tevreden te krijgen. Overigens ben ik al zeer blij dat die knop er wel is bij de verspreidingskaarten, die knop was er daar een paar jaar geleden nog niet.
sorry, mag niet van ARP. (Stiekem hoop ik op nog veel meer reacties)
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0