Beta-test voor ObsIdentify 1.4

Gestart door Sjaak Schilperoort, juli 22, 2020, 10:31:30 AM

Vorige topic - Volgende topic

Sjaak Schilperoort

Binnenkort komt een update van ObsIdentify beschikbaar, met een aantal verbeteringen. We zoeken hulp om te controleren of alles in deze update naar behoren werkt. Als je het leuk vindt om daaraan bij te dragen, en om vroege toegang te hebben tot de verbeteringen, dan kan dat. Zie hieronder de instructies om de beta-versie te installeren op iOS en Android, hoe je beta-feedback kunt geven en de lijst van verbeteringen.

Alvast bedankt!




iOS: https://testflight.apple.com/join/mBfNWeIY
Open de link op je smartphone, en volg de instructies. Je installeert eerst een app TestFlight, en binnen deze app kun je de update van ObsIdentify installeren. Gebruik de TestFlight app om feedback te geven op de update. Je kunt te allen tijde de huidige versie van ObsIdentify terugkrijgen door deze via de app store te herinstalleren.

Android: https://play.google.com/apps/testing/org.observation.obsidentify
Na aanmelden als beta-tester komt de update beschikbaar in de Play Store. Volg instructies op de detail pagina van ObsIdentify in de play store om feedback te geven op de update. Je kunt te allen tijde de huidige versie van ObsIdentify terugkrijgen door je in de play store af te melden als beta-tester. De huidige versie van ObsIdentify wordt dan zichtbaar om te herinstalleren.

Wijzigingen in ObsIdentify 1.4
- Toon een waarschuwing als de app geen permissie heeft gekregen voor gebruik van de camera of de fotobibliotheek, via een klik op de waarschuwing ga je direct naar de betreffende systeeminstelling
- Bewaar foto's bij een waarneming in de maximale resolutie van 1000 pixels langste zijde
- Bewaar niet alleen de locatie van een waarneming, maar ook de onnauwkeurigheid in de locatie. NB. Bij gebruik van de fotobibliotheek op Android is de onnauwkeurigheid van de locatie niet bekend. De waarneming krijgt dan de default onnauwkeurigheid van 25 m
- Toon informatie over het toepassingsgebied van de app op het infoscherm, naar aanleiding van feedback in de app-stores over het niet goed herkennen van huisdieren en kamerplanten
- Enkele kleine tekstuele aanpassingen

marcel234

Citaat van: Sjaak Schilperoort op juli 22, 2020, 10:31:30 AM
- Bewaar niet alleen de locatie van een waarneming, maar ook de onnauwkeurigheid in de locatie. NB. Bij gebruik van de fotobibliotheek op Android is de onnauwkeurigheid van de locatie niet bekend. De waarneming krijgt dan de default onnauwkeurigheid van 25 m
Citaat van: hiskodevries op juni 15, 2020, 16:34:17 PM
ik zie bij de waarneming nog steeds staan:
GPS 22.1425, -103.4757
nauwkeurigheid 999m
bron losse waarneming
nauwkeurigheid 999 betekend, negeren
Ligt 999 dan niet meer voor de hand?

thoma

#2
De nieuwste versie van ObsIdentify zorgt helaas nog altijd voor een massale databasevervuiling van de waarneming.nl-, waarnemingen.be- en observado.org-databanken en dit t.g.v. het niet correct doorgeven van de GPS-positie van de gebruiker. Deze is in sommige gevallen honderden meters fout en krijgt alsnog een nauwkeurigheid van 25m toegekend!

Daar waarnemingen in veel geval gekeurd worden louter op basis van foto (en niet op basis van foto + locatie), wordt het merendeel van deze foute waarnemingen (de locatie klopt nl. niet) onterecht voor 'waar' genomen om vervolgens in de databank te verdwijnen. Wanneer enkele jaren later iemand een waarnemingenexport van een bepaalde soort vraagt krijgt deze persoon zonder meer foute data aangeleverd. Deze foute locatie is een zeer zeer vaak voorkomend probleem dat t.g.v. de louter-op-basis-van-foto-keuring heel erg vaak over het hoofd wordt gezien.


  • Foto´s die rechtstreeks met de Obsidentify 1.4-app worden getrokken krijgen een nauwkeurigheid van 25m, terwijl deze in vele gevallen een pak onnauwkeuriger is (vnl. de waarnemingslocatie van foto´s die werden genomen na het juist openen de app zullen vaak honderden meters verwijderd zijn van de eigenlijke locatie)
  • Foto´s die uit de fotogallerij in de app worden geladen krijgen zoals twee posts hierboven aangegeven ook een nauwkeurigheid van 25m toegekend, terwijl ook hier de EXIF-locatie vaak een pak onnauwkeuriger is

Wat ik erg vreemd vind is dat deze onnauwkeurigheid al verschillende malen werd aangehaald op dit forum, maar dat dit precies als bijzaak of als gezeur wordt aanzien. Er wordt zelfs ergens gezegd: 'als je een betere locatie wil, moet je maar ObsMapp gebruiken'. Maar dit lijkt me niet de essentie van de zaak. Dat een persoon in zijn eigen lijstje dat hij thuis in een Excelletje op zijn PC heeft staan misschien geen juiste locaties heeft, tot daar aan toe. Maar deze Obsidentify-waarnemingen maken deel uit van een groter geheel. En dat groter geheel moet juist zijn.

Een oplossing: Ken aan alle waarnemingen die reeds ingevoerd werden met Obsidentify-app een nauwkeurigheid van 1000m toe. Zorg vervolgens dat dat ObsIdentify net als Obsmapp en Iobs een GPS-nauwkeurigheid geeft die juist is. Laat pas Obsidentify-waarnemingen met een precisie <1000m toe nadat deze fout uit de app is gehaald.

Bijkomstig zou op het hoofdscherm (niet in de gebruikershandleiding) van de Obsidentify-app vermeld moeten worden dat de app enkel bedoeld is voor 'wilde' natuur (geen huisdieren, potplanten...). Maar dat is een andere minder belangrijke discussie

Martijn van Sluijs

In grote lijnen ben ik het met bovenstaande bijdrage eens, maar ik zou graag iets toevoegen/nuanceren. Het probleem met betrekking tot de locatienauwkeurigheid is iets wat zich niet beperkt tot ObsIdentify. Het probleem is inherent aan de manier waarop GPS op een telefoon functioneert, en niet gekoppeld aan de ene of de andere app.

Ik zal in mijn toelichting die hier volgt het één en ander simplificeren in een poging om het voor zo veel mogelijk lezers begrijpelijk te houden.

Allereerst: de GPS van een telefoon staat niet ten alle tijden ingeschakeld (tenzij een GPS locker oid specifiek geïnstalleerd is door de gebruiker). Een GPS die altijd ingeschakeld is zou veel te veel energie kosten, en vaak een lege batterij opleveren. Daarom werkt het zo, dat pas zodra het apparaat om wat voor reden dan ook toegang vraagt tot GPS locatie, de GPS aan gaat.

Het voordeel hiervan is dus batterij besparen. Het nadeel is dat de telefoon de locatie niet ten alle tijden kan volgen, en dus niet weet op welke locatie deze zich 'ongeveer' bevindt bij het inschakelen van de GPS. Wat gebeurt dus? Aan de hand van de verschillende satellietverbindingen gaat de GPS module kalibreren. In het begin heeft deze contact met weinig satellieten, en kan de geschatte locatie enkele honderden tot enkele duizenden meters afwijken van de werkelijke locatie van het apparaat. Iedere keer dat het apparaat een nieuwe (betere) locatie schat, kan met meer satellieten verbinding worden gemaakt, en kan de geschatte locatie worden verbeterd. Dit herhaalt zich constant, zodat na verloop van tijd een zo nauwkeurig mogelijke schatting kan worden gemaakt.

Afhankelijk van de locatie (en de kwaliteit van de GPS-module in de telefoon) kan dit proces van 'pin-pointen' van de apparaatlocatie enkele seconden tot enkele minuten in beslag nemen. Hoge gebouwen en bossen zijn bijvoorbeeld bekende oorzaken van lange wachttijden voor een (dan vaak alsnog beroerde) GPS locatie. Dit komt door de ruis die zij door de vele weerkaatsingsoppervlakken veroorzaken.

Een foto-app, maar ook bijvoorbeeld ObsMapp, doen zo'n oproep om de GPS module op te starten wanneer ze worden aangezet. Wanneer een foto/waarneming wordt gemaakt op het moment dat het apparaat nog aan het kalibreren is, kan deze waarneming dus een flink afwijkende locatie meekrijgen. Ook de nauwkeurigheidswaarde die wordt meegegeven aan deze waarneming kan tijdens dit kalibratieproces flink afwijken van de werkelijke nauwkeurigheid, waardoor de werkelijke locatie in sommige gevallen ook niet binnen de geschatte locatie + nauwkeurigheidszone valt.

Dit fenomeen doet zich evenzo voor bij ObsMapp als bij ObsIdentify, met als grote verschillen dat a) het mogelijk is om in ObsMapp de locatie handmatig aan te passen en b) heb ik zo het vermoeden dat de gemiddelde gebruiker van ObsMapp meer waarde hecht aan de algehele nauwkeurig- en juistheid van zijn of haar waarneming dan een ObsIdentify gebruiker, waardoor deze vaker in de app of op de site gecorrigeerd worden (resulterend in minder problemen met de uiteindelijke databasekwaliteit van deze bron).

De werkelijke oplossing van dit probleem zit hem dus in het herkennen van het apparaat of de GPS voldoende gekalibreerd is of niet. Dit is technisch mogelijk. Zo bestaat voor Android de app 'GPS Locker', die tijdelijk de GPS op het apparaat forceert aan te blijven staan (dit gebruik ik zodat ik niet achteraf alle locaties van mijn waarnemingen hoef aan te passen (dit werkt vaak goed, maar niet altijd!)). Deze app geeft ook een melding wanneer de GPS voldoende gekalibreerd is ('locked').

Zowel de ObsIdentify app als de ObsMapp app zouden dit ook kunnen checken, en wanneer de GPS bij een waarneming niet voldoende gekalibreerd is, de gebruiker vragen om via een kaartje handmatig de locatie in te voeren. Dit is niet de enige mogelijke oplossing, maar wel de meest voor de hand liggende.

We hebben het hier overigens niet over verschuivingen van enkele meters of honderden meters (waardoor de waarneming vaak nog in het juiste kilometerhok zou vallen). Uit mijn eigen waarnemingen heb ik er gevist die tot wel tien kilometer verkeerd lagen... Veel waarnemingen die nu een verkeerde locatie hebben meegekregen (of momenteel meekrijgen/ de komende tijd mee gaan krijgen), kunnen bovendien onmogelijk in de toekomst met 'nieuwe kennis' alsnog juist worden gezet (tenzij de gebruiker dit zelf herinnert en wijzigt), want de informatie zit simpelweg niet in de waarneming om dit te doen.
Vriendelijke groeten,
Martijn

hiskodevries

Ter info : obsidentify bepaald de locatie niet. Dat wordt uit de foto gehaald, mits aanwezig.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Martijn van Sluijs

#5
Citaat van: hiskodevries op augustus 13, 2020, 15:00:42 PM
Ter info : obsidentify bepaald de locatie niet. Dat wordt uit de foto gehaald, mits aanwezig.

Dit verandert niets aan mijn verhaal (zowel probleem als oplossing). Ik had al zo'n vermoeden dat ObsID niet zelf de GPS aanroept, maar de foto-app aanroept (die dan normaal gesproken weer de GPS inschakelt). Wanneer foto's uit de gallerij worden ingeladen, gebruikt ObsID de coördinaten en evt. nauwkeurigheid uit de metadata lijkt me. ObsMapp zet wél zelf de locatie aan (anders zouden waarnemingen zonder foto geen automatische locatie kunnen krijgen). Bij het toevoegen van een foto is het daar vervolgens optioneel om de GPS van de foto over te nemen.

We komen dan toch weer terug bij wat thoma en marcel 234 al eerder aanhaalden. Wanneer ObsID foto's uit de gallerij haalt met een GPS-coordinaat in de metadata, en geen nauwkeurigheidsinformatie kan ophalen (wat niet ongewoon is), krijgt deze waarnemingen volgens de informatie bij ObsID 1.4 nu gewoon dat gevonden GPS-coordinaat met 25m nauwkeurigheid, terwijl de foto kan zijn genomen midden tijdens het 'kalibratieproces' wat ik eerder beschreef, en dus honderden tot duizenden meters kan afwijken van deze coördinaten... Deze waarnemingen moeten gewoon een nauwkeurigheid van 999 meter krijgen zolang de gebruiker geen prompt krijgt met de vraag om de locatie te controleren/aan te passen, en geen nauwkeurigheid van 25 meter. Dat is simpelweg niet te verantwoorden. Het is te bediscussiëren of dit ook nodig is voor alle andere fotos zolang de gebruiker niet de locatie controleert/ kan controleren, maar wat mij betreft wel:

Citaat van: Martijn van Sluijs op augustus 09, 2020, 17:36:57 PM
Ook de nauwkeurigheidswaarde die wordt meegegeven aan deze waarneming kan tijdens dit kalibratieproces flink afwijken van de werkelijke nauwkeurigheid, waardoor de werkelijke locatie in sommige gevallen ook niet binnen de geschatte locatie + nauwkeurigheidszone valt.

Ik denk overigens dat dit probleem flink onderschat wordt. Foutieve determinaties door de gebruiker zijn door de validatoren vaak goed eruit te vissen. Foutieve locaties (bewust of onbewust) niet. Nu niet, en later met terugwerkende kracht niet. Bovendien: kom er maar eens achter hoeveel waarnemingen nu al niet binnen opgegeven locatie+nauwkeurigheidsmarge vallen... De apps hebben wat mij betreft drie kerntaken: het doorgeven van 1. de locatie, 2. de waargenomen soort, en 3. aanvullende informatie over de waarneming (waarnemer, dag/tijd, evt fotobewijs). Al het andere (beeldherkenning, spraakinvoer etc. etc.) is naar mijn mening bijzaak. Eén van die drie kerntaken functioneert niet optimaal, en verschillende gebruikers maken zich hierdoor (terecht) zorgen over wat dit voor effect heeft op de kwaliteit van de gehele database waar we allemaal bewust of onbewust aan meewerken.
Vriendelijke groeten,
Martijn

marijn

Martijn heeft 100% gelijk en dit punt zou dan ook serieuze aandacht moeten krijgen als basale datakwaliteit door Stichting Observation International of een van de data-afnemende partners van belang geacht wordt.
Marijn Prins

marijn

Overigens geldt hetzelfde probleem voor iObs, dat in tegenstelling tot ObsMapp geen enkel inzicht geeft in de nauwkeurigheid van de locatiebepaling.
Marijn Prins

marcel234

Citaat van: marijn op augustus 13, 2020, 20:28:34 PM
Overigens geldt hetzelfde probleem voor iObs, dat in tegenstelling tot ObsMapp geen enkel inzicht geeft in de nauwkeurigheid van de locatiebepaling.
iObs lijkt me de enige die inzicht geeft in de nauwkeurigheid van de locatiebepaling.

marijn

Citaat van: marcel234 op augustus 13, 2020, 23:10:28 PM
iObs lijkt me de enige die inzicht geeft in de nauwkeurigheid van de locatiebepaling.
Hoe dan?
Marijn Prins

marcel234

#10
Die slaat de gemeten nauwkeurigheid van de GPS op ipv van een vaste nauwkeurigheid van 25m bij Obsmapp ( en 999 bij ObsIdentify). In het tweede geval kun je net zo goed die kolom weglaten lijkt me.
Citaat van: klaasdebus op april 02, 2019, 11:34:05 AM
Nu ik naar de geuploade waarnemingen in iObs kijk, zie ik dat de gps-fout wél weergegeven wordt in de kaartweergave. Maar misschien kan dit meteen zichtbaar zijn in de invoerweergave?
Ik weet dat het in Obsmapp mogelijk is om zelf de gps-fouttolerantie in te stellen waardoor je bij een grote fout je waarneming niet kan bevestigen.
Dit is misschien meteen té voor iObs en vooral moeilijk te realiseren?

Sjaak Schilperoort

Citaat van: marijn op augustus 14, 2020, 00:26:47 AM
Citaat van: marcel234 op augustus 13, 2020, 23:10:28 PM
iObs lijkt me de enige die inzicht geeft in de nauwkeurigheid van de locatiebepaling.
Hoe dan?
Staat in de handleiding, Marijn, inclusief uitleg hoe je de nauwkeurigheid kunt zetten voor een handmatig ingevoerde locatie.

marijn

Citaat van: Sjaak Schilperoort op augustus 14, 2020, 10:12:53 AM
Citaat van: marijn op augustus 14, 2020, 00:26:47 AM
Citaat van: marcel234 op augustus 13, 2020, 23:10:28 PM
iObs lijkt me de enige die inzicht geeft in de nauwkeurigheid van de locatiebepaling.
Hoe dan?
Staat in de handleiding, Marijn, inclusief uitleg hoe je de nauwkeurigheid kunt zetten voor een handmatig ingevoerde locatie.
Ja, excuus Sjaak, ik was niet precies: via het kaartscherm kan het wel, maar dat open je natuurlijk niet voor iedere waarneming.
In ObsMapp staat de nauwkeurigheid pontificaal bovenin beeld in het invoerscherm, zodat je altijd direct ziet hoe goed of slecht je locatiebepaling is. In ObsMapp wachtte ik altijd tot de nauwkeurigheid hoog en gestabiliseerd was.
Marijn Prins

Martijn van Sluijs

Citaat van: marijn op augustus 13, 2020, 20:25:26 PM
Martijn heeft 100% gelijk en dit punt zou dan ook serieuze aandacht moeten krijgen als basale datakwaliteit door Stichting Observation International of een van de data-afnemende partners van belang geacht wordt.

Daar zit inderdaad precies de crux. Wanneer het businessmodel (of 'de missie') van waarneming.nl alleen het laten maken van persoonlijke aantekeningenlijstjes zou zijn, of bijvoorbeeld alleen het creëren van een beeldherkenningssysteem voor de Nederlandse flora en fauna, was er niks aan de hand. Dan kan de waarnemer die daar om wat voor reden dan ook waarde aan hecht er gewoon zelf voor zorgen dat de coördinaten bij zijn/haar waarnemingen kloppen, en diegenen die daar geen waarde aan hechten (bijvoorbeeld omdat ze alleen willen weten wat ze hebben gezien), kunnen het aan zich voorbij laten gaan.

Dit geheel is echter niet het geval.

De analyse en interpretatie van de data wordt er voor de afnemende partijen niet eenvoudiger op wanneer afbeeldingen (en dus waarnemingen) waarvan de gemelde GPS coördinaten tussen de 1 en 5000 (of meer....) meter kunnen afwijken van de werkelijke coördinaten automatisch een nauwkeurigheid van 25 meter meekrijgen.
Vriendelijke groeten,
Martijn

Sjaak Schilperoort

Iedereen bedankt voor het meetesten en meedenken. ObsIdentify 1.4 is vrijgegeven voor de app store, en komt in de loop van komende dagen voor iedereen beschikbaar.

Het issue dat de locatiebepaling niet altijd nauwkeurig is heeft onze aandacht. In ObsIdentify 1.4 is dit ten dele opgelost door als de onnauwkeurigheid bekend is, deze ook te bewaren bij de waarneming. Het probleem voor met name Android is dat de onnauwkeurigheid niet altijd bekend is. In dit geval kunnen we een grotere default hanteren, eventueel met een herkenbare waarde zoals 999 m. Tevens zijn er manieren om de locatiebepaling nauwkeuriger te maken, zoals hier al aangegeven en zoals iObs en ObsMapp dit doen. We zullen checken of ObsIdentify dit op een vergelijkbare manier kan doen.

Martijn van Sluijs

Dat is fijn om te lezen. Mochten verschillende/meerdere opties om de locatiebepaling te verbeteren naar voren komen, is het wellicht een mogelijkheid om deze hier (ook) te delen/bespreken om voor- en nadelen af te wegen. Hier wordt meegelezen door zowel mensen met technische kennis van zaken als door mensen die aan de 'andere' kant zitten bij de analyse en interpretatie (en alles daar tussenin). Een technisch fijne oplossing voor data-inwinning is niet altijd ideaal voor data-analyse en vice versa.
Vriendelijke groeten,
Martijn