Kleed fotos en waarneming te verschillend

Gestart door marijke_kanters, september 01, 2019, 11:51:52 AM

Vorige topic - Volgende topic

marijke_kanters

Bij het opvragen van de foto's van Scaeva pyrastri in de levensfase larve/nimf in de periode 2000-2019 komen ze niet allemaal tevoorschijn. Slechts een klein gedeelte.

Groetjes, Marijke

Arp

Hoi Marijke,

Citaat van: marijke_kanters op september 01, 2019, 11:51:52 AM
Bij het opvragen van de foto's van Scaeva pyrastri in de levensfase larve/nimf in de periode 2000-2019 komen ze niet allemaal tevoorschijn. Slechts een klein gedeelte.

Lijkt op deze meldingen:
https://forum.waarneming.nl/smf/index.php?topic=443811.msg2334575#msg2334575
https://forum.waarneming.nl/smf/index.php?topic=452875.msg2328734#msg2328734

Ik dacht dat er wat aan gebeurd was, maar kennelijk gaat het nog steeds mis...

Als je op de oude site larve/nimf opvraagt krijg je 29 foto's.
Als je op de oude site larve opvraagt krijg je ook 29 foto's maar wel deels andere (!)
Groetengedoe, Arp (wrn - JungleDragon)

gbeersma

Ja, dit heb ik ook al diverse keren aangekaart, maar ik heb de moed inmiddels opgegeven dat er serieus naar gekeken wordt, terwijl dat m.i. heel makkelijk is.
Vriendelijke groeten, Gerard Beersma

https://waarneming.nl/users/104779/photos/?

hiskodevries

nu kan daar wel serieus naar gekeken worden, omdat op zowel de oude als de nieuwe site eventuele foto`s bij wijzigen kleed ook bijgewerkt worden.
onder bepaalde voorwaarden: kleed van de waarneming en foto(s) moet voor de wijziging gelijk zijn.

Het naderhand bijwerken via een opdracht rechtstreeks op de database is wel erg tricky. Maar dat zou kunnen als de waarneming maar 1 foto heeft of als het aantal individuen 1 is en 1 of meer foto`s aan de waarneming hangen.
In die twee situaties kun je er van uit gaan dat kleed op de foto('s) gelijk moet zijn aan de waarneming.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

bij nader inzien kan die laatste ook niet, want iemand kan een metamorfose vastgelegd hebben.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

als ik mijn dingetje heb gedaan wordt het zo https://waarneming-acc.nl/species/1711/photos/?after_date=2000-01-01&before_date=2019-08-24&search=&advanced=on&user=&location=&sex=&province=&life_stage=LARVA_NYMPH&activity=&method=&validation_status=
(bij die eerste foto moet een validator nog even ingrijpen)
op de test omgeving https://waarneming-acc.nl zijn alle foto`s voor waarneming.nl bijgewerkt:
Als kleed waarneming ongelijk was aan kleed wat vastgelegd was bij alle foto`s.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

Nog een kleine aanpassing gedaan. Als de waarneming op kleed 'onbekend' staat en bij de foto('s) staat wat anders dan doe ik niets.
Dat is een situatie die nogal eens optreedt bij groepen van 1 soort
b.v. een groep kokmeeuwen met kleed onbekend maar bij de foto winterkleed. Die sluit ik uit
Als jullie op https://waarneming-acc.nl eens gaan testen met de resultaten en ik hoor dat dit een vooruitgang is doe ik dit ook op https://waarneming.nl en de andere sites.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Arp

Hoi Hisko,

zojuist had ik een uurtje aan een antwoord zitten formuleren voor het oude topic. Maar ik zie dat je al lekker bezig bent - fijn!

Ik gooi m'n tekst hier nu toch even neer vanwege wat ideetjes erin, maar ga later vandaag nog eens rustig kijken naar de implicaties van je wijzigingen.

================ Antwoord NIET volledig ====================
Hoi Hisko,

vooraf even terzijde: For the sake of argument hebben we het nu over kleden en dan met name juveniel versus adult (nimf en/of larve versus imago), maar hetzelfde verhaal gaat ook in grote lijnen op voor man/vrouw/onbekend. Dat laat ik nu even buiten beschouwing, maar kan naar smaak zelf worden ingevuld.

Er zijn twee problemen die aangepakt moeten worden en het is denk ik goed die even duidelijk te onderscheiden:

1) Bij nieuwe wijzigingen in het kleed van de waarneming moet voorkomen worden dat dit probleem verder geïntroduceerd wordt door op een intelligentere manier het kleed van de foto's ook mee te evalueren en zomogelijk aan te passen.

2) De backlog van door deze onduidelijkheid ontstane inconsistenties/fouten oplossen, liefst geautomatiseerd.

Voor (1) is het relatief simpel. Er is op dat ogenblik iemand (waarnemer/validator) actief met de waarneming bezig en voert een wijziging door. Als je al bang bent om daar automatisch iets slims mee te doen, dan kun je minimaal desnoods simpelweg te vragen: "Is het okay om het kleed van alle foto's ook mee aan te passen". Of misschien beter nog, gewoon melden "Let op: Het kleed van alle bijbehorende foto's wordt ook aangepast" of iets dergelijks. De gevallen waarin dat toevallig een keer niet wenselijk zou kunnen zijn en dan wat extra handwerk oplevert vallen in het niet bij al het extra werk dat nu veroorzaakt wordt door angstig "niks doen".

Als je het compleet fraai wilt oplossen bied je na de wijziging "kleed" van de waarneming een scherm aan waarin je alle foto's van de waarneming presenteert met een checkbox ernaast voor "kleed meewijzigen" (waarin alvast alles is aangevinkt) en een afsluitende knop voor "Accepteren". Als er dan onverwacht toch een foto tussenzit die niet mee moet, dan vinkt men die uit voordat er op accepteren geklikt wordt en anders meteen doorklikken.

De insteek "liever makkelijk veel corrigeren en misschien een beetje nieuw werk genereren" geldt ook een beetje voor (2). Er ligt nu een enorme berg werk aan bestaande waarnemingen waarbij op deze manier fouten zijn ontstaan en wrang genoeg zijn die fouten juist mede ontstaan omdat validatoren en waarnemers gezamenlijk proberen om incorrecte kleden te corrigeren. Kindjes en badwater.

Naar schatting 99++% van die fouten kun je oplossen door compleet te doen alsof je gek bent en gewoon bij alle waarnemingen waar een discrepantie tussen kleed van de waarneming en kleed van de foto's bestaat dit botweg gelijk te trekken. Ja, dan gaat er een heel klein percentage waarnemingen mee waar dit nou juist miscchien niet had gemoeten (metamorfoses bijvoorbeeld inderdaad), waarmee je dan nieuwe fouten introduceert die eerst goed stonden.

Je kunt ervoor kiezen om dat te accepteren omdat je daarmee het te verzetten handwerk (voor validators en/of waarnemers) toch enorm reduceert. Naar mijn inschatting zou het al snel neerkomen op in plaats van 1000 stupide kleedinconsistenties waarvan niemand snapt dat ze nodig waren, dan nog maar een vijftal ofzo waarnemingen met de hand weer rechtzetten, daar waar door een speciale situatie (metamorfose) iets overhoop is getrapt.

Dat is alvast één insteek, waar best wat voor te zeggen is. Natuurlijk is het wel netjes om bij een dergelijke automatische inhaalslag dan bij de waarnemers te melden wat er veranderd is. Je zou ervoor kunnen kiezen om deze inhaalslag per waarnemer af te handelen en dan een "verzamelmail" te sturen waarmee de waarnemer in één keer over alle wijzigingen geïnformeerd wordt, zodat de mailbox niet wordt volgespamd met honderden "kleed veranderd" mailtjes.

Maar je hoeft natuurlijk ook niet per se "compleet te doen alsof je gek bent". Er is best wel een hoop logica te verzinnen waarmee je gewoon behoorlijk zeker kunt zijn dat het goed gaat (of er was al iets anders fout) en dan eventueel bij de overgebleven gevallen een (verzamel?!?)mail naar de waarnemer sturen: "Kijk hier even naar: Het lijkt alsof de kleden van waarneming en foto's niet bij elkaar passen".


Logica:

Zo laten
Wrn n exemplaren, kleed "onbekend", n foto's waarvan sommigen met ingevuld kleed (*1)
- (*1) dit is de "luie" versie van geen zin om groepssamenstelling in te vullen. Grote kans dat de kleden bij de foto's kloppen

Botweg gelijktrekken:
Wrn 1 exemplaar, 1 foto
Wrn n exemplaren, 1 kleed (geen groepssamenstelling), 1 foto

Gelijktrekken en/of navraag:
Voor deze is er een heeeele kleine kans dat er iets "vreemds" aan de hand is in de zin van misschien een vastgelegde metamorfose. Je kunt dat automatisch wijzigen en (apart) melden, of gewoon op het bordje van de waarnemer gooien met de vraag "Kijk even".
Wrn 1 exemplaar, n foto's
Wrn n exemplaren, 1 kleed (geen groepssamenstelling), n foto's

==== NOG VERDER UITWERKEN (eventueel) =====

Dan ga ik nu weer wat doen wat ik eigenlijk doen moest  ;D
Groetengedoe, Arp (wrn - JungleDragon)

hiskodevries

#8
wat jij onder logica beschrijft heb ik vrijwel zo uitgevoerd
als kleed bij de waarneming<>'ONBEKEND'
dan kijken of kleed van foto <> waarneming
dan kijken of alle kleden bij die foto`s hetzelfde zijn
Als aan al die voorwaarden is voldaan dan wordt/worden de foto('s) gewijzigd.
Voor Waarneming.nl betreft dit 150.000 waarnemingen met een veelvoud aan foto`s

Of het nu in de sofware helemaal waterdicht is durf ik nog te betwijfelen.
Want ik zie dit ook nog bij recente waarnemingen ontstaan.
Dat behoeft nog enig onderzoek.
Nee we gaan de waarnemer niet met een berg vragen opzadelen na een wijziging

Update: ik heb dit ook maar even op de produktieserver uitgevoerd, want dan is beter te checken of de de functies om foto`s bij te werken wel goed functioneren
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Arp

Mooi dat je het zo voortvarend hebt opgepakt Hisko - dikke pluim  :duim: 
Groetengedoe, Arp (wrn - JungleDragon)

Arp

Hisko, ik schrik een beetje ... ik relaliseer me net dat ik zelf in elk geval misschien wel twee verschillende problemen waar ik in m'n hoofd en mail met anderen mee bezig was hier op het forum door elkaar aan het gooien ben ...  :rolleyes:

a) Er is het probleem van Marijke (eerste bericht in dit afgesplitste topic) wat volgens mij terug te voeren is op het "dubbel" optreden van larve, nimf en larve/nimf met verschillende kleed-identifiers in de database.

b) En er is het probleem wat we via de email bespraken ivm met het verschil in kleden tussen wrn en foto's, o.a. bij wantsennimfen.

Dat laatste lijk je nu nu op te pakken en daar ging mijn laatste bericht met voorstellen ook over, maar dat eerste is toch wat anders denk ik?! 
Groetengedoe, Arp (wrn - JungleDragon)

hiskodevries

ik denk dat dit tegelijk opgelost is, want foute kleden worden bij de waarneming wel bijgewerkt, maar niet bij de foto
check haar foto overzicht
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

gbeersma

Ik heb nog geen tijd gehad om hier goed naar te kijken maar wil toch alvast even melden dat ik het heel fijn vind dat dit opgepakt wordt!  :duim:
Vriendelijke groeten, Gerard Beersma

https://waarneming.nl/users/104779/photos/?