Vragen en opmerkingen over obsidentify

Gestart door hiskodevries, november 11, 2019, 08:46:27 AM

Vorige topic - Volgende topic

hiskodevries

dat zou een optie betekenen. Dat willen we niet in obsidentify.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Tom Damm

Jan-Jaap, jij gebruikt toch niet de app ObsIdentify, maar de ID-knop in de app ObsMapp? Daarin zou het inderdaad handig kunnen zijn. Dan zou je dus via ObsMapp aan het systeem (NIA) bij Naturalis moeten kunnen vertellen binnen welke soortgroep je wilt zoeken (en dan moet dat systeem ook weten welke foto's uit zijn database bij welke soortgroep horen).
Groet, Tom

marcel234

Citaat van: Tom Damm op augustus 21, 2020, 12:11:55 PM
Dan zou je dus via ObsMapp aan het systeem (NIA)
Je kan ook het resultaat filteren op soortgroep.

Michiel en Milka

Citaat van: Tom Damm op augustus 21, 2020, 12:11:55 PM
Jan-Jaap, jij gebruikt toch niet de app ObsIdentify, maar de ID-knop in de app ObsMapp? Daarin zou het inderdaad handig kunnen zijn. Dan zou je dus via ObsMapp aan het systeem (NIA) bij Naturalis moeten kunnen vertellen binnen welke soortgroep je wilt zoeken (en dan moet dat systeem ook weten welke foto's uit zijn database bij welke soortgroep horen).
Ik heb dat ook een keer gevraagd, maar NIA (wat een nietszeggende naam/afkorting is dat trouwens) kan daar niet mee uit de voeten, want kent geen taxonomie. Werk aan de winkel zou ik zeggen.

Citaat van: marcel234 op augustus 21, 2020, 14:15:51 PM
Citaat van: Tom Damm op augustus 21, 2020, 12:11:55 PM
Dan zou je dus via ObsMapp aan het systeem (NIA)
Je kan ook het resultaat filteren op soortgroep.
Hoe dan?
Groet, Michiel

Martijn van Sluijs

#184
Natuurlijk zou het handig zijn als er per soortgroep een apart herkenningsmodel was, en dat dus al op voorhand een keuze zou kunnen worden gemaakt voor een soortgroep. Je draait echter niet zomaar 'even een nieuw herkenningsmodelletje' in elkaar. Het is niet voor niets dat er behoorlijke tijd tussen huidige nieuwe herkenningsmodellen zit. Een nieuw model of een nieuwe versie van een model maken kost (veel) tijd.

Er zijn iets van 20 soortgroepen geloof ik. Wil je dit ter uitvoering brengen, moeten er dus 20 herkenningsmodellen op worden gebouwd en onderhouden. Ieder van die 20 modellen kost ongeveer net zoveel moeite en tijd om in elkaar te zetten als nu één groot model kost. De gebruikte infrastructuur kan wellicht deels worden gekopieerd, maar de parameterafstelling is ongetwijfeld sterk verschillend. Dit door verschillen in aantal te herkennen soorten, maar ook door verschillen in het gemiddeld aantal referentieafbeeldingen per soort (om er nog maar over te zwijgen over dat bij de ene soortgroep andere visuele kenmerken waardevol zijn voor computerherkenning dan bij de andere soortgroep etc. etc.).

Met behoud van de huidige tijdscapaciteit die aan de beeldherkenning verbonden zit, zou dit er dus uiteindelijk voor zorgen dat we er 20 herkenningsmodellen erbij krijgen, maar dat we 20 keer zo lang moeten wachten op nieuwe versies. Lijkt mij zeer ongewenst.

Wat marcel234 voorstelt is wel mogelijk. In plaats van 20 nieuwe modellen laten trainen om de optie te bieden om iedere soortgroep apart te laten herkennen, de uitkomsten van het huidige (alles overkoepelende) model filteren op basis van de geselecteerde soortgroep(en). Dan heb je echter niet de voordelen van betere herkenning door de inputdata op te splitsen in meerdere modellen (kleiner aantal te herkennen groepen vergroot over het algemeen de nauwkeurigheid). Het enige wat je dan doet is automatisch de 'voorspellingen' die niet onder de geselecteerde soortgroep(en) vallen eruit filteren. Dit voegt in mijn ogen vrij weinig toe voor het codeerwerk wat het kost. Ik mag toch aannemen dat de waarnemer zelf ook nog na kan zoeken welke van de ca. vijf voorspellingen een vlieg zijn en welke een plant. De voorgestelde functie zou tenslotte toch alleen voor ervaren waarnemers bedoeld zijn.

Citaat van: Michiel en Milka op augustus 21, 2020, 15:02:39 PM
Ik heb dat ook een keer gevraagd, maar NIA (wat een nietszeggende naam/afkorting is dat trouwens) kan daar niet mee uit de voeten, want kent geen taxonomie. Werk aan de winkel zou ik zeggen.
'Werk aan de winkel'. Dat is makkelijk gezegd. Draag een functionerende, uitvoerbare oplossing binnen beeldherkenningssoftware aan zou ik zeggen. Ik ken er behalve de twee opties hierboven geen, en ben erg benieuwd.
Vriendelijke groeten,
Martijn

Michiel en Milka

Citaat van: Martijn van Sluijs op augustus 21, 2020, 15:28:12 PM
Natuurlijk zou het handig zijn als er per soortgroep een apart herkenningsmodel was, [..]
Citaat van: Michiel en Milka op augustus 21, 2020, 15:02:39 PM
Ik heb dat ook een keer gevraagd, maar NIA (wat een nietszeggende naam/afkorting is dat trouwens) kan daar niet mee uit de voeten, want kent geen taxonomie. Werk aan de winkel zou ik zeggen.
'Werk aan de winkel'. Dat is makkelijk gezegd. Draag een functionerende, uitvoerbare oplossing binnen beeldherkenningssoftware aan zou ik zeggen. Ik ken er behalve de twee opties hierboven geen, en ben erg benieuwd.
Ik heb geen verstand van beeldherkenningssoftware., dus die oplossing ga je van mij niet krijgen. Hisko gaf eerder in een reactie aan dat het systeem beter zou worden als de taxonomie wel bekend zou zijn. Ik verbaas me er gewoon over dat die niet in het systeem zit, want er hangt toch een soortnaam aan een foto. Mijn idee is: Je voert een foto in en krijgt dan de keus: 1. zoek in alle soortgroepen of 2. zoek in specifieke soortgroep(-combinatie). (teruglezend: wat Jan-Jaap een paar dagen geleden ook schreef) Maar als de tijdsinvestering die het kost om dat te bouwen niet opweegt tegen de verbetering in uitkomst van het systeem, óf als het gewoon niet kan, dan snap ik ook wel dat het er niet komt.
Groet, Michiel

Martijn van Sluijs

Heb er nog eens over nagedacht. Het is technisch wel mogelijk om de beeldherkenning 'taxonomie te laten kennen' (als het budget, de tijd, en de capaciteit oneindig zijn). Dan wordt een model gemaakt voor ieder taxonomisch niveau, en laat men iedere afbeelding stapsgewijs door deze verschillende modellen lopen, van soortgroep helemaal naar beneden tot ondersoort.

Dus bijvoorbeeld voor een madeliefje: eerst een model om te bepalen welke soortgroep het is -> 'Planten'. Dan een model om te bepalen welke familie het is binnen deze soortgroep-> 'Asteraceae'. Dan een model om te bepalen welk geslacht het is binnen deze familie -> 'Bellis'. En dan een model om te bepalen welke soort het is binnen dit geslacht -> 'Bellis perennis'.

Dan maakt men dus een model voor iedere taxonomische eenheid waar meerdere taxonomische eenheden onder vallen. Alle families met meerdere geslachten, alle soorten met meerdere ondersoorten/varianten etc. etc. Het aantal (beeldherkennings-)modellen loopt dan in de (tien?)duizenden. De modelinfrastructuur en parameters van al deze modellen moeten dan geautomatiseerd worden (wellicht ook met AI), want op die schaal kan dat niet meer handmatig.

De suggestie/'voorspelling' die dan gegeven wordt, is bij voorkeur het laatste niveau waarop dit systeem 'zeker was van zichzelf'. Dat kan op het niveau van 'soort' zijn, maar ook van familie of soortgroep.

Maar nogmaals, dit is niet te verwachten van waarneming.nl (op dit moment dan toch tenminste, wie weet over tientallen jaren...). Er is een reden waarom ik nog geen systeem tegen ben gekomen/ heb gemaakt met dergelijke structuurherkenning: het kost ongelofelijk veel tijd en werk. Bovendien: wanneer zoiets nog niet of nauwelijks bestaat kun je ook niet meeliften op beschikbare kennis, en moet alles van de grond op beredeneerd en gecodeerd worden (met alle valkuilen die dit soort nieuwe ontwikkeling met zich mee brengt).

Daarnaast betwijfel ik ook nog eens of je werkelijk betere resultaten haalt t.o.v. de huidige werkwijze. De foutmarge van de (kleinere, meer toegespitste, specifiekere) modellen op zich zal lager zijn. Doordat echter meerdere modellen doorlopen worden per 'determinatie', stapelt deze foutmarge zich wel op. De totale foutmarge wordt dan hoger dan bij één groot model verwacht ik.
Vriendelijke groeten,
Martijn

barbarap

Hoi Gerrian e.a.
begrijp ik het goed dat de nieuwe versie van de obsidentify app doel heeft simpeler invoeren? of is het doel dat men deze juist meer als id-er gebruikt zonder per se een waarneming op te voeren?
voor de duidelijkheid, ik heb de oude offline obsidentify een tijd gebruikt, stuurde de waarnemingen als gewenst dan door naar de obsmapp app en uploade ze dan.
losse waarnemingen doe ik nu vaker rechtstreeks via url waarneming.nl omdat dat weinig klikken is.
onlangs zag ik een nieuwe obsidentify app, die heb ik nu naast de oude draaien...of is hiermee obsmapp overbodig geworden? of moet het zich nog verder uitkristaliseren?
alvast bedankt,
groet,
Barbara

Gerrian

Het doel van Obsidentify is geloof ik om het voor de waarnemer zo laagdrempelig mogelijk te maken. Hierbij wordt er aan voorbij gegaan dat hierdoor het werk voor de admins toeneemt, omdat er in Obsidentify niets te wijzigen is. Dat moet de waarnemer dus op de website alsnog doen en veel waarnemers doen dit niet.

Ik zou graag zien dat het direct invoeren via Obsidentify helemaal onmogelijk gemaakt zou worden, maar dat de waarnemer de waarneming moet doorsturen naar ObsMapp of iObs en hem van daaruit invoeren in Waarneming.nl. Dus zoals het was in de eerdere versie.
Ik sprak gisteravond nog iemand die de oude versie op haar telefoon had draaien en nu de app ook op de telefoon van haar man had gezet. Dat was dus de nieuwe versie. Ze vroeg zich af waarom de app op haar telefoon zoveel plezieriger werkte dan op de telefoon van haar man. Nieuw is niet altijd beter.

Ikzelf gebruik Obsidentify helemaal niet. Voor de herkenning in het veld is hij nutteloos omdat de app voor iPhone alleen online te gebruiken is. Ik heb in het veld geen internet. En voor de herkenning thuis heb ik de app niet nodig, want dan kan ik gebruik maken van de beeldherkenning op de website.


Maakun

Citaat van: Gerrian op september 16, 2020, 08:49:22 AM

Ik zou graag zien dat het direct invoeren via Obsidentify helemaal onmogelijk gemaakt zou worden, maar dat de waarnemer de waarneming moet doorsturen naar ObsMapp of iObs en hem van daaruit invoeren in Waarneming.nl. Dus zoals het was in de eerdere versie.

Alsjeblieft niet, ik vind ObsMapp echt super gebruiksonvriendelijk. De combi Obsidentify (even snel als je onderweg bent) en dan later rustig aanpassen via de site thuis vind ik tig keer fijner.
Gr, Maarten

Timo Roeke

Een combinatie van apps gebruiken om een waarneming op te slaan is contraproductief. Daar gaan we niet aan beginnen. Bovendien verhogen we daarmee de drempel om nieuwe gebruikers aan boord te krijgen.
Daarbij horen wij juist dat de oude app veel ruimte voor verbetering heeft. Daarom is die vervangen door de nieuwe. Die wordt niet alleen veel gebruikt maar er komen dagelijks nieuwe gebruikers bij die tevreden zijn.

@Barbara - ObsMapp is zeker niet overbodig geworden. ObsMapp en iObs bieden meer opties om context te schetsen. Dat is waar de automatische beeldherkenning (NIA) nu nog tekort schiet en daarmee extra werk voor admins bezorgt. We zijn met beperkte tijd en middelen op zoek naar een manier om NIA verder te ontwikkelen. Uiteindelijk is het de bedoeling dat bijvoorbeeld automatisch wordt aangegeven dat het een rups of imago is. Het wordt hierboven ook aangegeven maar dit zijn tijdrovende trajecten. We zijn immers met zaken bezig die nieuw zijn. Bovendien loopt onze software vaak voor op de concurrentie qua soortenherkenning in verschillende soortgroepen.
 

RutgerB

Ik wilde (wederom) iets schrijven over de vele niet juiste plaatsaanduidingen die uit Obsidentify komen, maar twijfelde omdat het mogelijk niet aan de app alleen ligt, maar voornamelijk aan de gebruikte telefoons en hun verbindingen. Als verschillende mensen dezelfde plant op 1 en dezelfde plaats waarnemen met Obsidentify, ontstaat er een wolk van waarnemingen, waarvan de vraag is welke de échte plek is. Zeker voor statische organismen als planten is dit zeer onwenselijk.  Daarom wil ik graag dat dit toch opgelost wordt.

Voorbeeld: https://waarnemingen.be/locations/27403/observations/?after_date=2020-09-14&before_date=2020-09-17&species=&species_group=10&rarity=&search=hemelboom&user=&sex=&life_stage=&activity=&method=&own_sightings=&validation_status=



sjogro

- Als ik in dit topic een beetje een indruk probeer te krijgen van wat de doelgroep is voor ObsIdentify dan gaat het over mensen die het verschil niet weten tussen een bij en een vlinder, een vlieg of een wesp. Er is ook een groep mensen die dit wel weet, en die ook interesse heeft om meer te leren, maar die geen beroeps veldbioloog zijn. Welke applicatie of gereedschap is er volgens insiders op dit moment het meest geschikt voor deze doelgroep?

- Waarom kunnen 'ObsIdentify-doelgroepers' bij een onzekere matching een soort kiezen met een laag percentage matching en deze waarneming uploaden terwijl gebruikers van de 'meer geavanceerde app' iObs te maken hebben met een drempelwaarde van minimaal 95% zekerheid bij foto matching?

- Ik hoop dat de foto match mogelijkheden zoals op de site en in ObsIdentify ook naar iObs komen: Fotoselectie analyseren en matches presenteren. Wat vinden insiders daar van? Gaat dit ooit komen, wordt dit überhaupt overwogen?

- Ís er ergens te zien wat er per applicatie in de pijplijn zit qua verbeteringen? (Niet alleen een topic voor suggesties, maar een opsomming van daadwerkelijk geplande verbeteringen/ontwikkelingen)

- Dankbaar en blij met alle mooie gadgets/tools die er zijn, maar zoekende naar waar ik thuis hoor qua doelgroep voor een prettige 'workflow'.. Dank!

Timo Roeke

Citaat van: Rutger Barendse op september 17, 2020, 12:17:17 PM
Ik wilde (wederom) iets schrijven over de vele niet juiste plaatsaanduidingen die uit Obsidentify komen, maar twijfelde omdat het mogelijk niet aan de app alleen ligt, maar voornamelijk aan de gebruikte telefoons en hun verbindingen. Als verschillende mensen dezelfde plant op 1 en dezelfde plaats waarnemen met Obsidentify, ontstaat er een wolk van waarnemingen, waarvan de vraag is welke de échte plek is. Zeker voor statische organismen als planten is dit zeer onwenselijk.  Daarom wil ik graag dat dit toch opgelost wordt.

Voorbeeld: https://waarnemingen.be/locations/27403/observations/?after_date=2020-09-14&before_date=2020-09-17&species=&species_group=10&rarity=&search=hemelboom&user=&sex=&life_stage=&activity=&method=&own_sightings=&validation_status=
Dat is met al onze apps het geval Rutger. Dit gaat ook op voor iObs en ObsMapp. Er zijn honderden 'soorten' telefoons in de omloop en afhankelijk van de hardware en software vinden vangen zij het GPS signaal op. In de ideale wereld plaatst iedereen hun peil op de plek het organisme maar in de praktijk is dat niet het geval.

Citaat van: sjogro op oktober 01, 2020, 15:07:06 PM
- Als ik in dit topic een beetje een indruk probeer te krijgen van wat de doelgroep is voor ObsIdentify dan gaat het over mensen die het verschil niet weten tussen een bij en een vlinder, een vlieg of een wesp. Er is ook een groep mensen die dit wel weet, en die ook interesse heeft om meer te leren, maar die geen beroeps veldbioloog zijn. Welke applicatie of gereedschap is er volgens insiders op dit moment het meest geschikt voor deze doelgroep?

- Waarom kunnen 'ObsIdentify-doelgroepers' bij een onzekere matching een soort kiezen met een laag percentage matching en deze waarneming uploaden terwijl gebruikers van de 'meer geavanceerde app' iObs te maken hebben met een drempelwaarde van minimaal 95% zekerheid bij foto matching?

- Ik hoop dat de foto match mogelijkheden zoals op de site en in ObsIdentify ook naar iObs komen: Fotoselectie analyseren en matches presenteren. Wat vinden insiders daar van? Gaat dit ooit komen, wordt dit überhaupt overwogen?

- Ís er ergens te zien wat er per applicatie in de pijplijn zit qua verbeteringen? (Niet alleen een topic voor suggesties, maar een opsomming van daadwerkelijk geplande verbeteringen/ontwikkelingen)

- Dankbaar en blij met alle mooie gadgets/tools die er zijn, maar zoekende naar waar ik thuis hoor qua doelgroep voor een prettige 'workflow'.. Dank!
ObsIdentify is een uitstekende app als je meer wilt weten over de natuurlijke wereld om je heen. Zo ken ik zelf aardig wat nachtvlinders en paddenstoelen maar toch gebruik ik ObsIdentify regelmatig voor die soortgroepen. De doelgroep is de natuurliefhebber. Het gaat niet om het niveau van de deze persoon. Alles weten over zoveel soortgroepen is haast onmogelijk.

We zijn bezig met een nieuwe strategie qua mobiele apps. Het is ons streven om uiteindelijk onze beeldherkenning op een universele manier te presenteren in onze producten.

We hebben nergens een plek waar je de toekomstplannen van de app kan volgen. Informatie hierover schept verwachtingen. De praktijk is echter weerbarstig en tijd/middelen schaars. Het is wel mogelijk om je aan te melden als Beta tester. Zie: https://forum.waarneming.nl/index.php/topic,470782.0.html

Probeer onze apps uit en kijk wat werkt. 

sjogro

CiteerWe zijn bezig met een nieuwe strategie qua mobiele apps. Het is ons streven om uiteindelijk onze beeldherkenning op een universele manier te presenteren in onze producten.

Klinkt goed, daar kan ik me op verheugen, bedankt.

Jan-Jaap Spaargaren

Citaat van: Martijn van Sluijs op augustus 21, 2020, 19:27:25 PM
Heb er nog eens over nagedacht. Het is technisch wel mogelijk om de beeldherkenning 'taxonomie te laten kennen' (als het budget, de tijd, en de capaciteit oneindig zijn). Dan wordt een model gemaakt voor ieder taxonomisch niveau, en laat men iedere afbeelding stapsgewijs door deze verschillende modellen lopen, van soortgroep helemaal naar beneden tot ondersoort.

Dus bijvoorbeeld voor een madeliefje: eerst een model om te bepalen welke soortgroep het is -> 'Planten'. Dan een model om te bepalen welke familie het is binnen deze soortgroep-> 'Asteraceae'. Dan een model om te bepalen welk geslacht het is binnen deze familie -> 'Bellis'. En dan een model om te bepalen welke soort het is binnen dit geslacht -> 'Bellis perennis'.

Dan maakt men dus een model voor iedere taxonomische eenheid waar meerdere taxonomische eenheden onder vallen. Alle families met meerdere geslachten, alle soorten met meerdere ondersoorten/varianten etc. etc. Het aantal (beeldherkennings-)modellen loopt dan in de (tien?)duizenden. De modelinfrastructuur en parameters van al deze modellen moeten dan geautomatiseerd worden (wellicht ook met AI), want op die schaal kan dat niet meer handmatig.

De suggestie/'voorspelling' die dan gegeven wordt, is bij voorkeur het laatste niveau waarop dit systeem 'zeker was van zichzelf'. Dat kan op het niveau van 'soort' zijn, maar ook van familie of soortgroep.

Maar nogmaals, dit is niet te verwachten van waarneming.nl (op dit moment dan toch tenminste, wie weet over tientallen jaren...). Er is een reden waarom ik nog geen systeem tegen ben gekomen/ heb gemaakt met dergelijke structuurherkenning: het kost ongelofelijk veel tijd en werk. Bovendien: wanneer zoiets nog niet of nauwelijks bestaat kun je ook niet meeliften op beschikbare kennis, en moet alles van de grond op beredeneerd en gecodeerd worden (met alle valkuilen die dit soort nieuwe ontwikkeling met zich mee brengt).

Daarnaast betwijfel ik ook nog eens of je werkelijk betere resultaten haalt t.o.v. de huidige werkwijze. De foutmarge van de (kleinere, meer toegespitste, specifiekere) modellen op zich zal lager zijn. Doordat echter meerdere modellen doorlopen worden per 'determinatie', stapelt deze foutmarge zich wel op. De totale foutmarge wordt dan hoger dan bij één groot model verwacht ik.

Beste mensen,
Wordt dit niet veel te moeilijk gemaakt? Ik denk even hardop:

In de database van Waarneming.nl zitten een hele boel foto's. Daar is bij elke foto opgeslagen welke taxa het betreft, en dus ook welke taxonomische hogere groepen. Ook is opgeslagen welke goedgekeurd is of niet.
ObsIdentify maakt nu gebruik van (denk ik, hoop ik) alleen díe foto's van goedgekeurde waarnemingen. Dat betekent dus dat in de database (plastisch gesproken) het vinkje 'goedgekeurd' is aangezet.
Dan lijkt het me ook mogelijk dat je een vinkje kan aanzetten bij b.v. soortgroep 'Planten', zodat alleen de foto's van deze soortgroep gebruikt gaan worden bij de herkennings-software.
Dan zou je toch denken (met enige kennis van databases) dat dit niet zo heel veel programmeerwerk in de Obsidentify-app betekent.

"Natuurlijk zou het handig zijn als er per soortgroep een apart herkenningsmodel was, en dat dus al op voorhand een keuze zou kunnen worden gemaakt voor een soortgroep. Je draait echter niet zomaar 'even een nieuw herkenningsmodelletje' in elkaar. Het is niet voor niets dat er behoorlijke tijd tussen huidige nieuwe herkenningsmodellen zit. Een nieuw model of een nieuwe versie van een model maken kost (veel) tijd."
Je hebt toch niet een apart herkenningsmodel nodig? Je beperkt alleen de keuze van foto's die voor het bestaande herkenningsmodel gebruikt gaan worden.

Ik vraag ook niet dat je als gebruiker steeds verder kan filteren op steeds lager taxonomisch niveau (want dat gaat inderdaad steeds meer werk kosten), maar alleen de hoofdgroepen zou al een hele verbetering zijn.

"Ik mag toch aannemen dat de waarnemer zelf ook nog na kan zoeken welke van de ca. vijf voorspellingen een vlieg zijn en welke een plant. De voorgestelde functie zou tenslotte toch alleen voor ervaren waarnemers bedoeld zijn."
Punt is alleen dat de voorgestelde voorspellingen van foute soortgroepen ten koste gaat van andere voorspellingen. Stel je laat een foto van een vlieg herkennen en er komen 2 kikkers, 2 planten, een lieveheersbeestje, 2 vliegen en 3 wantsen uit rollen. Dan ga je voor een van de 2 vliegen, waar heus nog niet de goede tussen hoeft te zitten. Als je kon opgeven dat alleen de foto's van de soortgroep Vliegen en muggen gebruikt mogen worden, heb je 10 suggesties uit de juiste soortgroep over, waardoor de kans dat de goede er tussen zit veel hoger is geworden.

Overigens vind ik het een enorm goede ontwikkeling, deze ObsIdentify, en ik gebruik hem dus vaak en graag. Dus hulde daarvoor!

Met vriendelijke groeten, Jan-Jaap

Martijn van Sluijs

Citaat van: Jan-Jaap Spaargaren op oktober 10, 2020, 22:25:28 PM
Beste mensen,
Wordt dit niet veel te moeilijk gemaakt? Ik denk even hardop:

In de database van Waarneming.nl zitten een hele boel foto's. Daar is bij elke foto opgeslagen welke taxa het betreft, en dus ook welke taxonomische hogere groepen. Ook is opgeslagen welke goedgekeurd is of niet.
ObsIdentify maakt nu gebruik van (denk ik, hoop ik) alleen díe foto's van goedgekeurde waarnemingen. Dat betekent dus dat in de database (plastisch gesproken) het vinkje 'goedgekeurd' is aangezet.
Dan lijkt het me ook mogelijk dat je een vinkje kan aanzetten bij b.v. soortgroep 'Planten', zodat alleen de foto's van deze soortgroep gebruikt gaan worden bij de herkennings-software.
Dan zou je toch denken (met enige kennis van databases) dat dit niet zo heel veel programmeerwerk in de Obsidentify-app betekent.

"Natuurlijk zou het handig zijn als er per soortgroep een apart herkenningsmodel was, en dat dus al op voorhand een keuze zou kunnen worden gemaakt voor een soortgroep. Je draait echter niet zomaar 'even een nieuw herkenningsmodelletje' in elkaar. Het is niet voor niets dat er behoorlijke tijd tussen huidige nieuwe herkenningsmodellen zit. Een nieuw model of een nieuwe versie van een model maken kost (veel) tijd."
Je hebt toch niet een apart herkenningsmodel nodig? Je beperkt alleen de keuze van foto's die voor het bestaande herkenningsmodel gebruikt gaan worden.

Ik vraag ook niet dat je als gebruiker steeds verder kan filteren op steeds lager taxonomisch niveau (want dat gaat inderdaad steeds meer werk kosten), maar alleen de hoofdgroepen zou al een hele verbetering zijn.

Het is belangrijk om te beseffen dat de beeldherkenning niet hetzelfde functioneert als een handgeschreven dichotome determineertabel, die in het begin alle soortgroepen 'opsplitst' aan de hand van een paar kenmerken, en dan langzaam naar soortniveau toewerkt. Het werkt aan de hand van structuren, kleuren, vormen, en 'leert' zichzelf een manier van herkennen aan die wij als mens helemaal niet voor kunnen stellen. Je kunt er niet zomaar op voorhand een soortgroep uitpikken om de voorspelling binnen te laten doen. Als je dat wil moet je de soortgroep apart uit de database plukken (dat is inderdaad niet zo moeilijk), en opnieuw een beeldherkenningsmodel op laten trainen. Dit trainen duurt uren tot soms dagen, en bovendien kom je er vaak achter dat de structuur/parameters van het model gaandeweg nog aangepast moeten worden aan de nieuwe situatie (meer/minder groepen te identificeren, ander soort 'kenmerken' van belang etc.). En dan kom je weer uit op het volgende wat ik eerder in dit topic schreef:

Citaat van: Martijn van Sluijs op augustus 21, 2020, 15:28:12 PM
Natuurlijk zou het handig zijn als er per soortgroep een apart herkenningsmodel was, en dat dus al op voorhand een keuze zou kunnen worden gemaakt voor een soortgroep. Je draait echter niet zomaar 'even een nieuw herkenningsmodelletje' in elkaar. Het is niet voor niets dat er behoorlijke tijd tussen huidige nieuwe herkenningsmodellen zit. Een nieuw model of een nieuwe versie van een model maken kost (veel) tijd.

Er zijn iets van 20 soortgroepen geloof ik. Wil je dit ter uitvoering brengen, moeten er dus 20 herkenningsmodellen op worden gebouwd en onderhouden. Ieder van die 20 modellen kost ongeveer net zoveel moeite en tijd om in elkaar te zetten als nu één groot model kost. De gebruikte infrastructuur kan wellicht deels worden gekopieerd, maar de parameterafstelling is ongetwijfeld sterk verschillend. Dit door verschillen in aantal te herkennen soorten, maar ook door verschillen in het gemiddeld aantal referentieafbeeldingen per soort (om er nog maar over te zwijgen over dat bij de ene soortgroep andere visuele kenmerken waardevol zijn voor computerherkenning dan bij de andere soortgroep etc. etc.).

Citaat van: Jan-Jaap Spaargaren op oktober 10, 2020, 22:25:28 PM
"Ik mag toch aannemen dat de waarnemer zelf ook nog na kan zoeken welke van de ca. vijf voorspellingen een vlieg zijn en welke een plant. De voorgestelde functie zou tenslotte toch alleen voor ervaren waarnemers bedoeld zijn."
Punt is alleen dat de voorgestelde voorspellingen van foute soortgroepen ten koste gaat van andere voorspellingen. Stel je laat een foto van een vlieg herkennen en er komen 2 kikkers, 2 planten, een lieveheersbeestje, 2 vliegen en 3 wantsen uit rollen. Dan ga je voor een van de 2 vliegen, waar heus nog niet de goede tussen hoeft te zitten. Als je kon opgeven dat alleen de foto's van de soortgroep Vliegen en muggen gebruikt mogen worden, heb je 10 suggesties uit de juiste soortgroep over, waardoor de kans dat de goede er tussen zit veel hoger is geworden.

Dan kun je dus veel beter de uitkomsten van het model filteren op soortgroep, dat kost minder programmeerwerk én minder onderhoud. Nadelen mbt nauwkeurigheid tov het maken van een herkenningsmodel per soortgroep heb ik hierboven al beschreven. Momenteel is de leiding van waarneming.nl erg terughoudend op dit filteren van uitkomsten. Zelfs wanneer admins bijvoorbeeld vragen of de beeldherkenning bij bepaalde ondersoorten altijd de soort wil suggereren ipv de ondersoort, omdat de ondersoort zonder microscopisch onderzoek bijvoorbeeld niet te bepalen is, wordt dit niet toegelaten. Allerlei redenen zijn hier inmiddels voor aangedragen, maar volgens mij zijn er best mogelijkheden. Het filteren van de resultaten op soortgroep is met dit gegeven in het achterhoofd in ieder geval echt nog een stap te ver. Helaas. Over het filteren/automatisch laten wijzigen van beeldherkenningsresultaten ben ik overigens van plan binnenkort een topic te openen, maar dat zal waarschijnlijk in het inmiddels geopende board 'NIA-Recognition software - Herkennings software' zijn, waar dit soort discussies beter thuis horen.

Beeldherkenningsmodellen zijn nu eenmaal niet intuïtief voor de meeste mensen, omdat ze zo afwijken van hoe wij naar de wereld kijken en onze determinaties uitvoeren. De uitkomsten lijken heel 'menselijk', maar onder de motorkap werkt alles heel anders. Voor ons zeer complexe dingen zijn daardoor soms heel simpel voor een model/AI, maar voor ons heel simpele dingen (zoals hier: "je mag in dit geval even alleen een plant proberen te herkennen op deze foto in plaats van alle soorten die je kent") zijn soms veel complexer voor een model/AI.
Vriendelijke groeten,
Martijn

marcel234

Citaat van: Michiel en Milka op augustus 21, 2020, 15:02:39 PM
Ik heb dat ook een keer gevraagd, maar NIA (wat een nietszeggende naam/afkorting is dat trouwens) kan daar niet mee uit de voeten, want kent geen taxonomie. Werk aan de winkel zou ik zeggen.
Citaat van: marcel234 op augustus 21, 2020, 14:15:51 PM
Citaat van: Tom Damm op augustus 21, 2020, 12:11:55 PM
Dan zou je dus via ObsMapp aan het systeem (NIA)
Je kan ook het resultaat filteren op soortgroep.
Hoe dan?
Citaat van: Martijn van Sluijs op oktober 11, 2020, 14:49:46 PM
Dan kun je dus veel beter de uitkomsten van het model filteren op soortgroep, dat kost minder programmeerwerk én minder onderhoud. Nadelen mbt nauwkeurigheid tov het maken van een herkenningsmodel per soortgroep heb ik hierboven al beschreven.

Dat bedoelde ik, resultaat/uitkomsten laten filteren door Obsmapp omdat NIA vermoedelijk geen taxonomie kent en Obsmapp (mits alle soorten van het herkenningsmodel geladen zijn) en de gebruiker wel. Die twee kun je dus wel laten filteren.

Enmos

Citaat van: Martijn van Sluijs op oktober 11, 2020, 14:49:46 PMBeeldherkenningsmodellen zijn nu eenmaal niet intuïtief voor de meeste mensen, omdat ze zo afwijken van hoe wij naar de wereld kijken en onze determinaties uitvoeren. De uitkomsten lijken heel 'menselijk', maar onder de motorkap werkt alles heel anders. Voor ons zeer complexe dingen zijn daardoor soms heel simpel voor een model/AI, maar voor ons heel simpele dingen (zoals hier: "je mag in dit geval even alleen een plant proberen te herkennen op deze foto in plaats van alle soorten die je kent") zijn soms veel complexer voor een model/AI.
Kan ik hieruit opmaken dat de soortgroepen in de database niet apart zijn ondergebracht en alles dus als het ware doorelkaar staat? Als dat zo is begrijp ik de moeilijkheid wel..

marcel234

#199
Citaat van: Enmos op oktober 20, 2020, 19:37:28 PM
Citaat van: Martijn van Sluijs op oktober 11, 2020, 14:49:46 PMBeeldherkenningsmodellen zijn nu eenmaal niet intuïtief voor de meeste mensen, omdat ze zo afwijken van hoe wij naar de wereld kijken en onze determinaties uitvoeren. De uitkomsten lijken heel 'menselijk', maar onder de motorkap werkt alles heel anders. Voor ons zeer complexe dingen zijn daardoor soms heel simpel voor een model/AI, maar voor ons heel simpele dingen (zoals hier: "je mag in dit geval even alleen een plant proberen te herkennen op deze foto in plaats van alle soorten die je kent") zijn soms veel complexer voor een model/AI.
Kan ik hieruit opmaken dat de soortgroepen in de database niet apart zijn ondergebracht en alles dus als het ware doorelkaar staat? Als dat zo is begrijp ik de moeilijkheid wel..
Dat staat er niet dus ik denk van niet. Men wil filteren op iets dat er niet is. Stel dat je de keuze hebt uit een rode, een blauwe en een witte bal en jij kiest de metallic Tesla met airco en vierwielaandrijving.

marcel234

#200
Citaat van: Martijn van Sluijs op augustus 21, 2020, 19:27:25 PM
Dan maakt men dus een model voor iedere taxonomische eenheid waar meerdere taxonomische eenheden onder vallen. Alle families met meerdere geslachten, alle soorten met meerdere ondersoorten/varianten etc. etc. Het aantal (beeldherkennings-)modellen loopt dan in de (tien?)duizenden. De modelinfrastructuur en parameters van al deze modellen moeten dan geautomatiseerd worden (wellicht ook met AI), want op die schaal kan dat niet meer handmatig.
Ik zag dat het doorrekenen van een model 210 dagen duurt. Zitten mogelijk 35.000 soorten in. Als ik je goed begrijp komen we dan bij benadering op (tien?)duizenden x 210 dagen?



Martijn van Sluijs

Citaat van: marcel234 op oktober 28, 2020, 21:53:14 PM
Citaat van: Martijn van Sluijs op augustus 21, 2020, 19:27:25 PM
Dan maakt men dus een model voor iedere taxonomische eenheid waar meerdere taxonomische eenheden onder vallen. Alle families met meerdere geslachten, alle soorten met meerdere ondersoorten/varianten etc. etc. Het aantal (beeldherkennings-)modellen loopt dan in de (tien?)duizenden. De modelinfrastructuur en parameters van al deze modellen moeten dan geautomatiseerd worden (wellicht ook met AI), want op die schaal kan dat niet meer handmatig.
Ik zag dat het doorrekenen van een model 210 dagen duurt. Als ik je goed begrijp komen we dan bij benadering op (tien?)duizenden x 210 dagen?
Allereerst betwijfel ik of het werkelijke berekenen van het model 210 dagen kost, of dat dit de volledige ontwikkeling is, want dat is iets fundamenteel anders.

De tijd die nodig is om een model door te rekenen is grofweg afhankelijk van het aantal te onderscheiden categorieën, het aantal lagen in het model, het aantal 'neurons' in die lagen, de rekencomplexiteit van deze neurons,  het aantal input samples (in dit geval foto's) waarop getraind wordt, en de rekencapaciteit/-snelheid van het systeem waarop dit doorrekenen gedaan wordt. Maximum waarvan ik gehoord heb/mee te maken gehad heb was een trainingsduur van 7 dagen. 210 dagen kan ik mij dan ook eigenlijk niet voorstellen.

Citaat van: marcel234 op oktober 28, 2020, 21:53:14 PM
Als ik je goed begrijp komen we dan bij benadering op (tien?)duizenden x 210 dagen?
Nee. Bijvoorbeeld: als ik een model maak om foto's van appels van foto's van peren te laten onderscheiden, en ik geef dat model 400 foto's van appels en 400 foto's van peren, dan duurt het trainen van een model wat prima functioneert nog geen tien seconden.

Dit zou bij modellen in de structuur die ik hier omschreef ook het geval zijn. Die deelmodellen zijn niet ieder lang niet even complex als één groot model (aantal lagen, aantal neurons, aantal input samples, en aantal te onderscheiden categorieën zijn allen lager). Bovendien hoef je niet álle foto's uit de onderliggende taxa mee te nemen. Neem als voorbeeld het eerste model wat doorlopen zou moeten worden; het onderscheiden tussen verschillende soortgroepen. Dan neem je niet alle foto's van vogels, alle foto's van planten etc mee. Je kunt dan prima af met 2000 foto's per soortgroep als trainingsdataset, meer dan dat geeft waarschijnlijk weinig tot geen extra nauwkeurigheid. Ook hiermee kan de rekentijd enorm worden beperkt.

Maar nogmaals, die methode geeft de mogelijkheid om te starten en stoppen op ieder gewenst taxonomisch niveau, maar zou voor de gemiddelde gebruiker geen betere resultaten opleveren dan de huidige methode. Bovendien kost het hoe dan ook meer reken- en ontwikkelingscapaciteit. Capaciteit die er blijkbaar niet is.
Vriendelijke groeten,
Martijn

sjogro

Gaat op de iPhone de fotokiezer van ObsIdentify ge-update worden?

Er is -- als ik het goed begrepen heb -- een nieuwe native fotokiezer in iOS 14 die onder andere een zoekveld ondersteund tijdens het selecteren van foto's uit de fotogalerij. Ook zijn de prestaties beter bij het laden/browsen van albums in iCloud. Daarnaast is er ook ondersteuning voor het bladeren van BESTANDEN ipv allen de FOTOKIEZER, op die manier kunnen ook bestanden uit een map geladen worden ipv alleen uit de fotogalerij.

Als ik de website gebruik zijn deze mogelijkheden er wel (screenshots):






Toelichting
Ik ervaar hinderlijk slechte prestaties van de huidige fotokiezer in ObsIdentify (met een iPhone XR), zoals ik hier heb gemeld (maar geen reactie op heb ontvangen).
Ik neig er daarom naar om de website te gebruiken, maar die is dan regelmatig weer niet in staat om GPS gegevens aan de foto's te ontfutselen, terwijl ObsIdentify dat met dezelfde foto's wel lukt.

Wat gaat er mis?

Timo Roeke

Beste Sjogro (wellicht handig om je echte naam in je handtekening te zetten),

Voor wat betreft de locatie-onnauwkeurigheid. Daaar zijn we druk mee bezig en een oplossing staat nu in beta-test staat.
Je overige punten heb ik doorgespeeld aan mijn collega die de app ontwikkeld. Bedankt voor je feedback.

dirder

Wanneer gaat het nu eindelijk eens ophouden? Als jullie obsidentify willen verbeteren, hou dan rekening met de grenzen ervan. Als obsidentify een braam ziet, dan is het rubus spec. en niks anders (uitgezonderd eventueel peterseliebraam en dauwbraam). Een roos is Rosa spec. (het is al een mirakel als obsidentify het verschil ziet tussen een roos en een meidoorn). Werkelijk stompzinnig tot en met (en het zorgt ervoor dat de waarnemingensites overspoeld worden met onzinwaarnemingen)!
Groeten, Dirk Derdeyn.

Timo Roeke

ObsIdentify versie 1.4.2 is onderweg naar de app stores! Met name verbetering van de nauwkeurigheid was een belangrijk onderwerp dat is aangepakt.

Wijzigingen in deze release:
- Fix voor de crash die bij Android ontstond bij de eerste vraag om permissies na installatie
- Aanpassing Engelse tekst voor waarschuwing geen locatie
- Verbetering nauwkeurigheid locatiebepaling
- Probleem van ontbrekende locatie door uitgeschakelde locatietags in de camera is opgelost
- Gebruik van incorrecte date/time tag uit de exif is opgelost
- Aanpassingen in de teksten van 'About ObsIdentify'
- Naar aanleiding van de ophoging van het limiet van het aantal herkenningen, is de bijbehorende melding aangepast
- In iOS werd niet meer om locatie permissies gevraagd, dit is opgelost

Martijn van Sluijs

Uitstekend, goed werk! Dat mag ook wel eens gezegd worden  :duim:.

Hetzelfde geld overigens voor (het toepassen van) de nieuwe versie van de beeldherkenningssoftware. Alhoewel van sommige soortgroepen op dit moment (vrijwel) geen waarnemingen binnenkomen, is geen bericht toch goed bericht in dit soort situaties. Het blijft vaak stil als iets even goed of beter is dan de oude versie, en het regent klachten als het iets slechter is  ;D.
Vriendelijke groeten,
Martijn

marcel234

#207
Citaat van: Timo Roeke op december 16, 2020, 17:01:36 PM
- Naar aanleiding van de ophoging van het limiet van het aantal herkenningen, is de bijbehorende melding aangepast
Wat voor limiet, hoe hoog was die limiet en wat is die nu?
Ik kon zo snel geen limiet vinden in de documentatie.
https://biodiversityanalysis.nl/files/User%20manual%20Nature%20Identification%20API%20-%20Public.pdf
https://docs.biodiversitydata.nl/en/latest/introduction/


Citaat van: Timo Roeke op december 16, 2020, 17:01:36 PM
- Aanpassingen in de teksten van 'About ObsIdentify'
De volgende keer zou ik niet alleen de tekst maar ook de linkjes controleren..

Timo Roeke

De limiet was tien per dag zonder account. Dat is nu 50 zonder account.

korthof

Hallo Hisko,

Ik zie opeens bij het beoordelen van een foto in waarneming.nl "NIA beeldherkenning voorspelt..."
in plaats van het oude en vertrouwde "ObsIdentify voorspelt..."
Waarom deze nieuwe benaming opeens? en wat betekent het?
Wie of wat zit er achter? Is er iets belangrijks onder de motorkap gewijzigd?
Voor zover ik zie is de naam ObsIdentify app op de smartphone nog hetzelfde.
Evenals
https://waarneming.nl/apps/obsidentify/
alleen hier
https://waarneming.nl/pages/disclaimer-obsidentify/
zie ik: "Betekenis en werking NIA".

hartelijke groet,
Gert Korthof