Bij de soortgroep Planten was dit bij de vorige versie van NIA het geval met ‘Bosboterbloem s.s.’, en in de huidige versie (in mindere mate) bij Speenkruid. Al eerder heb ik na zitten denken hoe het nu kan dat dit soort dumpsoorten tot stand komen in een beeldherkenningssysteem. Met enige achtergrond in de constructie van dit soort systemen, en kennis van hoe ze doorgaans in elkaar zitten, kom ik uit op één plausibele optie. Het is een combinatie van twee factoren. Echter ben ik er zeker van dat er ook nog andere oorzaken kunnen zijn die ik over het hoofd zie. Het is erg complex.
Die mogelijke oorzaak zal ik hieronder proberen toe te lichten. Daarvoor zal ik het geheel flink simplificeren, en proberen te illustreren aan de hand van een voorbeeld. Dit in een poging om het leesbaar en volgbaar voor iedereen te houden.
Voordat een beeldherkenningssyteem toegepast kan worden, gaat het door een trainingsfase. Je zou deze trainingsfase als volgt voor kunnen stellen. Je zet een mens zonder enige kennis van wat voor soort dan ook voor een computer. Het enige wat deze mens kan, is iets leren/onthouden, maar begint op een kennisniveau van nul. Deze mens kan nog geen plant van een vogel onderscheiden. De enige informatie die je telkens geeft is een foto, en een lijst van alle taxa die gekozen kunnen worden. Iedere keer dat deze persoon het goede taxon aan de foto koppelt, wordt 1 euro aan de beloning voor het geleverde werk toegevoegd. Iedere keer dat deze persoon het fout doet, wordt 50 cent van de beloning afgehaald, waarbij de beloning onder nul kan gaan.
In het begin is de beloning natuurlijk ver onder nul. Er zijn enorm veel opties die gekozen kunnen worden! De kans dat de euro binnen wordt gehaald is in het begin nihil. Na verloop van tijd (duizenden, miljoenen foto’s en pogingen) gaat deze persoon echter patronen zien/leren. Bepaalde combinaties in kleur en structuur die altijd op een bepaalde soort wijzen bijvoorbeeld. Of een bepaalde vorm die bij slechts een select aantal soorten voorkomt, waardoor de kans dat het gekoppelde taxon(/de ‘gok’) klopt flink toeneemt. Steeds minder wordt het zo puur ‘gokken’, een steeds meer wordt het ‘herkennen’.
Die verbetering stopt na een bepaalde tijd, omdat de hoeveelheid foto’s en de kwaliteit van informatie simpelweg beperkt is. Op het moment dat blijkt dat deze persoon niet meer verder te trainen is op basis van de beschikbare foto’s (dat wil zeggen, na verschillende pogingen blijft de totale beloning nagenoeg gelijk op een maximum hangen), dan wordt deze persoon aan het werk gezet op nieuwe foto’s. Dan is de trainingsfase voorbij. Die persoon/(dat systeem!) noemt waarneming.nl NIA.
Vermoedelijk wordt NIA (de persoon hierboven) alleen getraind op goedgekeurde foto’s. Foto’s waar ook echt een soort op staat. Foto’s waar géén taxon aan te koppelen is bestaan niet voor NIA. Onthoud dit, dit is een belangrijk aspect.
Stel nu: je geeft NIA een nieuwe foto. NIA komt tot de conclusie op basis van de foto dat de soort wel zeker één van een paar vogels is. Alhoewel NIA geen kennis heeft van taxonomie, wordt in de interne structuur waarschijnlijk na verloop van tijd waarschijnlijk wel e.e.a. opgesplitst. Taxonomische groepen komen nu eenmaal vaak overeen met kenmerken zichtbaar op een foto. Niet voor niets kan vrijwel ieder mens direct een plant onderscheiden van een vogel. Goed; conclusie = vogel. Dan wordt het uitsplitsen: welke vogel?
Wat hier kan gebeuren, is dat alle opties uit worden gesloten door het model/systeem, waarna één mogelijkheid overblijft; in dit geval de Grutto. Je zou dit kunnen zien als: “Ik weet zeker dat het soort A, B, C of D is. Is het soort A? Nee. Is het soort B? Nee. Is het soort C? Nee. Dan moet het soort D zijn.”. Zo wordt de soort niet bepaald, maar wel het groepje soorten, en andere opties uitgesloten. NIA weet hierbij niet dat de keuze ‘onbeoordeelbaar’ of ‘helemaal geen soort’ of ‘zo’n type foto zag ik niet eerder van soort A’ niet bestaan.
NIA denkt hierbij niet als wat wij kennen als ‘een gewoon mens’, die kijkt of alle kenmerken kloppen, maar kent alleen structuren, patronen en kleur(verhoudingen) (daarbij bedoel ik evt ook zwart-wit). Aan de hand daarvan koppelt NIA een percentage waarschijnlijkheid voor ieder taxon aan de foto. In dat systeem hoeft het niet zo te zijn dat de kenmerken van de soort zichtbaar zijn, maar kan het ook zo zijn dat zeker wordt geacht dat het een soort binnen een klein groepje soorten is, maar ook zeker wordt geacht dat het niet één van de andere soorten in dat groepje is (of dat überhaupt niet zeker is welke soort het is binnen dat groepje). Dan kiest NIA gewoon de soort die in de trainingsdataset het vaakst juist blijkt te zijn in zo'n situatie, en ontstaat een dumpsoort. Een taxon dat overblijft en gekozen wordt nadat alle opties binnen dat subgroepje soorten is 'uitgesloten'.
Blijkbaar is het door de combinatie van de beloningsfunctie (de hoogte van de straf en beloning), en ik vermoed dus door het gebrek aan foto’s in de trainingsdata waar géén van de beschikbare soorten op zichtbaar is(!) in de deze versie waardevol voor NIA om binnen een bepaalde groep foto’s na ‘uitsluiten’ van andere opties alles te dumpen op ‘Grutto’.
Wellicht is hierbij ook de ‘beloning’ voor het goed koppelen van een naam aan een foto te hoog, en de ‘straf’ voor het onjuist koppelen te laag.
Stel: ik leef mij even in in NIA. Als mijn straf voor het foutief valideren van een waarneming 1 cent zou zijn, en beloning voor het juist valideren 1 euro, en ik wist dat het zeker één van vijf soorten was (want ‘staat geen soort op de foto’ of ‘niet beoordeelbaar’ bestaan voor NIA niet!), dan zou ik zeker een gokje wagen

. Op de lange termijn geeft ‘ik weet het niet’ mij een verlies van 1 cent per waarneming, en ‘ik gok één van de vijf’ gemiddeld een winst van 20 cent.
Wanneer ook maar een klein beetje aan de parameters van een nieuwe versie van NIA gesleuteld wordt, of wanneer de dataset een klein beetje verandert (wat sowieso gebeurt, want die breidt uit), verandert ook de interne structuur van het systeem. Het is nog een klein beetje afhankelijk van hoe het gedaan wordt, maar vermoedelijk verdwijnt het probleem in een volgende versie, of verschuift het naar een andere soort. Voor dit soort dingen is de bèta-test van een nieuwe versie er ook!