Onderzoekers van de Hogeschool Rotterdam werken aan een responsible AI-systeem, zodat marketeers of de overheid genetische algoritmes kunnen inzetten op een ethisch verantwoorde en transparante manier. Zij ontwikkelen een glassbox visualisatie die de werking van genetische algoritmes inzichtelijk maakt, en het mogelijk maakt om in te grijpen in het algoritme.
Een kleine twee jaar geleden moest het anti-fraude system van de overheid, SyRI, van tafel. Te veel inbreuk op privéleven, en hoe gegevens worden verwerkt en geanalyseerd was niet transparant, zo oordeelde de rechtbank Den Haag. Toch is het interesse in het gebruik van algoritmes voor de bestrijding van fraude onverminderd – dezelfde algoritmes die ook marketeers voor hun campagnes gebruiken.
Genetische algoritmes zijn in staat om op basis van allerlei gegevens van personen profielen te ontwikkelen. Deze profielen zijn de basis om gedrag van mensen te analyseren en te voorspellen. Typische toepassingen van zulke profielen zijn marketing of de opsporing van criminaliteit. De crux is dat die profielen wiskundig geoptimaliseerd zijn, maar niet noodzakelijk met de realiteit stroken en rechtvaardig en fair zijn. Vóórdat profielen überhaupt gebruikt worden, zouden experts moeten kunnen beoordelen op basis van welke parameters zo’n profiel is ontstaan. Het algoritme moet zijn werking transparant maken.
Onderzoekers Niels Netten en Arjen Suiker van de Hogeschool Rotterdam ontwikkelen samen met de lectoren Mortaza S. Bargh en Sunil Choenni een tool: “Glassbox”. De Glassbox toont de verschillende profielen in een geanimeerde visualisatie. De animatie vertoont hoe profielen ontstaan en weer verdwijnen naarmate het algoritme vordert. Ook is te zien hoe goed een profiel wiskundig geoptimaliseerd is en hoe groot de verschillen tussen de profielen zijn. Per profiel kan de gebruiker achterhalen op welke attributen het is gebaseerd.
De Glassbox maakt het dus voor experts mogelijk om te analyseren welke informatie door het algoritme is verwerkt. De Glassbox laat de experts ook ingrijpen in het genetische algoritme. Zo kunnen de experts bijvoorbeeld de overlevingskans van bepaalde profielen in de werking van het genetische algoritme wijzigen of profielen verwijderen, veranderen of toevoegen. Als bijvoorbeeld voor een marketingcampagne het algoritme te veel profielen levert die in een verzadigde markt vallen, kan de marketeer aan het algoritme aangeven om typische eigenschappen van deze markt als niet interessant te beschouwen voor het genereren van nieuwe profielen. Hetzelfde geldt in de bestrijding van criminaliteit, als het algoritme bijvoorbeeld begint te discrimineren.
Op die manier ontstaat een responsible AI-systeem waarin de gebruiker de controle behoudt in welke richting het genetische algoritme nieuwe profielen ontwikkelt. Zulke systemen, ook “human-in-the-loop” systemen genoemd, faciliteren een ethisch verantwoorde en transparante manier van gebruik van genetische algoritmes.
Bron:
Netten N., Suijker A., Bargh M.S., Choenni S. (2021) Operationalization of a Glass Box Through Visualization: Applied to a Data Driven Profiling Approach. In: Dennehy D., Griva A., Pouloudi N., Dwivedi Y.K., Pappas I., Mäntymäki M. (eds) Responsible AI and Analytics for an Ethical and Inclusive Digitized Society. I3E 2021. Lecture Notes in Computer Science, vol 12896. Springer, Cham.
