Wanneer een kunstmatig intelligent systeem een plaatje van stripheld Spider-Man ziet, heeft het een associatie met spinnen. Neurale netwerken lijken de concepten achter woorden en beelden dus te begrijpen.
In de jaren zestig stelde neurowetenschapper Jerry Lettvin voor dat menselijke hersenen zogeheten grootmoedercellen hebben. Die hersencellen zouden corresponderen met herinneringen aan specifieke dingen of mensen, bijvoorbeeld je grootmoeder.
Destijds werd zijn idee als wat simplistisch beschouwd. Sindsdien hebben experimenten met hersenimplantaten echter laten zien dat we inderdaad specifieke neuronen hebben die aanslaan wanneer we onze grootmoeder zien. Sterker nog, we hebben zelfs hersencellen die reageren op beroemdheden als Halle Berry en Jennifer Aniston.
Wetenschappers van het bedrijf OpenAI in Californië hebben nu ontdekt dat kunstmatig intelligente systemen gebaseerd op menselijke hersenen soortgelijke neuronen bevatten. Dat wijst erop dat deze ‘neurale netwerken’ op dezelfde manier als wij herinneringen opslaan en er begrip aan hechten.
Concepten achter woorden
Het bedrijf ontwikkelde het neurale netwerk CLIP. Dit netwerk kan tekst en beelden verbinden: het vindt bijvoorbeeld plaatjes van ‘gele auto’s’ of ‘groene appels’ wanneer je deze teksten invoert.
Als training kreeg het neurale netwerk telkens een foto voorgeschoteld – bijvoorbeeld van een oude man – met de vraag wat erop staat. Vervolgens werden de foto’s bewerkt en kreeg het systeem dezelfde vraag, net zolang tot het zo dicht mogelijk bij het juiste antwoord zat.
Gedurende deze training maakte het neurale netwerk plaatjes die zijn begrip van verschillende concepten weergaven. Het tekende bijvoorbeeld een oude man en zette daar de tekst ‘oude man’ bij. Dit bewijst dat het netwerk niet simpelweg elke foto koppelt aan een foto die het eerder heeft gezien. Het heeft daadwerkelijk een vorm van begrip van de concepten die achter woorden schuilgaan.
Het feit dat de kunstmatige intelligentie (AI) zelfstandig een tekstuele beschrijving bij de plaatjes zette, wijst er volgens de onderzoekers op dat het systeem een soort grootmoedercellen heeft ontwikkeld die aan die concepten zijn gerelateerd.
Spider-Man-neuron
In vervolgexperimenten ontdekte het team dat CLIP zelfs een ‘Spider-Man-neuron’ heeft. Deze hersencel slaat aan wanneer het netwerk een afbeelding van een spin, het Engelse woord spider of een tekening van de stripheld te zien krijgt.
Bij het zien van Spider-Man wees het systeem niet alleen soortgelijke beelden aan die het eerder had gezien. Het leek zich onmiddellijk bewust van het concept ‘Spider-Man’, inclusief hoe de naam geassocieerd is met spinnen. De onderzoekers ontdekten vergelijkbare verbanden die te maken hadden met geografische gebieden, gezichtsuitdrukkingen en religieuze afbeeldingen.
Deze kunstmatige grootmoedercellen staan in het menselijke brein bekend als multimodale neuronen. De onderzoekers denken dat ze zowel in kunstmatige als in natuurlijke visuele systemen veel voorkomen. Deze abstrahering van concepten is volgens hen cruciaal voor de werking van het geheugen.
Hersenwetenschap
Volgens Gabriel Goh van OpenAI wijst het experiment uit dat neurale netwerken informatie op dezelfde manier structureren als menselijke hersenen. ‘Of je dan ook mag spreken van ‘begrip’, is een semantische kwestie’, zegt hij. ‘Maar ik heb deze twee systemen nog nooit zo dicht bij elkaar zien komen.’
Ilya Sutskever van OpenAI stelt dat de experimenten bijdragen aan het bewijs dat biologische en kunstmatige systemen veel gemeen hebben. Volgens hem zullen hersenwetenschappers straks kunstmatige neurale netwerken kunnen gebruiken om bepaalde vormen van gedrag te identificeren. Vervolgens kunnen ze menselijke hersenen doorzoeken op datzelfde gedrag.
‘Vroeger keken AI-onderzoekers naar het brein en zeiden ze: ‘Hé, het brein heeft neuronen, laten we proberen om neurale netwerken te bouwen.’ Het is best wel netjes dat we nu het punt hebben bereikt waarop deep learning feedback kan geven aan de hersenwetenschap’, zegt Sutskever.
Racistische vooroordelen
Gewoonlijk worden neurale netwerken getraind met grote databases van zorgvuldig gekozen afbeeldingen en bijbehorende beschrijvingen. CLIP is echter getraind met een bonte mix aan plaatjes die van het internet waren geplukt.
De onderzoekers zagen dat dit gepaard ging met diverse voorbeelden van racistische vooroordelen en andere problematische associaties die het internet met zich meebrengt. Zo bleek een neuron dat verband hield met het begrip ‘Midden-Oosten’ geassocieerd met terrorisme. En het ‘immigratie’-neuron reageerde op Latijns-Amerikaanse afbeeldingen.
Het team denkt dat kleine, gerichte, educatieve datasets deze verkeerde associaties kunnen weghalen. Bovendien kunnen die het algoritme leren om geen potentieel schadelijke verbanden te leggen.
De onderzoeksresultaten zijn gepubliceerd in Distill, een wetenschappelijk tijdschrift over machine learning.
