Het is een computer gelukt uit hersenscans af te leiden waar iemand naar kijkt. Dat gebeurde in de Radboud Universiteit Nijmegen, melden onderzoekers. Een proefpersoon moest naar letters kijken terwijl hij in een scanner lag.
Door de resulterende MRI-beelden digitaal te analyseren met een elegant wiskundig model, is het mogelijk te achterhalen naar welke letters de proefpersoon kijkt. Het is nooit eerder gelukt de inhoud van gedachten zo precies te reconstrueren.
De onderzoekers leerden een computermodel hoe kleine vakjes van enkele millimeters in de hersenen – voxels noemen ze die – reageren op het aangeboden beeld. Dat levert nog geen mooi plaatje op maar een ruizig spikkeltjespatroon.
Voorkennis
“Vervolgens hebben we iets nieuws gedaan,” zegt onderzoeksleider Marcel van Gerven. “We hebben het model voorkennis gegeven: zo zien letters eruit. Dat verbeterde de herkenning van de letters enorm, het model vergelijkt met welke letters de gemeten spikkels het meeste overeen komen en duwt dan de uitkomst van het plaatje in de richting van die letters, en dan komt de letter tevoorschijn, een echte reconstructie.”
In deze studie gebruikten de onderzoekers handgeschreven letters. “Onze aanpak lijkt op hoe we denken dat het brein zelf voorkennis combineert met zintuiglijke informatie – pas als je hebt leren lezen herken je de zwarte lijntjes en boogjes van dit bericht als letters.”
Dromen lezen
Uiteindelijk willen de onderzoekers het systeem zo fijngevoelig maken dat ze dromen of visuele gedachten kunnen aflezen. “In ons vervolgonderzoek gaan we werken met een sterkere MRI-scanner,” vertelt Sanne Schoenmaker die werkt aan een proefschrift over gedachtendecodering.
“Door die hogere nauwkeurigheid van de MRI-beelden hopen we dan ook een hogere nauwkeurigheid in plaatjes te kunnen koppelen. Nu koppelen we plaatjes van de letters aan 1200 voxels, straks willen we plaatjes van gezichten koppelen aan 15.000 voxels.”