Key takeaways
- Onderzoekers hebben een methode ontwikkeld, mind captioning, die hersenactiviteit vertaalt naar beschrijvende zinnen.
- De techniek maakt gebruik van AI en beeldvorming van de hersenen om gevisualiseerde gedachten nauwkeurig te decoderen.
- Mind captioning overwint eerdere beperkingen door diepe taalmodellen te gebruiken om complexe inhoud zoals video’s te begrijpen.
Wetenschappers hebben een baanbrekende techniek ontwikkeld, mind captioning. Ze kunnen hiermee hersenactiviteit omzetten in beschrijvende zinnen. Zo wordt het mogelijk iemands gedachten effectief te vertalen. Deze niet-invasieve methode maakt gebruik van beeldvorming van de hersenen en artificiële intelligentie (AI) om met indrukwekkende nauwkeurigheid te begrijpen wat iemand visualiseert.
Onderzoekers zijn al lang in staat om te voorspellen wat iemand ziet of hoort op basis van hun hersenactiviteit. Het ontcijferen van de herseninterpretatie van complexe inhoud, zoals video’s of abstracte vormen, is echter moeilijker gebleken. Eerdere methodes legden vaak alleen sleutelwoorden vast, niet de volledige context van de waarneming.
Beperkingen overwinnen met AI
De nieuwe methode van Tomoyasu Horikawa en zijn team bij NTT Communication Science Laboratories pakt dit probleem aan. Ze trainden eerst een AI-model op de tekstbijschriften van meer dan 2.000 video’s, waarbij elk bijschrift werd omgezet in een unieke digitale “betekenishandtekening”. Vervolgens werd een apart AI-hulpmiddel getraind om patronen van hersenactiviteit te identificeren die overeenkomen met elke betekenishandtekening terwijl deelnemers naar de video’s keken.
Van hersenscans naar zinnen
Deze hersendecoder kan nu nieuwe hersenscans analyseren en de bijbehorende betekenishandtekening voorspellen. Tot slot gebruikt een AI-tekstgenerator deze handtekening om een zin te produceren die nauw aansluit bij de gedecodeerde betekenis. Deze techniek helpt ons niet alleen om te begrijpen hoe de hersenen de wereld voorstellen, maar is ook veelbelovend om mensen met communicatieproblemen te helpen zich beter uit te drukken. (jv)
Volg Business AM ook op Google Nieuws
Wil je toegang tot alle artikelen, geniet tijdelijk van onze promo en abonneer je hier!