Wissenschaftler der Columbia University (USA) haben mithilfe von Technologie zum Scannen von Gehirnaktivität, künstlicher Intelligenz und eines Sprachsynthesizers ein Gerät entwickelt, mit dem menschliche Gedanken in artikulierte Sprache umgewandelt werden können. Die in Scientific Reports veröffentlichten Forschungsergebnisse sind ein wichtiger Schritt zur Verbesserung der Schnittstellen zwischen Gehirn und Computer. Zukünftig können solche Geräte von Personen verwendet werden, die aufgrund von Verletzungen oder Krankheiten nicht mehr sprechen können.
Um ein Gerät zu entwickeln, das die Fähigkeiten eines Sprachsynthesizers und künstlicher Intelligenz kombiniert, wandten sich der Studienautor, Neurowissenschaftler Nima Mesgarani und seine Kollegen den neuesten Fortschritten im Bereich des maschinellen Lernens und der Sprachsynthesetechnologien zu. Das Ergebnis ihrer Arbeit ist ein auf künstlicher Intelligenz basierender Vocoder, der die Gehirnaktivität direkt aus dem auditorischen Kortex ziemlich genau interpretieren und dann in verständliche Sprache übersetzen kann. Die Autoren der Arbeit stellen fest, dass sich die Sprache in diesem Fall als sehr computerisiert herausstellt, die Menschen jedoch in den meisten Fällen Wörter erkennen können.
Laut den Erstellern basiert das neue Gerät zur Wiedergabe der resultierenden Sprache auf derselben Technologie, die in digitalen Assistenten wie Alexa, Siri und Google Assistant verwendet wird.
Zunächst trainierten Experten den Vocoder, um die Aktivität des menschlichen Gehirns richtig zu interpretieren. Zu diesem Zweck luden die Wissenschaftler fünf Freiwillige, die sich einer Epilepsiebehandlung unterzogen, zur Teilnahme an dem Experiment ein. Alle fünf hatten Elektroden in den auditorischen Kortex implantiert, um das Elektroenzephalogramm abzulesen.
„Wir haben epileptische Patienten, die sich bereits einer Gehirnoperation unterziehen, gebeten, sich Sätze anzuhören, die von verschiedenen Personen gesagt werden. Gleichzeitig analysierten wir Muster in der Gehirnaktivität der Patienten. Der Vocoder wurde auf die erhaltenen neuronalen Modelle trainiert “, erklärt Mesgarani.
Die Patienten wurden gebeten, sich die Aufzeichnungen anzuhören, in denen die Akteure Zahlenfolgen von 0 bis 9 vorlesen. Gleichzeitig zeichneten die Wissenschaftler die Gehirnsignale auf und leiteten sie dann durch den Vocoder, dessen Signale korrigiert wurden, um die Klarheit durch ein neuronales Netzwerk zu verbessern, das die Geräusche des Vocoders selbst analysierte und als Reaktion auf diese Signale Geräusche erzeugte. Infolgedessen war eine Roboterstimme zu hören, die eine Folge gesprochener Zahlen wiederholte. Um die Ergebnisse auszuwerten, luden die Wissenschaftler 11 Personen mit ausgezeichnetem Hörvermögen ein.
„Es stellte sich heraus, dass Menschen in etwa 75% der Fälle Wörter erkennen können, was allen früheren Versuchen weit überlegen ist. Der empfindliche Vocoder und die leistungsstarken neuronalen Netze erzeugten die Geräusche, die die Patienten hörten, mit erstaunlicher Genauigkeit “, kommentiert Mesgarani.
Werbevideo:
In Zukunft wird Mesgaranis Team dem neuronalen Netzwerk beibringen, komplexere Wörter, Phrasen und sogar ganze Sätze auszusprechen. Danach wollen sie ein Implantat entwickeln, das die Gedanken einer Person in volle Sprache umsetzen kann.
„Wenn der Besitzer des Implantats zum Beispiel denkt:„ Ich brauche ein Glas Wasser “, liest unser System die Gehirnsignale und übersetzt sie in Sprache. Dies gibt jedem, der aufgrund von Verletzungen oder Krankheiten die Fähigkeit zum Sprechen verloren hat, eine neue Möglichkeit, mit der Welt um ihn herum zu kommunizieren “, fügt Mesgarani hinzu.
Nikolay Khizhnyak
