Um Menschen zu helfen, die nicht sprechen können, haben Neurowissenschaftler ein Gerät entwickelt, das Gehirnsignale in Sprache umwandeln kann. Diese Technologie ist für den Einsatz außerhalb des Labors noch nicht ausreichend entwickelt, obwohl sie zur Synthese ganzer Sätze verwendet werden kann, die größtenteils verstanden werden, schreibt "Nature".
Um Menschen zu helfen, die nicht sprechen können, haben Neurowissenschaftler ein Gerät entwickelt, das Gehirnsignale in Sprache umwandeln kann.
Diese Technologie ist für die Verwendung außerhalb des Labors noch nicht ausgereift genug, obwohl sie zur Synthese ganzer Sätze verwendet werden kann, die allgemein verstanden werden. Die Macher des Sprachdecoders präsentierten seine Beschreibung in einem Artikel, der am 24. April in der Zeitschrift Nature veröffentlicht wurde.
Wissenschaftler haben in der Vergangenheit künstliche Intelligenz verwendet, um Gehirnsignale in einzelne Wörter umzuwandeln, meist aus einer Silbe, sagt Chethan Pandarinath, Neuroingenieur an der Emory University in Atlanta, Georgia, der einen Kommentar zu dem Artikel verfasst hat. „Das Springen von einer Silbe zu Sätzen ist technisch herausfordernd, und zum Teil ist die Arbeit deshalb so beeindruckend“, sagt er.
Bewegung in Ton umwandeln
Viele Menschen, die nicht mehr sprechen können, kommunizieren mit einem Gerät, bei dem sie kleine Bewegungen ausführen müssen, um mit dem Cursor Buchstaben oder Wörter auf dem Bildschirm auszuwählen. Ein berühmtes Beispiel war der britische Physiker Stephen Hawking, der an einer Motoneuron-Krankheit litt. Er benutzte ein Sprachgerät, das durch den Wangenmuskel aktiviert wurde, sagte Studienleiter Edward Chang, Neurochirurg an der University of California in San Francisco.
Da Benutzer solcher Geräte Wörter Buchstabe für Buchstabe eingeben müssen, können diese Geräte sehr langsam sein und bis zu zehn Wörter pro Minute „sprechen“, sagt Chang. Natürliche Sprache umfasst durchschnittlich 150 Wörter pro Minute. "Dies ist auf die Effizienz des Stimmapparates zurückzuführen", sagt er. Und so beschlossen Chang und sein Team, das Sprachsystem beim Aufbau ihres Sprachdecoders zu simulieren.
Werbevideo:
Die Wissenschaftler arbeiteten mit fünf Personen zusammen, denen bei der Behandlung von Epilepsie Elektroden auf die Oberfläche des Gehirns implantiert wurden. Als die Teilnehmer des Experiments Hunderte von Sätzen vorlas, zeichneten die Wissenschaftler zunächst die Aktivität des Gehirns auf. Chang und Kollegen kombinierten diese Aufzeichnungen dann mit Daten aus früheren Experimenten, in denen untersucht wurde, wie Bewegungen von Zunge, Lippen, Kiefer und Kehlkopf Geräusche erzeugen.
Mithilfe dieser Daten "trainierten" Wissenschaftler einen Deep-Learning-Algorithmus und nahmen dieses Programm dann in ihren Decoder auf. Das Gerät wandelt Gehirnsignale in bestimmte Bewegungen des Vokaltrakts um und wandelt diese Bewegungen in synthetische Sprache um. Menschen, die die 101 synthetisierten Sätze hörten, konnten durchschnittlich 70% der Wörter verstehen, sagt Chang.
In einem anderen Experiment baten Wissenschaftler einen der Teilnehmer, Sätze vorzulesen und dann dieselben Sätze mit dem Mund stumm zu schalten. Die in diesem Fall synthetisierten Sätze waren von schlechterer Qualität als die aus der „gesprochenen“Sprache synthetisierten, sagt Chang, aber die Ergebnisse sind immer noch ermutigend.
Das Verständnis von synthetisierter Sprache ist eine Frage der Zukunft
Sprache, die synthetisiert wird, indem Gehirnsignale in Stimmtraktbewegungen umgewandelt und in Ton umgewandelt werden, ist leichter zu verstehen als Sprache, die synthetisiert wird, indem Gehirnsignale direkt in Ton umgewandelt werden, sagt Stephanie Riès, Neurowissenschaftlerin an der San Diego State University. in Kalifornien.
Es ist jedoch unklar, ob der neue Sprachdecoder mit Wörtern funktioniert, die die Menschen nur in ihren Gedanken „sprechen“, sagt Amy Orsborne, Neuroingenieurin an der University of Washington in Seattle. "Der Artikel zeigt wirklich gut, dass das Gerät mit Mimik-Sprache arbeitet", sagt sie. "Aber wie funktioniert es, wenn die Person ihre Lippen nicht bewegt?"
Marc Slutzky, Neurowissenschaftler an der Northwestern University in Chicago, Illinois, stimmt dem zu und sagt, dass der Sprachdecoder effizienter sein kann. Er merkt an, dass die Zuhörer synthetisierte Sprache durch Auswahl von Wörtern aus einer Reihe von Auswahlmöglichkeiten identifizierten, aber mit zunehmender Anzahl von Auswahlmöglichkeiten wurde es schwieriger, die Wörter zu verstehen.
Diese Forschung "ist ein wirklich wichtiger Schritt, aber es gibt noch viel zu tun, bevor synthetisierte Sprache leicht verstanden werden kann", sagt Slutsky.
Georgia Guglielmi (Giorgia Guglielmi)
