In letzter Zeit waren neuronale Netze mit ihren Fähigkeiten überraschend - hätten Sie vor zehn Jahren glauben können, dass ein Computer Porträts von Dostojewski und Marilyn Monroe "animieren" könnte? Lassen Sie sich weiter überraschen, denn Forscher am MIT haben ein neuronales Speech2Face-Netzwerk geschaffen, mit dem Menschen durch einfaches Hören ihrer Stimmen Porträts von Menschen zeichnen können. Die Technologie ist alles andere als ideal, aber ihre Fähigkeit, Geschlecht, Nationalität und Alter einer Person zu bestimmen, ist beeindruckend.
Um das neuronale Netzwerk zu trainieren, wurde das AVSpeech-Kit mit einer Million Kurzvideos mit Tausenden von sprechenden Personen verwendet. Die Spuren mit Video und Ton sind getrennt, sodass das System jede Art von Material so detailliert wie möglich untersuchen konnte. In der ersten Phase der Arbeit untersuchte der VGG-Face-Algorithmus Videofragmente und erstellte Porträts der Personen auf ihnen in vollem Gesicht und neutralen Gesichtsausdrücken. Ein anderer Teil des Algorithmus untersuchte das Spektrogramm der Stimme und nahm zusätzliche Änderungen an den resultierenden Porträts vor. Als Ergebnis wurde ein ungefähres Porträt jeder sprechenden Person erhalten.
Ein neuronales Netzwerk zur Erstellung sprachbasierter Porträts ist bereits Realität
Wenn Sie das Gesicht einer Person mit einem Video und der vom Algorithmus vorgeschlagenen Option vergleichen, können Sie viele Unterschiede feststellen. Die Forscher versichern jedoch, dass sie zunächst nicht das ähnlichste Porträt einer Person erstellen wollten - viele Faktoren beeinflussen den Ton und die Intonation der menschlichen Stimme, sodass sie ohnehin nicht das ideale Ergebnis erzielt hätten. Das neuronale Netz leistet jedoch hervorragende Arbeit in Bezug auf das, was für Forscher wichtig ist, nämlich die genaue Bestimmung von Geschlecht, Nationalität und Alter.
Die Autoren der Arbeit stellten fest, dass der Algorithmus derzeit bei der Bestimmung des Alters schwach ist, sie jedoch die Genauigkeit verbessern können. Es wurde auch festgestellt, dass der Algorithmus europäische und asiatische Gesichter besser nachbildet. Dies liegt jedoch nur daran, dass die Trainingsvideos eine ungleiche Anzahl von Gesichtern unterschiedlicher Nationalitäten aufwiesen.
Werbevideo:
Warum brauchen Sie ein neuronales Netzwerk?
Wie kann diese Technologie in Zukunft nützlich sein? Alternativ kann mit Hilfe eines Dienstes eines Tages ein Dienst erstellt werden, bei dem der virtuelle Avatar eines Benutzers basierend auf seiner Stimme automatisch erstellt wird. Die neue Studie hat auch große wissenschaftliche Vorteile: Durch die Untersuchung der Daten können Wissenschaftler die Beziehung zwischen dem Aussehen einer Person und ihrer Stimme finden. Auf der Website des Projekts können Sie Stimmen anhören und Porträts ansehen, die auf ihrer Grundlage neu erstellt wurden.
Ramis Ganiev
