Künstliche Intelligenz entwickelt sich in Russland und der Welt aktiv - auch emotional. Er interessiert sich für große Unternehmen und ehrgeizige Startups, die neue Entwicklungen in den Bereichen Einzelhandel, Marketing, Bildung, Bankwesen und Personalbeschaffung einführen. Laut Mordor Intelligence wurde der Markt für Emotionserkennung im Jahr 2018 auf 12 Milliarden US-Dollar geschätzt und wird bis 2024 auf 92 Milliarden US-Dollar wachsen.
Was ist emotionale KI?
Emotions-KI ist eine KI, die es einem Computer ermöglicht, menschliche Emotionen zu erkennen, zu interpretieren und darauf zu reagieren. Eine Kamera, ein Mikrofon oder ein tragbarer Sensor liest den Zustand einer Person und ein neuronales Netzwerk verarbeitet die Daten, um eine Emotion zu bestimmen.
Es gibt zwei Möglichkeiten, Emotionen zu analysieren:
- Kontakt. Eine Person wird auf ein Gerät gesetzt, das ihren Puls, die elektrischen Impulse des Körpers und andere physiologische Indikatoren liest. Solche Technologien können nicht nur Emotionen bestimmen, sondern auch das Ausmaß des Stresses oder die Wahrscheinlichkeit eines epileptischen Anfalls.
- Kontaktlos. Emotionen werden anhand von Video- und Audioaufnahmen analysiert. Der Computer lernt Mimik, Gesten, Augenbewegungen, Stimme und Sprache.
Um ein neuronales Netzwerk zu trainieren, sammeln Datenwissenschaftler eine Datenprobe und markieren manuell die Änderung des emotionalen Zustands einer Person. Das Programm untersucht Muster und versteht, welche Zeichen zu welchen Emotionen gehören.
Das neuronale Netzwerk kann auf verschiedenen Daten trainiert werden. Einige Unternehmen und Labore verwenden Videobänder, andere studieren Sprache und einige profitieren von mehreren Quellen. Aber je vielfältiger die Daten sind, desto genauer ist das Ergebnis.
Betrachten Sie zwei Hauptquellen:
Werbevideo:
Fotos und Standbilder aus Video
Die Bilder werden zuerst verarbeitet, um der KI die Arbeit zu erleichtern. Gesichtszüge - Augenbrauen, Augen, Lippen usw. - sind mit Punkten markiert. Das neuronale Netzwerk bestimmt die Position der Punkte, vergleicht sie mit den Zeichen der Emotionen aus der Vorlage und schließt daraus, welche Emotionen reflektiert werden - Wut, Angst, Überraschung, Traurigkeit, Freude oder Ruhe.
Es gibt auch einen anderen Ansatz. Zeichen von Emotionen sind sofort im Gesicht zu erkennen - zum Beispiel ein Lächeln oder stirnrunzelnde Augenbrauen. Dann sucht das neuronale Netzwerk nach Markierungen auf dem Bild, analysiert deren Kombinationen und bestimmt den Zustand der Person.
Das Studium der Emotionsmarker begann im 20. Jahrhundert. Es stimmt, dann wurden sie getrennt von neuronalen Netzen betrachtet. Die Wissenschaftler Paul Ekman und Wallace Friesen entwickelten 1978 das Facial Action Coding System (FACS). Es zerlegt Mimik in einzelne Muskelbewegungen oder Aktionseinheiten. Der Forscher untersucht motorische Einheiten und vergleicht sie mit Emotionen.
Stimme und Sprache
Das neuronale Netzwerk extrahiert viele Parameter der Stimme aus dem akustischen Signal - zum Beispiel Ton und Rhythmus. Sie untersucht ihre zeitliche Veränderung und bestimmt den Zustand des Sprechers.
Manchmal wird ein Spektrogramm zum Training verwendet - ein Bild, das die Stärke und Frequenz eines Signals über die Zeit zeigt. Darüber hinaus analysiert die KI den Wortschatz, um genauere Ergebnisse zu erhalten.
Wo wird die Technologie eingesetzt?
Vertrieb und Werbung
Der offensichtlichste Einsatz der Emotionserkennungstechnologie ist das Marketing. Mit ihrer Hilfe können Sie feststellen, wie sich ein Werbevideo auf eine Person auswirkt. Zu diesem Zweck können Sie beispielsweise eine Struktur mit einer Kamera installieren, die die Werbung je nach Stimmung, Geschlecht und Alter der vorbeikommenden Personen ändert.
Ein ähnliches Design wurde von den Startups Cloverleaf und Affectiva entwickelt. Sie führten eine elektronische Shelfpoint-Anzeige namens ShelfPoint ein, die Daten über die Emotionen der Kunden sammelt. Neue Technologien wurden von Procter & Gamble, Walmart und anderen großen Unternehmen getestet. Laut Cloverleaf stieg der Umsatz um 10-40%, während sich die Kundenbindung um das 3-5-fache erhöhte.
Eine ungewöhnlichere Option ist ein Roboterberater mit künstlicher Intelligenz. Er wird mit Kunden interagieren, ihre Emotionen lesen und sie beeinflussen. Und auch personalisierte Angebote machen.
Der Serviceroboter wurde vom russischen Startup Promobot vorgestellt. Es verwendet ein vom Neurodata Lab entwickeltes neuronales Netzwerk, das Emotionen aus mehreren Quellen gleichzeitig bestimmt: Aufzeichnungen von Gesicht, Stimme, Bewegungen sowie Atmungs- und Pulsfrequenz.
Promobot verkauft seine Roboter aktiv im Ausland. Im Jahr 2018 unterzeichnete das Startup einen Vertrag mit dem amerikanischen Unternehmen Intellitronix über 56,7 Millionen US-Dollar und erklärte sich im nächsten Jahr bereit, Geräte nach Saudi-Arabien, Israel, Kuwait und Schweden zu liefern. Für diese Unternehmen erhält das Unternehmen 1,1 Millionen US-Dollar. Laut Promobot arbeiten heute 492 Roboter in 34 Ländern weltweit als Guides, Concierges, Berater und Promoter.
Banken
Mithilfe von Emotionserkennungstechnologien erhalten Banken Kundenfeedback ohne Umfragen und verbessern den Service. In den Abteilungen sind Videokameras installiert, und Algorithmen zur Aufzeichnung bestimmen die Zufriedenheit der Besucher. Neuronale Netze können auch die Stimme und Sprache des Kunden und des Betreibers während eines Anrufs beim Contact Center analysieren.
In Russland haben sie lange versucht, emotionale KI zu implementieren: Sie wurde bereits 2015 bei der Sberbank getestet, und drei Jahre später startete die Alfa-Bank ihren Pilotversuch zur Analyse von Emotionen aus Videos. Neben Aufzeichnungen von Überwachungskameras werden auch Anrufaufzeichnungen verwendet. VTB startete 2019 ein Pilotprojekt zur Implementierung emotionaler KI. Und Rosbank hat zusammen mit Neurodata Lab bereits die Bestimmung der Kundenemotionen durch Stimme und Sprache getestet. Der Kunde rief die Bank an und das neuronale Netzwerk analysierte seinen Zustand und die Bedeutung des Gesprächs. Darüber hinaus bemerkte die KI Pausen in der Sprache, der Sprachlautstärke und der Kommunikationszeit des Bedieners. Dies ermöglichte nicht nur die Überprüfung der Zufriedenheit mit dem Service, sondern auch die Überwachung der Arbeit der Contact Center-Betreiber.
Jetzt hat Rosbank eine eigene Lösung zur Erkennung von Emotionen implementiert. Anstelle eines akustischen Signals analysiert das System den Text, während die Genauigkeit hoch bleibt.
Das Speech Technology Center ist auch an der Erkennung von Emotionen in der Sprache beteiligt (die Sberbank besitzt eine Mehrheitsbeteiligung). Der Smart Logger-Dienst analysiert die Stimme und den Wortschatz von Kunden und Betreibern, die Gesprächszeit und die Pausen, um die Zufriedenheit mit dem Dienst festzustellen.
Unterhaltungsbereich
Emotionserkennungssysteme können verwendet werden, um die Reaktion des Publikums auf einen Film zu messen. Disney führte 2017 in Zusammenarbeit mit Wissenschaftlern ein Experiment durch: Installierte Kameras in einem Kino und vernetzte Deep-Learning-Algorithmen, um die Emotionen der Zuschauer zu bewerten. Das System könnte die Reaktionen der Menschen vorhersagen, indem es sie nur wenige Minuten lang beobachtet. Während des Experiments haben wir einen beeindruckenden Datensatz gesammelt: 68 Marker von jeweils 3.179 Zuschauern. Insgesamt wurden 16 Millionen Gesichtsbilder erhalten.
Aus dem gleichen Grund hat YouTube Video Hosting eine eigene KI namens YouFirst erstellt. Es ermöglicht Videobloggern und Unternehmen, Inhalte vor der Veröffentlichung auf der Plattform zu testen. Benutzer klicken auf einen speziellen Link, stimmen zu, ein Video aufzunehmen und das Video anzusehen. Zu diesem Zeitpunkt bestimmt das neuronale Netzwerk ihre Reaktionen und sendet die Daten an den Kanalbesitzer.
Bei russischen Unternehmen können Reaktionen auf Videos beispielsweise von Neurobotics analysiert werden. Das Unternehmen hat das EmoDetect-Programm entwickelt, das Freude, Trauer, Überraschung, Angst, Wut, Ekel und Neutralität erkennt. Das Programm untersucht bis zu 20 lokale Gesichtsmerkmale in Standbildern und einer Reihe von Bildern. Das System analysiert Motoreinheiten und verwendet die FACS-Gesichtscodierungstechnologie. Es ist möglich, Videos von einer Webcam aufzunehmen. Mit der EmoDetect-API können Sie das Produkt in externe Anwendungen integrieren.
Emotionale KI wird auch in der Spielebranche zunehmend eingesetzt. Es hilft, das Spiel zu personalisieren und mehr Interaktion mit dem Spieler hinzuzufügen.
Zum Beispiel half die amerikanische emotionale KI-Firma Affectiva bei der Entwicklung des Psychothrillers Nevermind. Die Spannung hängt vom Zustand des Spielers ab: Die Handlung wird dunkler, wenn er gestresst ist, und umgekehrt.
Bildung
Emotionserkennung gilt auch für Bildung. Es kann verwendet werden, um die Stimmung und Aufmerksamkeit der Schüler während des Unterrichts zu studieren.
Russische Entwickler haben emotionale KI in Perm angewendet. Der Anstoß für die Entwicklung der Technologie waren die Angriffe von Schülern auf Grundschüler und Lehrer. Rostelecom und das Startup New Vision haben das Programm Smart and Safe School entwickelt, um den emotionalen Zustand von Kindern zu überwachen. Dies wird dazu beitragen, asoziale Jugendliche zu identifizieren, bevor eine Tragödie eintritt.
Es basierte auf dem Paul Ekman-System. Das neuronale Netzwerk analysierte die kleinsten Muskelbewegungen mit 150 Punkten im Gesicht. Während des Unterrichts wurde eine große Datenmenge gesammelt: 5-6.000 Frames für jeden Schüler. Das Programm untersuchte den Datensatz und berechnete den emotionalen Zustand jedes Kindes. Laut den Machern betrug die Genauigkeit 72%.
HR
Emotionale KI kann bei der Arbeit mit Mitarbeitern hilfreich sein. Es hilft, den Zustand des Mitarbeiters zu bestimmen, seine Müdigkeit oder Unzufriedenheit rechtzeitig zu bemerken und Aufgaben effizienter neu zu verteilen.
Darüber hinaus hilft die Technologie bei der Rekrutierung. Mit Hilfe der emotionalen KI können Sie einen Kandidaten für einen Job überprüfen oder während eines Interviews eine Lüge fangen.
Das amerikanische Unternehmen HireVue verwendet künstliche Intelligenz, um Kandidaten zu bewerten. Der Antragsteller durchläuft ein Videointerview und das neuronale Netzwerk bestimmt seinen Zustand anhand von Schlüsselwörtern, Intonation, Bewegungen und Gesichtsausdrücken. Die KI hebt die für den Job wichtigen Merkmale hervor und gibt Noten, und der Personalmanager wählt die richtigen Kandidaten aus.
Das in London ansässige Startup Human verwendet Videos, um Emotionen zu identifizieren und sie mit Charakterzügen abzugleichen. Nach dem Videointerview erhalten die Personalvermittler einen Bericht, in dem angegeben ist, wie ehrlich, neugierig, aufgeregt, enthusiastisch oder zuversichtlich der Kandidat war und wie er auf Fragen geantwortet hat.
Medizin
In diesem Bereich sind nicht nur berührungslose, sondern auch Kontaktmethoden zur Bestimmung von Emotionen nützlich. Sie werden von ausländischen Startups - zum Beispiel Affectiva und Brain Power - aktiv umgesetzt. Zu den Entwicklungen des Unternehmens gehört eine KI-Brille, mit der Kinder und Erwachsene mit Autismus die Emotionen anderer Menschen erkennen und soziale Fähigkeiten entwickeln können.
Neuronale Netze können jedoch Patienten ohne tragbare Sensoren helfen. Wissenschaftler am Massachusetts Institute of Technology haben ein neuronales Netzwerk geschaffen, das Depressionen durch Analyse der Sprache einer Person erkennt. Die Genauigkeit des Ergebnisses betrug 77%. Und das Startup Beyond Verbal verwendet KI, um die psychische Gesundheit von Patienten zu analysieren. In diesem Fall wählt das neuronale Netzwerk nur Sprachbiomarker aus der Audioaufzeichnung aus.
Autos
Das Massachusetts Institute of Technology entwickelt eine KI namens AutoEmotive, die den Zustand von Fahrer und Passagieren bestimmt. Er wird nicht nur den Stress überwachen, sondern auch versuchen, ihn zu reduzieren - indem er leise Musik spielt, die Temperatur in der Kabine anpasst oder einen weniger befahrenen Weg nimmt.
Einschränkungen der emotionalen KI
Das neuronale Netzwerk kann den Kontext nicht berücksichtigen
Die KI hat gelernt, grundlegende menschliche Emotionen und Zustände zu identifizieren, kann jedoch komplexere Situationen bisher nicht gut bewältigen. Wissenschaftler stellen fest, dass Mimik nicht immer genau zeigt, wie sich eine Person wirklich fühlt. Sein Lächeln kann vorgetäuscht oder sarkastisch sein, und dies kann nur durch den Kontext bestimmt werden.
NtechLab-Experten glauben, dass es immer noch schwierig ist, den Grund für diese oder jene Emotion genau zu bestimmen.
NtechLab betont, dass es notwendig ist, nicht nur Mimik, sondern auch menschliche Bewegungen zu erkennen. Verschiedene Daten machen die emotionale KI viel effizienter. Daniil Kireev, ein führender Forscher des VisionLabs-Unternehmens für Gesichtserkennungsprodukte, stimmt dem zu. Seiner Meinung nach steigt mit einer großen Datenmenge die Genauigkeit der Algorithmen.
„Es gibt Fehler, deren Anzahl von vielen Faktoren abhängt: der Qualität der Trainingsprobe, dem trainierten neuronalen Netzwerk, den Daten, mit denen das endgültige System arbeitet. Durch Hinzufügen von Informationen aus verschiedenen Quellen, z. B. Sprache, können Sie die Qualität des Systems verbessern. Gleichzeitig ist es wichtig zu verstehen, dass wir durch das Gesicht eher seinen Ausdruck als die endgültige Emotion bestimmen. Der Algorithmus versucht möglicherweise, die simulierte Emotion zu bestimmen, aber dafür muss die Entwicklung der Technologie einen kleinen Schritt nach vorne machen “, sagt Daniil Kireev.
Schlechte Ausrüstung
Externe Faktoren beeinflussen die Qualität der Algorithmen. Damit die Genauigkeit der Emotionserkennung hoch ist, müssen Videokameras und Mikrofone von hoher Qualität sein. Darüber hinaus wird das Ergebnis durch die Beleuchtung und den Standort der Kamera beeinflusst. Laut Daniil Kireev erschweren unkontrollierte Bedingungen den Prozess der Bestimmung des Zustands einer Person.
Damit sich emotionale KI entwickeln kann, benötigen Sie hochwertige Hardware. Wenn Sie eine gute Ausrüstung finden und diese richtig einrichten, ist die Genauigkeit der Ergebnisse sehr hoch. Und wenn es zugänglicher und verbreiteter wird, werden Emotionserkennungstechnologien verbessert und aktiver implementiert.
„Die Genauigkeit des Systems hängt von vielen Faktoren ab. Das wichtigste ist die Qualität der Standbilder von der Kamera, die dem System zur Erkennung übergeben werden. Die Qualität von Standbildern wird wiederum von den Einstellungen und Eigenschaften der Kamera, der Matrix, der Beleuchtung, der Position des Geräts und der Anzahl der Gesichter im Bild beeinflusst. Mit der richtigen Konfiguration der Hardware und Software ist es möglich, die Genauigkeit der erkannten Emotionen auf bis zu 90-95% zu bringen “, erklärt Vitaly Vinogradov, Produktmanager des Cloud-Videoüberwachungs- und Videoanalysedienstes Ivideon.
Technologieperspektive
Jetzt in Russland gewinnt die emotionale KI nur noch an Dynamik. Startups entwickeln Technologie und vermarkten ihre Produkte, und Kunden testen sie mit Vorsicht.
Gartner schätzt jedoch, dass bis 2024 mehr als die Hälfte der Online-Anzeigen mit emotionaler KI geschaltet werden. Computer Vision, mit dem Emotionen erkannt werden, wird in den nächsten drei bis fünf Jahren zu einer der wichtigsten Technologien. Und MarketsandMarkets prognostiziert, dass sich der Markt für Emotionsanalysen bis 2024 verdoppeln wird - von 2,2 Mrd. USD auf 4,6 Mrd. USD.
Darüber hinaus zeigen große Unternehmen Interesse an der Erkennung von Emotionen - zum Beispiel Procter & Gamble, Walmart, VTB, Rosbank, Sberbank und Alfa-Bank. Inländische Startups entwickeln Pilotprojekte, die in Zukunft zu vorgefertigten Lösungen für Unternehmen werden.
Evgeniya Khrisanfova