So ziemlich alles, was Sie heute über künstliche Intelligenz hören, stammt aus tiefem Lernen. Diese Kategorie von Algorithmen arbeitet mit Statistiken, um Muster in Daten zu finden, und hat sich als äußerst leistungsfähig erwiesen, um menschliche Fähigkeiten nachzuahmen, wie z. B. unsere Fähigkeit zu sehen und zu hören. In sehr engem Maße kann es sogar unsere Fähigkeit zur Vernunft imitieren. Diese Algorithmen unterstützen die Google-Suche, den Facebook-Newsfeed, die Netflix-Empfehlungs-Engine und gestalten Branchen wie Gesundheitswesen und Bildung.
Wie tief sich das Lernen entwickelt
Trotz der Tatsache, dass tiefes Lernen praktisch im Alleingang künstliche Intelligenz in die Öffentlichkeit brachte, ist es nur ein kleiner Blitz in der historischen Aufgabe der Menschheit, ihre eigene Intelligenz zu reproduzieren. Es ist seit weniger als einem Jahrzehnt an der Spitze dieser Suche. Wenn wir die gesamte Geschichte dieses Gebiets beiseite legen, ist es leicht zu verstehen, dass es bald auch verschwinden kann.
Das plötzliche Auf und Ab verschiedener Methoden habe die KI-Forschung lange Zeit geprägt, sagte er. Alle zehn Jahre gab es einen intensiven Wettbewerb zwischen verschiedenen Ideen. Dann wird von Zeit zu Zeit der Schalter umgelegt und die gesamte Community beginnt eine Sache zu tun.
Unsere Kollegen von MIT Technology Review wollten diese Probleme und Anfänge visualisieren. Zu diesem Zweck wandten sie sich einer der größten Datenbanken offener wissenschaftlicher Arbeiten zu, die als arXiv bekannt sind. Sie haben bis zum 18. November 2018 Auszüge aus insgesamt 16.625 Artikeln heruntergeladen, die in der AI-Sektion verfügbar sind, und die im Laufe der Jahre erwähnten Wörter aufgespürt, um zu sehen, wie sich das Gebiet entwickelt hat.
Durch ihre Analyse ergaben sich drei Haupttrends: die Verlagerung zum maschinellen Lernen in den späten 90ern und frühen 2000ern, die zunehmende Popularität neuronaler Netze, die Anfang der 2010er Jahre begann, und die Zunahme des verstärkten Lernens in den letzten Jahren.
Werbevideo:
Aber zuerst ein paar Einschränkungen. Erstens stammt der Abschnitt arXiv mit AI aus dem Jahr 1993, und der Begriff "künstliche Intelligenz" stammt aus den 1950er Jahren, sodass die Datenbank selbst nur die letzten Kapitel der Geschichte des Feldes darstellt. Zweitens stellen die Dokumente, die jedes Jahr zur Datenbank hinzugefügt werden, nur einen Bruchteil der Arbeit dar, die derzeit in diesem Bereich ausgeführt wird. ArXiv bietet jedoch eine hervorragende Quelle, um einige der wichtigsten Forschungstrends zu identifizieren und das Tauziehen zwischen verschiedenen ideologischen Lagern zu beobachten.
Das Paradigma des maschinellen Lernens
Die größte Verschiebung, die die Forscher fanden, war die Abkehr von wissensbasierten Systemen zu Beginn der 2000er Jahre. Solche Computersysteme basieren auf der Idee, dass es möglich ist, alles menschliche Wissen in einem Regelsystem zu kodieren. Stattdessen wandten sich die Wissenschaftler dem maschinellen Lernen zu, der übergeordneten Kategorie von Algorithmen, die tiefes Lernen umfassen.
Unter den 100 erwähnten Wörtern nahmen diejenigen, die mit wissensbasierten Systemen verbunden sind - "Logik", "Einschränkungen" und "Regel" - am meisten ab. Und diejenigen, die mit maschinellem Lernen zu tun haben - "Daten", "Netzwerk", "Leistung" - sind am stärksten gewachsen.
Der Grund für diesen Wetterwechsel ist sehr einfach. In den 80er Jahren wurden wissensbasierte Systeme bei Fans immer beliebter, dank der Begeisterung für ehrgeizige Projekte, die versuchten, den gesunden Menschenverstand in Maschinen wiederherzustellen. Als sich diese Projekte abspielten, standen die Forscher vor einer großen Herausforderung: Es mussten zu viele Regeln codiert werden, damit das System etwas Nützliches tun konnte. Dies führte zu erhöhten Kosten und verlangsamte die laufenden Prozesse erheblich.
Die Antwort auf dieses Problem ist maschinelles Lernen. Anstatt zu verlangen, dass Benutzer Hunderttausende von Regeln manuell codieren, programmiert dieser Ansatz Maschinen so, dass diese Regeln automatisch aus einem Datenstapel extrahiert werden. Ebenso hat sich dieses Feld von wissensbasierten Systemen entfernt und sich der Verbesserung des maschinellen Lernens zugewandt.
Der Boom neuronaler Netze
Innerhalb des neuen Paradigmas des maschinellen Lernens fand der Übergang zum tiefen Lernen nicht über Nacht statt. Stattdessen hat eine Analyse der Schlüsselbegriffe gezeigt, dass Wissenschaftler neben neuronalen Netzen, den Hauptmechanismen des tiefen Lernens, viele Methoden getestet haben. Andere beliebte Methoden waren Bayes'sche Netzwerke, Support-Vektor-Maschinen und evolutionäre Algorithmen, die alle unterschiedliche Ansätze zum Auffinden von Mustern in Daten verwenden.
In den 1990er und 2000er Jahren gab es einen starken Wettbewerb zwischen diesen Methoden. 2012 führte ein dramatischer Durchbruch zu einer weiteren Wetteränderung. Während des jährlichen ImageNet-Wettbewerbs zur Beschleunigung des Fortschritts in der Bildverarbeitung erzielte ein Forscher namens Jeffrey Hinton zusammen mit seinen Kollegen an der Universität von Toronto die beste Bilderkennungsgenauigkeit mit einer Fehlerquote von etwas mehr als 10%.
Die von ihm verwendete Deep-Learning-Technik hat eine neue Welle der Forschung ausgelöst, zuerst in der Visualisierungs-Community und dann darüber hinaus. Als immer mehr Wissenschaftler damit anfingen, beeindruckende Ergebnisse zu erzielen, ist die Popularität dieser Technik zusammen mit der Popularität neuronaler Netze in die Höhe geschossen.
Das Wachstum des verstärkenden Lernens
Die Analyse zeigte, dass einige Jahre nach der Blütezeit des tiefen Lernens eine dritte und letzte Verschiebung in der KI-Forschung stattgefunden hat.
Zusätzlich zu den verschiedenen Methoden des maschinellen Lernens gibt es drei verschiedene Arten: überwachtes Lernen, unbeaufsichtigtes Lernen und verstärkendes Lernen. Überwachtes Lernen, bei dem markierte Daten in die Maschine eingegeben werden, wird am häufigsten verwendet und hat heute auch die praktischsten Anwendungen. In den letzten Jahren hat das verstärkte Lernen, das den Lernprozess von Tieren durch Karotten und Peitschen, Bestrafungen und Belohnungen nachahmt, jedoch zu einem raschen Anstieg der Referenzen in den Werken geführt.
Die Idee selbst ist nicht neu, hat aber seit vielen Jahrzehnten nicht mehr funktioniert. „Betreute Lernspezialisten lachten über die Verstärkungslernspezialisten“, sagt Domingos. Aber wie beim tiefen Lernen brachte ein Wendepunkt plötzlich die Methode in den Vordergrund.
Dieser Moment kam im Oktober 2015, als DeepMinds AlphaGo, der mit Verstärkung trainiert wurde, den Weltmeister im alten Go-Spiel besiegte. Die Auswirkungen auf die Forschungsgemeinschaft waren unmittelbar.
Die nächsten zehn Jahre
Der MIT Technology Review bietet nur die neueste Momentaufnahme des Wettbewerbs zwischen Ideen, die die KI-Forschung charakterisieren. Es zeigt jedoch die Inkonsistenz des Strebens nach doppelter Intelligenz. "Es ist wichtig zu verstehen, dass niemand weiß, wie man dieses Problem löst", sagt Domingos.
Viele der Methoden, die seit 25 Jahren angewendet werden, entstanden ungefähr zur gleichen Zeit in den 1950er Jahren und konnten die Herausforderungen und Erfolge jedes Jahrzehnts nicht bewältigen. Neuronale Netze zum Beispiel erreichten in den 60er Jahren und in den 80er Jahren einen Höhepunkt, starben jedoch fast, bevor sie dank Deep Learning wieder an Popularität gewannen.
Mit anderen Worten, in jedem Jahrzehnt dominierte eine andere Technik: Neuronale Netze in den späten 50er und 60er Jahren, verschiedene symbolische Versuche in den 70er Jahren, wissensbasierte Systeme in den 80er Jahren, Bayes'sche Netze in den 90er Jahren, Referenzvektoren in Null und neuronale Netze wieder in den 2010er Jahren.
Die 2020er werden nicht anders sein, sagt Domingos. Dies bedeutet, dass die Ära des tiefen Lernens bald vorbei sein könnte. Aber was als nächstes passieren wird - eine alte Technik in einem neuen Glanz oder ein völlig neues Paradigma - ist das Thema heftiger Debatten in der Gemeinschaft.
Ilya Khel
