In den letzten 10 Jahren haben wir dank der sogenannten Deep-Learning-Methode die besten Systeme für künstliche Intelligenz erhalten - zum Beispiel Spracherkenner auf Smartphones oder den neuesten automatischen Übersetzer von Google. Deep Learning ist in der Tat zu einem neuen Trend in den bereits bekannten neuronalen Netzen geworden, die seit über 70 Jahren in Mode sind und herauskommen. Neuronale Netze wurden erstmals 1994 von Warren McCullough und Walter Pitts, zwei Forschern an der Universität von Chicago, vorgeschlagen. 1952 arbeiteten sie am Massachusetts Institute of Technology, um den Grundstein für das erste Department of Cognition zu legen.
Neuronale Netze waren eine der Hauptforschungslinien sowohl in den Neurowissenschaften als auch in der Informatik, bis sie 1969 den Legenden zufolge von den MIT-Mathematikern Marvin Minsky und Seymour Papert getötet wurden, die ein Jahr später Co-Leiter des neuen Labors für künstliche Intelligenz des MIT wurden.
Diese Methode erlebte in den 1980er Jahren eine Wiederbelebung, trat im ersten Jahrzehnt des neuen Jahrhunderts leicht in den Schatten und kehrte im zweiten Jahrzehnt mit Fanfare zurück, auf dem Höhepunkt der unglaublichen Entwicklung von Grafikchips und ihrer Verarbeitungsleistung.
"Es gibt die Wahrnehmung, dass Ideen in der Wissenschaft wie Epidemien von Viren sind", sagt Tomaso Poggio, Professor für Kognition und Gehirnwissenschaften am MIT. „Es gibt wahrscheinlich fünf oder sechs Hauptstämme von Influenzaviren, und einer von ihnen kommt mit einer beneidenswerten Rate von 25 Jahren zurück. Menschen infizieren sich, erwerben Immunität und werden in den nächsten 25 Jahren nicht krank. Dann erscheint eine neue Generation, die bereit ist, mit demselben Virusstamm infiziert zu werden. In der Wissenschaft verlieben sich Menschen in eine Idee, sie macht alle verrückt, dann schlagen sie sie zu Tode und erwerben Immunität dagegen - sie werden es leid. Ideen sollten eine ähnliche Häufigkeit haben."
Wichtige Fragen
Neuronale Netze sind eine Methode des maschinellen Lernens, bei der ein Computer durch Analysieren von Trainingsbeispielen lernt, bestimmte Aufgaben auszuführen. In der Regel werden diese Beispiele im Voraus manuell markiert. Ein Objekterkennungssystem kann beispielsweise Tausende von markierten Bildern von Autos, Häusern, Kaffeetassen usw. aufnehmen und dann visuelle Muster in den Bildern finden, die konsistent mit bestimmten Markierungen korrelieren.
Ein neuronales Netzwerk wird oft mit dem menschlichen Gehirn verglichen, das auch solche Netzwerke aufweist, die aus Tausenden oder Millionen einfacher Verarbeitungsknoten bestehen, die eng miteinander verbunden sind. Die meisten modernen neuronalen Netze sind in Knotenschichten organisiert, durch die Daten nur in eine Richtung fließen. Ein einzelner Knoten kann mehreren Knoten in der darunter liegenden Schicht zugeordnet sein, von der er Daten empfängt, und mehreren Knoten in der darüber liegenden Schicht, an die er Daten überträgt.
Werbevideo:
Der Knoten weist jeder dieser eingehenden Verbindungen eine Nummer zu - "Gewicht". Wenn das Netzwerk aktiv ist, empfängt der Knoten für jede dieser Verbindungen unterschiedliche Datensätze - unterschiedliche Nummern - und multipliziert mit dem entsprechenden Gewicht. Anschließend addiert er die Ergebnisse zu einer einzigen Zahl. Wenn diese Zahl unter dem Schwellenwert liegt, überträgt der Knoten keine Daten an die nächste Schicht. Wenn die Nummer den Schwellenwert überschreitet, "wacht" der Knoten auf, indem er die Nummer - die Summe der gewichteten Eingabedaten - an alle ausgehenden Verbindungen sendet.
Wenn ein neuronales Netzwerk trainiert wird, werden alle seine Gewichte und Schwellenwerte anfänglich in zufälliger Reihenfolge festgelegt. Die Trainingsdaten werden in die untere Schicht - die Eingangsschicht - eingespeist und durchlaufen nachfolgende Schichten, wobei sie auf komplexe Weise multipliziert und summiert werden, bis sie schließlich, bereits transformiert, in der Ausgangsschicht ankommen. Während des Trainings werden Gewichte und Schwellenwerte kontinuierlich angepasst, bis Trainingsdaten mit denselben Etiketten ähnliche Schlussfolgerungen ziehen.
Geist und Maschinen
Die von McCullough und Pitts 1944 beschriebenen neuronalen Netze hatten sowohl Schwellenwerte als auch Gewichte, waren jedoch nicht in Schichten organisiert, und die Wissenschaftler spezifizierten keinen spezifischen Lernmechanismus. McCullough und Pitts zeigten jedoch, dass ein neuronales Netzwerk im Prinzip jede Funktion wie jeden digitalen Computer berechnen kann. Das Ergebnis war eher aus dem Bereich der Neurowissenschaften als der Informatik: Es musste davon ausgegangen werden, dass das menschliche Gehirn als Computergerät angesehen werden kann.
Neuronale Netze sind weiterhin ein wertvolles Werkzeug für die neurobiologische Forschung. Beispielsweise reproduzierten einzelne Schichten des Netzwerks oder Regeln zum Anpassen von Gewichten und Schwellenwerten die beobachteten Merkmale der menschlichen Neuroanatomie und der kognitiven Funktionen und beeinflussten somit, wie das Gehirn Informationen verarbeitet.
Das erste trainierbare neuronale Netzwerk, das Perceptron (oder Perceptron), wurde 1957 vom Psychologen Frank Rosenblatt von der Cornell University demonstriert. Das Design von Perceptron ähnelte einem modernen neuronalen Netzwerk, außer dass es eine einzelne Schicht mit einstellbaren Gewichten und Schwellenwerten zwischen der Eingangs- und der Ausgangsschicht aufwies.
"Perceptrons" wurden in der Psychologie und Informatik aktiv erforscht, bis Minsky und Papert 1959 ein Buch mit dem Titel "Perceptrons" veröffentlichten, das zeigte, dass es zeitlich unpraktisch war, ganz konventionelle Berechnungen mit Perceptrons durchzuführen.
"Natürlich verschwinden alle Einschränkungen, wenn Sie die Maschinen etwas komplexer gestalten", zum Beispiel in zwei Schichten ", sagt Poggio. Zu dieser Zeit hatte das Buch jedoch einen erschreckenden Effekt auf die Erforschung neuronaler Netze.
"Diese Dinge sind in einem historischen Kontext eine Überlegung wert", sagt Poggio. „Der Beweis wurde für die Programmierung in Sprachen wie Lisp erstellt. Kurz zuvor benutzten die Leute leise analoge Computer. Zu diesem Zeitpunkt war nicht ganz klar, wohin die Programmierung führen würde. Ich denke, sie haben es ein bisschen übertrieben, aber wie immer kann man nicht alles in Schwarz und Weiß unterteilen. Wenn Sie es als einen Wettbewerb zwischen analogem und digitalem Computing betrachten, dann haben sie um das gekämpft, was gebraucht wurde."
Periodizität
In den 1980er Jahren hatten Wissenschaftler jedoch Algorithmen entwickelt, um die Gewichte und Schwellenwerte neuronaler Netze zu modifizieren, die für Netze mit mehr als einer Schicht effizient genug waren, und viele der von Minsky und Papert identifizierten Einschränkungen beseitigt. Dieses Gebiet hat eine Renaissance erlebt.
Aus vernünftiger Sicht fehlte jedoch etwas in den neuronalen Netzen. Eine ausreichend lange Schulungssitzung kann zu einer Überarbeitung der Netzwerkeinstellungen führen, bis die Daten auf nützliche Weise klassifiziert werden. Was bedeuten diese Einstellungen? Welche Merkmale des Bildes betrachtet der Objekterkenner und wie setzt er sie zusammen, um die visuellen Signaturen von Autos, Häusern und Tassen Kaffee zu bilden? Eine Untersuchung der Gewichte einzelner Verbindungen wird diese Frage nicht beantworten.
In den letzten Jahren haben Informatiker begonnen, ausgeklügelte Methoden zu entwickeln, um die analytischen Strategien neuronaler Netze zu bestimmen. In den 1980er Jahren waren die Strategien dieser Netzwerke jedoch unverständlich. Um die Jahrhundertwende wurden daher neuronale Netze durch Vektormaschinen abgelöst, ein alternativer Ansatz zum maschinellen Lernen, der auf reiner und eleganter Mathematik basiert.
Der jüngste Anstieg des Interesses an neuronalen Netzen - die Revolution des tiefen Lernens - ist der Spielebranche zu verdanken. Die komplexe Grafik und das schnelle Tempo moderner Videospiele erfordern Hardware, die mit dem Trend Schritt halten kann, was zu einer GPU (Grafikverarbeitungseinheit) mit Tausenden relativ einfachen Verarbeitungskernen auf einem einzelnen Chip führt. Wissenschaftler erkannten bald, dass die GPU-Architektur perfekt für neuronale Netze ist.
Moderne GPUs ermöglichten es, Netzwerke der 1960er Jahre und Zwei- und Dreischichtnetzwerke der 1980er Jahre zu Sträußen von 10-, 15- und sogar 50-Schicht-Netzwerken von heute aufzubauen. Dafür ist das Wort "tief" beim "tiefen Lernen" verantwortlich. Bis in die Tiefe des Netzwerks. Deep Learning ist derzeit für die effizientesten Systeme in fast allen Bereichen der Forschung mit künstlicher Intelligenz verantwortlich.
Unter der Haube
Die Netzopazität macht Theoretikern immer noch Sorgen, aber in dieser Hinsicht gibt es Fortschritte. Poggio leitet ein Forschungsprogramm zu den theoretischen Grundlagen der Intelligenz. Kürzlich haben Poggio und seine Kollegen eine theoretische Studie über neuronale Netze in drei Teilen veröffentlicht.
Der erste Teil, der letzten Monat im International Journal of Automation and Computing veröffentlicht wurde, befasst sich mit dem Bereich der Berechnungen, die Deep-Learning-Netzwerke ausführen können und wenn Deep-Netzwerke flache nutzen. Die Teile zwei und drei, die als Vorträge veröffentlicht wurden, befassen sich mit den Herausforderungen der globalen Optimierung, dh der Sicherstellung, dass das Netzwerk die Einstellungen findet, die am besten zu seinen Trainingsdaten passen, sowie mit Fällen, in denen das Netzwerk die Besonderheiten seiner Trainingsdaten so gut versteht. die andere Manifestationen derselben Kategorien nicht verallgemeinern können.
Es liegen noch viele theoretische Fragen vor uns, auf die Antworten gegeben werden müssen. Es besteht jedoch die Hoffnung, dass neuronale Netze endlich den Generationszyklus durchbrechen können, der sie in Hitze und manchmal in Kälte stürzt.
ILYA KHEL