Die größte Lehre aus 70 Jahren KI-Forschung ist, dass allgemeine Methoden, die Berechnungen verwenden, letztendlich die effizientesten sind - und das mit großem Abstand. Der ultimative Grund dafür ist Moores Gesetz. Oder besser gesagt, seine Verallgemeinerung: die anhaltende, exponentielle Reduzierung der Kosten für Computerprozessoren. Diese "bittere Lektion" wurde von Richard Sutton, einem kanadischen Informatiker, geteilt. Weiter - von der ersten Person.
Warum ist die Forschung im Bereich der künstlichen Intelligenz seit 70 Jahren zum Stillstand gekommen?
Die meisten KI-Untersuchungen wurden durchgeführt, als ob die dem Agenten zur Verfügung stehenden Berechnungen dauerhaft wären (und in diesem Fall wäre die Verwendung menschlichen Wissens eine der einzigen Möglichkeiten, die Leistung zu verbessern). Aber im Laufe der Zeit - viel mehr als ein typisches Forschungsprojekt benötigt - wird zwangsläufig viel mehr Berechnung verfügbar. Auf der Suche nach Verbesserungen, die kurzfristig helfen können, versuchen Wissenschaftler, das menschliche Wissen in diesem Bereich zu maximieren. Langfristig ist jedoch nur der zunehmende Einsatz von Computern von Bedeutung. Diese beiden Aspekte sollten sich nicht widersprechen, aber in der Praxis tun sie dies. Die Zeit, die für einen von ihnen aufgewendet wird, entspricht nicht der Zeit, die für den anderen aufgewendet wird. Es gibt psychologische Verpflichtungen, in den einen oder anderen Ansatz zu investieren. Und der Ansatz des menschlichen Wissens neigt dazu, Methoden so zu komplizieren, dass sie weniger geeignet sind, allgemeine Methoden zu nutzen, die Berechnungen verwenden.
Es gab viele Beispiele von KI-Forschern, die diese bittere Lektion verspätet verstanden haben. Es wird lehrreich sein, einige der bekanntesten Beispiele zu betrachten.
Im Computerschach basierten die Methoden, mit denen Weltmeister Kasparov 1997 besiegt wurde, auf einer massiven, tiefen Suche. Zu dieser Zeit wurden sie von den meisten Computerschachforschern mit Bestürzung betrachtet, die Methoden verwendeten, die auf dem menschlichen Verständnis der spezifischen Struktur des Schachs basierten. Als sich ein einfacher, suchbasierter Ansatz mit spezialisierter Hardware und Software als viel effektiver erwies, gaben Forscher, die auf dem menschlichen Schachverständnis aufbauen, keine Niederlage zu. Sie sagten: „Dieses Mal hat der Brute-Force-Ansatz vielleicht gewonnen, aber er wird keine Gesamtstrategie, und sicherlich spielen die Leute nicht so Schach. Diese Wissenschaftler wollten, dass Methoden auf menschlicher Basis gewinnen, und waren sehr enttäuscht, wenn sie dies nicht taten.
Werbevideo:
Ein ähnliches Bild des Forschungsfortschritts wurde bei Computer Go nur mit einer Verzögerung von weiteren 20 Jahren gesehen. Anfangs wurden große Anstrengungen unternommen, um die Suche mit menschlichem Wissen oder Gameplay zu vermeiden, aber all diese Bemühungen waren unnötig oder noch schlimmer, sobald die Suche effektiv und in großem Umfang angewendet wurde. Es war auch wichtig, das Lernen im Prozess des unabhängigen Spielens zu nutzen, um die Wertefunktion zu lernen (wie es in vielen anderen Spielen und sogar im Schach der Fall war, spielte nur das Lernen 1997 keine große Rolle im Programm, das den Weltmeister zum ersten Mal besiegte). Das Lernen, mit sich selbst zu spielen, als Ganzes zu lernen, ist wie eine Suche, mit der Sie riesige Berechnungsreihen anwenden können. Suchen und Lernen sind zwei der wichtigsten Klassen von Techniken, die einen enormen Rechenaufwand in der KI-Forschung erfordern. Im Computer gehenWie beim Computerschach zielten die ersten Bemühungen der Forscher darauf ab, das menschliche Verständnis zu nutzen (so dass weniger gesucht wurde), und viel mehr Erfolg wurde erst viel später durch den Einsatz von Suchen und Lernen erzielt.
Im Bereich der Spracherkennung fand in den 1970er Jahren ein von DARPA gesponserter Wettbewerb statt. Die Teilnehmer stellten verschiedene Methoden vor, die das menschliche Wissen nutzten - das Wissen über Wörter oder Phoneme, den menschlichen Stimmapparat und so weiter. Auf der anderen Seite der Barrikaden gab es neuere Methoden, die statistischer Natur waren und mehr Berechnungen auf der Grundlage von Hidden-Markov-Modellen (HMM) durchführten. Auch hier haben sich statistische Methoden gegen wissensbasierte Methoden durchgesetzt. Dies führte zu großen Änderungen in der gesamten Verarbeitung natürlicher Sprache, die im Laufe der Jahrzehnte schrittweise eingeführt wurden, bis schließlich Statistiken und Berechnungen das Feld dominierten. Der jüngste Anstieg des tiefen Lernens in der Spracherkennung ist der jüngste Schritt in diese konsequente Richtung. Deep Learning basiert noch weniger auf menschlichem Wissen und verwendet noch mehr Berechnungen, zusammen mit dem Training an riesigen Probensätzen, und erzeugt erstaunliche Spracherkennungssysteme.
Richard Sutton, kanadischer Informatiker.
Wie in Spielen haben Wissenschaftler immer versucht, Systeme zu entwickeln, die so funktionieren, wie sie es sich in ihren Köpfen vorgestellt haben - sie haben versucht, dieses Wissen in ihre Systeme einzubringen -, aber es kam alles als äußerst unproduktiv heraus, Wissenschaftler haben nur Zeit verschwendet, während - aufgrund des Mooreschen Gesetzes - Immer umfangreichere Berechnungen wurden verfügbar und fanden hervorragende Anwendungen.
Ein ähnliches Bild zeigte sich im Bereich Computer Vision. Die ersten Methoden wurden als Suche nach bestimmten Konturen, verallgemeinerten Zylindern oder unter Verwendung der Funktionen von SIFT (skaleninvariante Transformation von Merkmalen) wahrgenommen. Aber heute wurde das alles in den Ofen geworfen. Moderne Deep-Learning-Neuronale Netze verwenden nur das Konzept der Faltung und bestimmter Invarianten und arbeiten viel besser.
Dies ist eine großartige Lektion.
Wo immer wir hinschauen, machen wir überall überall die gleichen Fehler. Um dies zu sehen und effektiv damit umzugehen, müssen Sie verstehen, warum diese Fehler so attraktiv sind. Wir müssen die bittere Lektion lernen, dass das Bauen, wie wir denken, aus dem, was wir denken, auf lange Sicht nicht funktionieren wird. Eine bittere Lektion, die auf historischen Beobachtungen basiert, zeigt, dass: 1) KI-Forscher oft versucht haben, Wissen in ihre Agenten einzubauen; 2) es hat immer kurzfristig geholfen und den Wissenschaftlern Zufriedenheit gebracht; 3) aber auf lange Sicht kam alles zum Stillstand und behinderte weitere Fortschritte; 4) Der störende Fortschritt war unvermeidlich mit dem entgegengesetzten Ansatz verbunden, der auf der Skalierung der Berechnung durch Suchen und Lernen beruhte. Erfolg hatte einen bitteren Geschmack und wurde oft nicht vollständig absorbiert.weil es der Erfolg des Rechnens ist, nicht der Erfolg menschenzentrierter Ansätze.
Eine Sache, die man aus dieser bitteren Lektion lernen kann, ist die enorme Kraft von Allzweckmethoden, Methoden, die mit dem Wachstum der Berechnung weiter skalieren, selbst wenn die verfügbare Berechnung sehr groß wird. Zwei Methoden, die auf diese Weise willkürlich zu skalieren scheinen, sind Suchen und Lernen.
Das zweite, was man aus dieser bitteren Lektion lernen kann, ist, dass der tatsächliche Inhalt des Geistes extrem und unnötig komplex ist; Wir sollten aufhören zu versuchen, einfache Wege zu finden, um den Inhalt des Geistes zu verstehen, ähnlich wie einfache Wege, um Raum, Objekte, mehrere Agenten oder Symmetrien zu verstehen. Sie alle sind Teil einer willkürlich komplexen Außenwelt. Wir sollten nicht versuchen, auf ihnen aufzubauen, weil ihre Komplexität unendlich ist; Wir sollten auf Metamethoden aufbauen, die diese willkürliche Komplexität finden und erfassen können. Diese Methoden können gute Annäherungen finden, aber die Suche nach ihnen sollte von unseren Methoden durchgeführt werden, nicht von uns. Wir brauchen KI-Agenten, die auf die gleiche Weise wie wir entdecken können und nicht das enthalten, was wir entdeckt haben. Das Bauen auf unseren Entdeckungen erschwert nur den Entdeckungs- und Suchprozess.
Ilya Khel
