Künstliche Intelligenz. Wie viel wurde über ihn gesagt, aber wir haben noch nicht einmal wirklich angefangen zu reden. Fast alles, was Sie über den Fortschritt der künstlichen Intelligenz hören, basiert auf einem 30 Jahre alten Durchbruch. Um die Dynamik des Fortschritts aufrechtzuerhalten, müssen strenge und wichtige Einschränkungen umgangen werden. Als nächstes in der ersten Person - James Somers.
Ich stehe dort, wo bald das Zentrum der Welt sein wird, oder einfach in einem großen Raum im siebten Stock eines glänzenden Turms in der Innenstadt von Toronto - auf welche Seite Sie schauen. Ich werde von Jordan Jacobs begleitet, dem Mitbegründer dieses Ortes: The Vector Institute, das im Herbst seine Türen öffnet und verspricht, das globale Epizentrum der künstlichen Intelligenz zu sein.
Wir sind in Toronto, weil Jeffrey Hinton in Toronto ist. Und Jeffrey Hinton ist der Vater des "Deep Learning", der Technik hinter dem KI-Hype. "In 30 Jahren werden wir zurückblicken und sagen, dass Jeff der Einstein für KI ist, für tiefes Lernen, was auch immer wir künstliche Intelligenz nennen", sagt Jacobs. Von allen KI-Forschern wird Hinton häufiger zitiert als die drei, die ihm folgen. Seine Studenten und Doktoranden arbeiten im KI-Labor bei Apple, Facebook und OpenAI. Hinton selbst ist der leitende Wissenschaftler im KI-Team von Google Brain. Fast jeder Fortschritt in der KI in den letzten zehn Jahren - in den Bereichen Übersetzung, Spracherkennung, Bilderkennung und Spiele - hat etwas mit Hintons Arbeit zu tun.
Das Vector Institute, ein Denkmal für den Aufstieg von Hintons Ideen, ist ein Forschungszentrum, in dem Unternehmen aus den USA und Kanada - wie Google, Uber und NVIDIA - Anstrengungen zur Kommerzialisierung von KI-Technologien unterstützen. Geld fließt schneller ein, als Jacobs es verlangen kann; Zwei seiner Mitbegründer befragten Unternehmen in der Region Toronto, und die Nachfrage nach KI-Experten war zehnmal höher als die von Kanada pro Jahr. Das Vector Institute ist in gewisser Weise ein unerschlossenes jungfräuliches Land, um zu versuchen, die Welt rund um tiefes Lernen zu mobilisieren: in diese Technik zu investieren, sie zu lehren, sie zu verfeinern und anzuwenden. Rechenzentren werden gebaut, Wolkenkratzer werden mit Startups gefüllt und Generationen von Studenten strömen in die Region.
Wenn Sie auf dem Boden des Vektors stehen, haben Sie das Gefühl, am Anfang von etwas zu stehen. Aber tiefes Lernen ist im Kern sehr alt. Hintons Durchbruchartikel, geschrieben mit David Rumelhart und Ronald Williams, wurde 1986 veröffentlicht. Die Arbeit beschrieb im Detail die Methode der Rückausbreitung des Fehlers (Rückausbreitung), kurz gesagt. Backprop ist laut John Cohen "alles, worauf Deep Learning basiert - alles".
KI ist heute an ihrer Wurzel tiefes Lernen, und tiefes Lernen ist Backprop. Was erstaunlich ist, wenn man bedenkt, dass der Backprop über 30 Jahre alt ist. Es ist einfach notwendig zu verstehen, wie dies geschah: Wie konnte die Technologie so lange warten und dann eine Explosion verursachen? Denn sobald Sie die Geschichte von Backprop kennen, werden Sie verstehen, was jetzt mit KI passiert und dass wir möglicherweise nicht am Anfang der Revolution stehen. Vielleicht sind wir am Ende von einem.
Der Weg vom Vector Institute zu Hintons Google-Büro, in dem er die meiste Zeit verbringt (er ist jetzt emeritierter Professor an der Universität von Toronto), ist zumindest im Sommer eine Art Live-Werbung für die Stadt. Es wird deutlich, warum Hinton, der ursprünglich aus Großbritannien stammt, in den 1980er Jahren hierher gezogen ist, nachdem er an der Carnegie Mellon University in Pittsburgh gearbeitet hat.
Werbevideo:
Vielleicht stehen wir nicht ganz am Anfang der Revolution
Toronto ist die viertgrößte Stadt Nordamerikas (nach Mexiko-Stadt, New York und Los Angeles) und sicherlich vielfältiger: Mehr als die Hälfte der Bevölkerung wurde außerhalb Kanadas geboren. Und Sie können es sehen, wenn Sie durch die Stadt laufen. Die Menge ist multinational. Es gibt kostenlose Gesundheitsversorgung und gute Schulen, die Menschen sind freundlich, die Politiker sind relativ links und stabil; All dies zieht Leute wie Hinton an, der sagt, er habe die Vereinigten Staaten wegen des Irangate verlassen (Iran-Contra ist ein großer politischer Skandal in den Vereinigten Staaten in der zweiten Hälfte der 1980er Jahre; dann wurde bekannt, dass bestimmte Mitglieder der US-Regierung Geheimnisse organisierten Lieferung von Waffen an den Iran, wodurch das Waffenembargo gegen dieses Land verletzt wird). Hier beginnt unser Gespräch vor dem Mittagessen.
"Viele dachten, die USA könnten in Nicaragua einmarschieren", sagt er. "Aus irgendeinem Grund glaubten sie, dass Nicaragua zu den Vereinigten Staaten gehört." Er sagte, er habe kürzlich einen großen Durchbruch in dem Projekt erzielt: „Ein sehr guter Nachwuchsingenieur hat angefangen, mit mir zu arbeiten“, eine Frau namens Sarah Sabour. Sabur ist Iraner und hat kein Visum für die Arbeit in den USA erhalten. Googles Büro in Toronto hat es herausgezogen.
Hinton ist 69 Jahre alt. Er hat ein scharfes, dünnes englisches Gesicht mit einem dünnen Mund, großen Ohren und einer stolzen Nase. Er wurde in Wimbledon geboren und erinnert im Gespräch den Erzähler an ein Kinderbuch über Wissenschaft: neugierig, verlockend, versuchend, alles zu erklären. Er ist lustig und spielt ein wenig vor dem Publikum. Es tut ihm weh, wegen Rückenproblemen zu sitzen, damit er nicht fliegen kann, und in der Zahnarztpraxis legt er sich auf ein Gerät, das einem Surfbrett ähnelt.
In den 1980er Jahren war Hinton wie heute ein Experte für neuronale Netze, ein stark vereinfachtes Modell des Netzes von Neuronen und Synapsen in unserem Gehirn. Zu dieser Zeit war man sich jedoch einig, dass neuronale Netze eine Sackgasse in der KI-Forschung darstellen. Obwohl das allererste neuronale Netzwerk, Perceptron, in den 1960er Jahren entwickelt wurde und als erster Schritt in Richtung Maschinenintelligenz auf menschlicher Ebene angesehen wurde, haben Marvin Minsky und Seymour Papert 1969 mathematisch bewiesen, dass solche Netzwerke nur die einfachsten Funktionen ausführen können. Diese Netzwerke hatten nur zwei Schichten von Neuronen: eine Eingangsschicht und eine Ausgangsschicht. Netzwerke mit einer großen Anzahl von Schichten zwischen Eingangs- und Ausgangsneuronen könnten theoretisch eine Vielzahl von Problemen lösen, aber niemand wusste, wie man sie trainiert, so dass sie in der Praxis nutzlos waren. Aufgrund der Perceptrons hat fast jeder mit wenigen Ausnahmen die Idee der neuronalen Netze aufgegeben.einschließlich Hinton.
Hintons Durchbruch im Jahr 1986 bestand darin zu zeigen, dass Backpropagation ein tiefes neuronales Netzwerk mit mehr als zwei oder drei Schichten trainieren kann. Es dauerte jedoch weitere 26 Jahre, bis die Rechenleistung zunahm. In einer Arbeit von 2012 zeigten Hinton und zwei Studenten aus Toronto, dass tiefe neuronale Netze, die mit Backprop trainiert wurden, die besten Bilderkennungssysteme übertrafen. Deep Learning hat begonnen, an Zugkraft zu gewinnen. Die Welt entschied über Nacht, dass die KI am Morgen übernehmen würde. Für Hinton war dies ein willkommener Sieg.
Realitätsverzerrungsfeld
Ein neuronales Netzwerk wird üblicherweise als Sandwich dargestellt, dessen Schichten einander überlagert sind. Diese Schichten enthalten künstliche Neuronen, bei denen es sich im Wesentlichen um kleine Recheneinheiten handelt, die wie ein echtes Neuron feuern und diese Erregung auf die anderen Neuronen übertragen, mit denen sie verbunden sind. Die Erregung eines Neurons wird durch eine Zahl dargestellt, beispielsweise 0,13 oder 32,39, die den Erregungsgrad des Neurons bestimmt. Und es gibt eine weitere wichtige Zahl an jeder der Verbindungen zwischen den beiden Neuronen, die bestimmt, wie viel Erregung von einem zum anderen übertragen werden soll. Diese Zahl modelliert die Stärke der Synapsen zwischen Neuronen im Gehirn. Je höher die Zahl, desto stärker ist die Verbindung, was bedeutet, dass mehr Aufregung von einem zum anderen fließt.
Eine der erfolgreichsten Anwendungen tiefer neuronaler Netze war die Bilderkennung. Heute gibt es Programme, die erkennen können, ob ein Hot Dog auf dem Bild ist. Vor etwa zehn Jahren waren sie unmöglich. Damit sie funktionieren, müssen Sie zuerst ein Bild aufnehmen. Nehmen wir der Einfachheit halber an, es handelt sich um ein 100 x 100 Pixel großes Schwarzweißbild. Sie speisen es dem neuronalen Netzwerk ein, indem Sie das Feuern jedes simulierten Neurons in der Eingabeschicht so einstellen, dass es der Helligkeit jedes Pixels entspricht. Dies ist die unterste Schicht des Sandwichs: 10.000 Neuronen (100 x 100), die die Helligkeit jedes Pixels im Bild darstellen.
Dann verbinden Sie diese große Schicht von Neuronen mit einer anderen großen Schicht von Neuronen, die bereits höher sind, beispielsweise mehrere Tausend, und sie wiederum mit einer anderen Schicht von mehreren tausend Neuronen, aber weniger und so weiter. Schließlich besteht die oberste Schicht des Sandwichs - die Ausgangsschicht - aus zwei Neuronen - eines repräsentiert den Hot Dog und das andere nicht den Hot Dog. Die Idee ist, das neuronale Netzwerk so zu trainieren, dass nur das erste dieser Neuronen ausgelöst wird, wenn sich ein Hot Dog auf dem Bild befindet, und das zweite, wenn nicht. Backprop, die Backpropagation-Technik, auf die Hinton seine Karriere aufgebaut hat, macht genau das.
Backprop ist extrem einfach, obwohl es am besten mit großen Datenmengen funktioniert. Aus diesem Grund ist Big Data für AI so wichtig - warum Facebook und Google so leidenschaftlich sind und warum das Vector Institute beschlossen hat, sich mit den vier größten Krankenhäusern in Kanada zu verbinden und Daten auszutauschen.
In diesem Fall haben die Daten die Form von Millionen von Bildern, einige mit Hot Dogs, andere ohne; Der Trick besteht darin, diese Bilder als Hot Dogs zu markieren. Wenn Sie zum ersten Mal ein neuronales Netzwerk erstellen, haben die Verbindungen zwischen Neuronen zufällige Gewichte - Zufallszahlen, die angeben, wie viel Erregung über jede Verbindung übertragen wird. Als ob die Synapsen des Gehirns noch nicht gestimmt sind. Der Zweck des Backprops besteht darin, diese Gewichte so zu ändern, dass das Netzwerk funktioniert: Wenn Sie das Hot-Dog-Bild der untersten Schicht zuführen, wird das Hot-Dog-Neuron in der obersten Schicht ausgelöst.
Angenommen, Sie machen das erste Klavier-Tutorial-Bild. Sie konvertieren die Pixelintensitäten eines 100 x 100-Bildes in 10.000 Zahlen, eine für jedes Neuron in der unteren Schicht des Netzwerks. Während sich die Anregung entsprechend der Stärke der Verbindung der Neuronen in den benachbarten Schichten durch das Netzwerk ausbreitet, gelangt alles allmählich zur letzten Schicht, einem der beiden Neuronen, die bestimmen, ob sich ein Hot Dog auf dem Bild befindet. Da dies ein Bild eines Klaviers ist, sollte das Hot-Dog-Neuron Null und das Nicht-Hot-Dog-Neuron eine höhere Zahl anzeigen. Nehmen wir an, so funktionieren die Dinge nicht. Angenommen, das Netzwerk hat sich in Bezug auf das Bild geirrt. Backprop ist ein Verfahren zur Stärkung der Stärke jeder Verbindung im Netzwerk, mit dem Sie den Fehler im angegebenen Trainingsbeispiel korrigieren können.
Wie es funktioniert? Sie beginnen mit den letzten beiden Neuronen und finden heraus, wie falsch sie sind: Was ist der Unterschied zwischen ihren Schusszahlen und dem, was sie eigentlich sein sollten? Dann schauen Sie sich jede Verbindung an, die zu diesen Neuronen führt - die Schichten hinunter - und bestimmen ihren Beitrag zum Fehler. Sie tun dies so lange, bis Sie zu den ersten Verbindungen ganz unten im Netzwerk gelangen. An diesem Punkt wissen Sie, wie die einzelne Verbindung zum Gesamtfehler beiträgt. Schließlich ändern Sie alle Gewichte, um die allgemeine Fehlerwahrscheinlichkeit zu verringern. Diese sogenannte "Fehlerausbreitungstechnik" besteht darin, dass Sie Fehler durch das Netzwerk zurückführen, beginnend von hinten nach außen.
Das Unglaubliche beginnt, wenn Sie es mit Millionen oder Milliarden von Bildern machen: Das Netzwerk beginnt gut herauszufinden, ob ein Bild ein Hot Dog ist oder nicht. Noch bemerkenswerter ist, dass die einzelnen Schichten dieser Bilderkennungsnetzwerke Bilder auf die gleiche Weise "sehen" wie unser eigenes visuelles System. Das heißt, die erste Schicht erkennt Konturen - Neuronen werden ausgelöst, wenn Konturen vorhanden sind, und werden nicht ausgelöst, wenn dies nicht der Fall ist. Die nächste Ebene definiert Sätze von Pfaden, z. B. Ecken. Die nächste Schicht beginnt Formen zu unterscheiden. Die nächste Ebene findet alle Arten von Elementen wie "offenes Brötchen" oder "geschlossenes Brötchen", da die entsprechenden Neuronen aktiviert sind. Das Netzwerk organisiert sich in hierarchischen Schichten, ohne auf diese Weise programmiert zu werden.
Wahre Intelligenz wird nicht verwirrt, wenn sich das Problem geringfügig ändert.
Das hat alle so begeistert. Es ist nicht so sehr so, dass neuronale Netze Hot-Dog-Bilder gut klassifizieren können: Sie bilden Repräsentationen von Ideen. Mit Text wird dies noch deutlicher. Sie können den Text von Wikipedia, viele Milliarden Wörter, einem einfachen neuronalen Netzwerk zuführen und ihm beibringen, jedes Wort mit Zahlen zu versehen, die den Anregungen jedes Neurons in der Schicht entsprechen. Wenn Sie sich all diese Zahlen als Koordinaten in einem komplexen Raum vorstellen, finden Sie für jedes Wort in diesem Raum einen Punkt, der in diesem Zusammenhang als Vektor bezeichnet wird. Dann trainieren Sie das Netzwerk so, dass Wörter, die auf Wikipedia-Seiten nebeneinander erscheinen, mit ähnlichen Koordinaten ausgestattet werden - und voila, etwas Seltsames passiert: Wörter mit ähnlichen Bedeutungen werden in diesem Bereich nebeneinander angezeigt. "Mad" und "verärgert" werden da sein; "Drei" und "Sieben" auch. Außerdem,Mit der Vektorarithmetik können Sie den Vektor "Frankreich" von "Paris" subtrahieren, zu "Italien" hinzufügen und "Rom" in der Nähe finden. Niemand sagte dem neuronalen Netz, dass Rom für Italien genauso ist wie Paris für Frankreich.
"Es ist erstaunlich", sagt Hinton. "Es ist schockierend." Neuronale Netze können als Versuch angesehen werden, Dinge - Bilder, Wörter, Aufzeichnungen von Gesprächen, medizinische Daten - aufzunehmen und sie, wie Mathematiker sagen, in einem mehrdimensionalen Vektorraum zu platzieren, in dem die Nähe oder Abgelegenheit der Dinge die wichtigsten Aspekte der realen Welt widerspiegelt. Hinton glaubt, dass dies das ist, was das Gehirn tut. „Wenn Sie wissen möchten, was ein Gedanke ist“, sagt er, „kann ich ihn Ihnen in einer Reihe von Worten vermitteln. Ich kann sagen: "John dachte 'oops'. Aber wenn Sie fragen: Was wird gedacht? Was bedeutet es für John, diesen Gedanken zu haben? Schließlich gibt es in seinem Kopf keine Eröffnungszitate, "oops", Schlusszitate, im Allgemeinen gibt es so etwas nicht. In seinem Kopf ist eine neuronale Aktivität im Gange. " Wenn Sie Mathematiker sind, können große Bilder neuronaler Aktivität im Vektorraum aufgenommen werden.wobei die Aktivität jedes Neurons einer Zahl entspricht und jede Zahl der Koordinate eines sehr großen Vektors entspricht. Für Hinton ist das Denken ein Tanz von Vektoren.
Jetzt ist klar, warum das Vector Institute so genannt wurde?
Hinton erzeugt eine Art Realitätsverzerrungsfeld, ein Gefühl des Vertrauens und der Begeisterung wird auf Sie übertragen und vermittelt den Glauben, dass für Vektoren nichts unmöglich ist. Immerhin haben sie bereits selbstfahrende Autos, Krebserkennungscomputer und sofortige Übersetzer für gesprochene Sprachen entwickelt.
Erst wenn Sie den Raum verlassen, erinnern Sie sich daran, dass diese Deep-Learning-Systeme trotz ihrer demonstrativen Denkkraft immer noch ziemlich dumm sind. Ein Computer, der einen Haufen Donuts auf einem Tisch sieht und ihn automatisch als „einen Haufen Donuts auf dem Tisch“bezeichnet, scheint die Welt zu verstehen. Aber wenn dasselbe Programm sieht, wie ein Mädchen sich die Zähne putzt und sagt, sie sei ein „Junge mit einem Baseballschläger“, merkt man, wie schwer dieses Verständnis ist, wenn überhaupt.
Neuronale Netze sind nur sinnlose und vage Mustererkenner, und wie nützlich solche Mustererkenner sein können - weil sie sie in jede Software integrieren wollen -, sind sie bestenfalls eine begrenzte Art von Intelligenz, die leicht ausgetrickst werden kann. Ein tiefes neuronales Netzwerk, das Bilder erkennt, kann völlig verwirrt sein, wenn Sie ein Pixel ändern oder visuelles Rauschen hinzufügen, das für Menschen unsichtbar ist. Fast so oft, wie wir neue Wege finden, um tiefes Lernen zu nutzen, sind wir oft mit seinen Grenzen konfrontiert. Selbstfahrende Autos können nicht unter Bedingungen fahren, die zuvor noch nicht gesehen wurden. Maschinen können keine Sätze analysieren, die gesunden Menschenverstand und ein Verständnis der Funktionsweise der Welt erfordern.
Deep Learning ahmt das Geschehen im menschlichen Gehirn auf eine Art und Weise nach, aber oberflächlich - was vielleicht erklärt, warum seine Intelligenz manchmal so oberflächlich ist. Backprop wurde beim Eintauchen in das Gehirn nicht entdeckt und versuchte, den Gedanken selbst zu entschlüsseln. es entstand aus Modellen des Tierlernens durch Versuch und Irrtum in altmodischen Experimenten. Und die meisten wichtigen Schritte, die seit ihrer Gründung unternommen wurden, beinhalteten nichts Neues über die Neurowissenschaften; Dies waren technische Verbesserungen, die durch jahrelange Arbeit von Mathematikern und Ingenieuren verdient wurden. Was wir über Intelligenz wissen, ist nichts im Vergleich zu dem, was wir noch nicht darüber wissen.
David Duvenaud, ein Assistenzprofessor in derselben Abteilung wie Hinton an der Universität von Toronto, sagt, dass tiefes Lernen dem Ingenieurwesen vor der Einführung der Physik ähnlich ist. „Jemand schreibt ein Werk und sagt:‚ Ich habe diese Brücke gemacht, und es lohnt sich! ' Ein anderer schreibt: "Ich habe diese Brücke gebaut und sie ist zusammengebrochen, aber ich habe Stützen hinzugefügt und sie steht." Und alle sind verrückt nach den Unterstützungen. Jemand fügt einen Bogen hinzu - und jeder ist so: Bögen sind cool! Mit der Physik können Sie tatsächlich herausfinden, was funktionieren wird und warum. Wir haben erst vor kurzem begonnen, zumindest ein gewisses Verständnis der künstlichen Intelligenz zu erreichen."
Und Hinton selbst sagt: „Bei den meisten Konferenzen geht es darum, kleine Änderungen vorzunehmen, anstatt nachzudenken und Fragen zu stellen:„ Warum funktioniert das, was wir jetzt tun, nicht? Was ist der Grund dafür? Konzentrieren wir uns darauf."
Es ist schwierig, eine Außenperspektive zu erhalten, wenn Sie nur Fortschritt nach Fortschritt sehen. Die jüngsten Fortschritte in der KI waren jedoch weniger wissenschaftlich und mehr technisch. Während wir besser verstehen, welche Veränderungen Deep-Learning-Systeme verbessern, haben wir immer noch eine vage Vorstellung davon, wie diese Systeme funktionieren und ob sie jemals zu etwas zusammenkommen können, das so mächtig ist wie der menschliche Geist.
Es ist wichtig zu verstehen, ob wir in der Lage waren, alles, was wir können, aus dem Backprop zu extrahieren. Wenn ja, dann werden wir ein Plateau in der Entwicklung der künstlichen Intelligenz haben.
Die Geduld
Wenn Sie den nächsten Durchbruch sehen möchten, so etwas wie ein Framework für Maschinen mit viel flexiblerer Intelligenz, sollten Sie sich theoretisch der Forschung zuwenden, die der Backprop-Forschung in den 80er Jahren ähnelt: Als kluge Leute aufgaben, weil ihre Ideen noch nicht funktionierten. …
Vor einigen Monaten besuchte ich das Center for Minds, Brains and Machines, eine am MIT stationierte Mehrzweckinstitution, um meinem Freund Eyal Dechter bei der Verteidigung seiner Dissertation in Kognitionswissenschaft zuzusehen. Vor Beginn der Aufführung unterstützten ihn seine Frau Amy, sein Hund Ruby und seine Tochter Suzanne und wünschten ihm viel Glück.
Eyal begann seine Rede mit einer faszinierenden Frage: Wie kam es, dass die erst zweijährige Suzanne lernte, zu sprechen, zu spielen und Geschichten zu folgen? Was ist im menschlichen Gehirn, das es ihm ermöglicht, so gut zu lernen? Wird ein Computer jemals lernen, so schnell und reibungslos zu lernen?
Wir verstehen neue Phänomene in Bezug auf Dinge, die wir bereits verstehen. Wir teilen die Domain in Stücke auf und untersuchen sie Stück für Stück. Eyal ist Mathematiker und Programmierer. Er betrachtet Aufgaben - wie das Erstellen eines Souffles - als komplexe Computerprogramme. Aber Sie lernen nicht, wie man ein Soufflé macht, indem Sie sich Hunderte von Minuten Programmanweisungen merken wie "Drehen Sie Ihren Ellbogen um 30 Grad, schauen Sie dann auf die Tischplatte, strecken Sie dann Ihren Finger aus, dann …". Wenn Sie dies in jedem neuen Fall tun müssten, würde das Lernen unerträglich werden und Sie würden aufhören, sich zu entwickeln. Stattdessen sehen wir im Programm hochrangige Schritte wie „Schlage die Weißen“, die selbst aus Unterprogrammen wie „Brich die Eier“und „Trenne die Weißen vom Eigelb“bestehen.
Computer tun dies nicht und scheinen daher dumm zu sein. Um tief zu lernen, einen Hot Dog zu erkennen, müssen Sie ihm 40 Millionen Hot Dog-Bilder geben. Was Suzanne den Hot Dog erkannte, zeigen Sie ihr einfach den Hot Dog. Und lange vorher wird sie ein Verständnis der Sprache haben, das viel tiefer geht als das Erkennen des Auftretens einzelner Wörter zusammen. Im Gegensatz zu einem Computer hat ihr Kopf eine Vorstellung davon, wie die Welt funktioniert. "Es überrascht mich, dass die Leute Angst haben, dass Computer ihre Arbeit annehmen", sagt Eyal. „Computer können Anwälte nicht ersetzen, weil Anwälte etwas Schwieriges tun. Aber weil Anwälte zuhören und mit Menschen reden. In diesem Sinne sind wir weit davon entfernt."
Wahre Intelligenz wird nicht verwirrt, wenn Sie die Anforderungen zur Lösung des Problems geringfügig ändern. Und Eyals Schlüsselthese war es, genau dies im Prinzip zu demonstrieren, wie ein Computer auf diese Weise funktioniert: alles, was er bereits weiß, anschaulich anwenden, um neue Probleme zu lösen, schnell zu erfassen und Experte auf einem völlig neuen Gebiet zu werden.
Im Wesentlichen nennt er dies den Explorations-Komprimierungs-Algorithmus. Es gibt dem Computer die Funktion eines Programmierers, der eine Bibliothek wiederverwendbarer modularer Komponenten erstellt, damit komplexere Programme erstellt werden können. Der Computer weiß nichts über die neue Domäne und versucht, das Wissen darüber zu strukturieren, indem er sie einfach studiert, das, was er entdeckt hat, konsolidiert und wie ein Kind weiter untersucht.
Sein Berater Joshua Tenenbaum ist einer der am häufigsten zitierten KI-Forscher. Tenenbaums Name tauchte in der Hälfte der Gespräche auf, die ich mit anderen Wissenschaftlern führte. Einige der Schlüsselpersonen bei DeepMind - das Entwicklerteam von AlphaGo, das den legendären Go Go-Champion 2016 besiegt hat - haben unter ihm gearbeitet. Er ist an einem Startup beteiligt, das versucht, selbstfahrenden Autos ein intuitives Verständnis der zugrunde liegenden Physik und Absichten anderer Fahrer zu vermitteln, damit sie besser vorhersehen können, was in Situationen passiert, denen sie zuvor noch nicht begegnet sind.
Eyals These wurde noch nicht in die Praxis umgesetzt, sie wurde noch nicht einmal in die Programme aufgenommen. „Die Probleme, an denen Eyal arbeitet, sind sehr, sehr schwierig“, sagt Tenenbaum. "Es dauert viele Generationen, um zu vergehen."
Als wir uns auf eine Tasse Kaffee setzten, sagte Tenenbaum, er habe die Geschichte von Backprop nach Inspiration durchsucht. Backprop ist seit Jahrzehnten eine Form cooler Mathematik, die größtenteils zu nichts fähig ist. Als die Computer schneller und die Technologie schwieriger wurden, änderten sich die Dinge. Er hofft, dass etwas Ähnliches mit seiner eigenen Arbeit und der Arbeit seiner Schüler passieren wird, aber "es kann noch ein paar Jahrzehnte dauern".
Für Hinton ist er überzeugt, dass es bei der Überwindung der Grenzen der KI darum geht, eine "Brücke zwischen Informatik und Biologie" zu schlagen. Aus dieser Sicht war Backprop ein Triumph des biologisch inspirierten Computing. Die Idee kam ursprünglich nicht aus dem Ingenieurwesen, sondern aus der Psychologie. Jetzt versucht Hinton, diesen Trick zu wiederholen.
Heutzutage bestehen neuronale Netze aus großen flachen Schichten, aber im menschlichen Neokortex sind echte Neuronen nicht nur horizontal, sondern auch vertikal in Spalten angeordnet. Hinton errät, wofür diese Spalten gedacht sind. In der Sicht können Sie beispielsweise Objekte erkennen, selbst wenn Sie Ihre Sichtweise ändern. Also erstellt er eine künstliche Version - und nennt sie "Kapseln" -, um diese Theorie zu testen. Bisher kommt nichts heraus: Die Kapseln haben die Leistung seiner Netzwerke nicht wesentlich verbessert. Aber vor 30 Jahren war es mit Backprop genauso.
"Es sollte funktionieren", sagt er über die Kapseltheorie und lacht über seine eigene Tapferkeit. "Und was noch nicht funktioniert, ist nur eine vorübergehende Irritation."
Basierend auf Materialien von Medium.com
Ilya Khel
