Als Dr. Blake Richards von Deep Learning hörte, stellte er fest, dass er mehr als nur einer Methode gegenüberstand, die die künstliche Intelligenz revolutionieren würde. Er erkannte, dass er etwas Grundlegendes aus dem menschlichen Gehirn betrachtete. Es war Anfang der 2000er Jahre und Richards unterrichtete einen Kurs an der Universität von Toronto bei Jeff Hinton. Hinton, der hinter der Entwicklung des Algorithmus stand, der die Welt eroberte, wurde ein Einführungskurs in seine vom menschlichen Gehirn inspirierte Lehrmethode angeboten.
Die Schlüsselwörter hier sind "gehirninspiriert". Trotz Richards 'Überzeugung spielte die Wette gegen ihn. Wie sich herausstellte, hat das menschliche Gehirn keine wichtige Funktion, die in Deep-Learning-Algorithmen programmiert ist. An der Oberfläche verstießen diese Algorithmen gegen grundlegende biologische Fakten, die bereits von Neurowissenschaftlern bewiesen wurden.
Aber was ist, wenn Deep Learning und das Gehirn tatsächlich kompatibel sind?
In einer neuen Studie, die in eLife veröffentlicht wurde, schlug Richards in Zusammenarbeit mit DeepMind einen neuen Algorithmus vor, der auf der biologischen Struktur von Neuronen im Neokortex basiert. Die Kortikalis, die Großhirnrinde, beherbergt höhere kognitive Funktionen wie Argumentation, Vorhersage und flexibles Denken.
Das Team kombinierte ihre künstlichen Neuronen zu einem geschichteten Netzwerk und forderte es zur Aufgabe des klassischen Computer-Sehens heraus - handschriftliche Zahlen zu identifizieren.
Der neue Algorithmus hat hervorragende Arbeit geleistet. Aber noch etwas ist wichtig: Er analysierte Beispiele für das Lernen auf die gleiche Weise wie Deep-Learning-Algorithmen, baute jedoch vollständig auf der grundlegenden Biologie des Gehirns auf.
"Deep Learning ist in einer biologischen Struktur möglich", folgerten die Wissenschaftler.
Da es sich bei diesem Modell derzeit um eine Computerversion handelt, hofft Richards, den Staffelstab an experimentelle Neurowissenschaftler weitergeben zu können, die testen könnten, ob ein solcher Algorithmus in einem echten Gehirn funktioniert.
Werbevideo:
In diesem Fall können die Daten an Informatiker weitergeleitet werden, um massiv parallele und effiziente Algorithmen zu entwickeln, auf denen unsere Maschinen ausgeführt werden. Dies ist der erste Schritt zur Verschmelzung der beiden Bereiche zu einem "tugendhaften Tanz" aus Entdeckung und Innovation.
Den Sündenbock finden
Während Sie wahrscheinlich gehört haben, dass KI kürzlich die Besten der Besten in Go geschlagen hat, wissen Sie kaum genau, wie die Algorithmen hinter dieser KI funktionieren.
Kurz gesagt, Deep Learning basiert auf einem künstlichen neuronalen Netzwerk mit virtuellen "Neuronen". Wie ein großer Wolkenkratzer ist das Netzwerk in einer Hierarchie strukturiert: Neuronen auf niedriger Ebene verarbeiten Eingaben - zum Beispiel horizontale oder vertikale Balken, aus denen die Nummer 4 besteht - und Neuronen auf hoher Ebene verarbeiten abstrakte Aspekte von Nummer 4.
Um das Netzwerk zu trainieren, geben Sie ihm Beispiele dafür, wonach Sie suchen. Das Signal breitet sich durch das Netzwerk aus (steigt die Stufen des Gebäudes hinauf), und jedes Neuron versucht, etwas Grundlegendes in der Arbeit der "Vier" zu sehen.
Wenn Kinder neue Dinge lernen, funktioniert das Netzwerk zunächst nicht gut. Sie gibt alles heraus, was ihrer Meinung nach wie die Nummer vier aussieht - und Sie erhalten Bilder im Geiste von Picasso.
Aber genau so läuft das Lernen ab: Der Algorithmus passt die Ausgabe an die ideale Eingabe an und berechnet die Differenz zwischen den beiden (sprich: Fehler). Fehler "verbreiten sich zurück" durch das Netzwerk und trainieren jedes Neuron. Sie sagen, dies ist nicht das, wonach Sie suchen, sondern sehen besser aus.
Nach Millionen von Beispielen und Wiederholungen funktioniert das Web einwandfrei.
Das Fehlersignal ist für das Lernen äußerst wichtig. Ohne effektive "Fehler-Backpropagation" weiß das Netzwerk nicht, welche seiner Neuronen falsch sind. Auf der Suche nach einem Sündenbock verbessert sich die künstliche Intelligenz.
Das Gehirn macht es auch. Aber wie? Wir haben keine Ahnung.
Biologische Sackgasse
Das Offensichtliche ist, dass die Deep-Learning-Lösung nicht funktioniert.
Das Zurückpropagieren eines Fehlers ist ein äußerst wichtiges Merkmal. Es erfordert eine bestimmte Infrastruktur, um korrekt zu funktionieren.
Zunächst muss jedes Neuron im Netzwerk eine Fehlerbenachrichtigung erhalten. Im Gehirn sind Neuronen jedoch nur mit wenigen (wenn überhaupt) nachgeschalteten Partnern verbunden. Damit die Backpropagation im Gehirn funktioniert, müssen Neuronen auf den ersten Ebenen Informationen aus Milliarden von Verbindungen in den absteigenden Kanälen wahrnehmen - und dies ist biologisch unmöglich.
Und während einige Deep-Learning-Algorithmen eine lokale Form der Fehler-Backpropagation anpassen - im Wesentlichen zwischen Neuronen -, müssen ihre Hin- und Her-Verbindungen symmetrisch sein. In den Synapsen des Gehirns passiert dies fast nie.
Moderne Algorithmen passen eine etwas andere Strategie an, indem sie einen separaten Rückkopplungspfad implementieren, der Neuronen hilft, Fehler lokal zu finden. Während dies biologisch praktikabler ist, verfügt das Gehirn nicht über ein separates Computernetzwerk, das sich der Suche nach Sündenböcken widmet.
Aber es hat Neuronen mit komplexen Strukturen, im Gegensatz zu den homogenen "Bällen", die derzeit beim tiefen Lernen verwendet werden.
Verzweigungsnetzwerke
Wissenschaftler lassen sich von den Pyramidenzellen inspirieren, die den menschlichen Kortex füllen.
"Die meisten dieser Neuronen sind wie Bäume geformt, mit ihren 'Wurzeln' tief im Gehirn und 'Ästen', die an die Oberfläche kommen", sagt Richards. "Bemerkenswerterweise erhalten die Wurzeln einen Satz von Eingaben und die Zweige werden unterschiedlich."
Es ist merkwürdig, aber die Struktur von Neuronen stellt sich oft als "genau so heraus, wie es benötigt wird", um ein Rechenproblem effektiv zu lösen. Nehmen wir zum Beispiel die sensorische Verarbeitung: Die Unterseite von Pyramidenneuronen befindet sich dort, wo sie sensorische Eingaben erhalten sollen, und die Oberseite ist bequem positioniert, um Fehler durch Rückkopplung zu übertragen.
Könnte diese komplexe Struktur eine evolutionäre Lösung sein, um mit dem falschen Signal umzugehen?
Wissenschaftler haben ein mehrschichtiges neuronales Netzwerk basierend auf früheren Algorithmen erstellt. Aber anstatt homogener Neuronen gaben sie ihr Neuronen in den mittleren Schichten - zwischen Eingabe und Ausgabe - ähnlich wie echte. Der Algorithmus lernte aus handgeschriebenen Zahlen und schnitt trotz des Fehlens der klassischen Rückausbreitung des Fehlers viel besser ab als ein einschichtiges Netzwerk. Zellstrukturen selbst könnten den Fehler identifizieren. Dann kombinierte das Neuron im richtigen Moment beide Informationsquellen, um die beste Lösung zu finden.
Hierfür gibt es eine biologische Grundlage: Neurowissenschaftler wissen seit langem, dass die Eingangszweige eines Neurons lokale Berechnungen durchführen, die in Backpropagation-Signale der Ausgangszweige integriert werden können. Aber wir wissen nicht, ob das Gehirn wirklich so funktioniert - also beauftragte Richards Neurowissenschaftler, dies herauszufinden.
Darüber hinaus behandelt dieses Netzwerk das Problem auf ähnliche Weise wie die traditionelle Deep-Learning-Methode: Es verwendet eine Schichtstruktur, um zunehmend abstraktere Ideen zu jeder Zahl zu extrahieren.
"Dies ist ein Merkmal des tiefen Lernens", erklären die Autoren.
Tief lernendes Gehirn
Es wird zweifellos mehr Wendungen in dieser Geschichte geben, da Informatiker mehr biologische Details in KI-Algorithmen einbringen. Richards und sein Team betrachten eine Top-Down-Vorhersagefunktion, bei der Signale von höheren Ebenen direkt beeinflussen, wie niedrigere Ebenen auf Eingaben reagieren.
Rückkopplung von höheren Schichten verbessert nicht nur die Fehlersignalisierung; Es kann auch Neuronen mit geringerer Verarbeitung dazu ermutigen, in Echtzeit "besser" zu arbeiten, sagt Richards. Bisher hat das Netzwerk andere nicht-biologische Deep-Learning-Netzwerke nicht übertroffen. Aber es spielt keine Rolle.
"Deep Learning hatte einen enormen Einfluss auf die KI, aber bis jetzt war sein Einfluss auf die Neurowissenschaften begrenzt", sagen die Autoren der Studie. Jetzt haben Neurowissenschaftler eine Ausrede, einen experimentellen Test durchzuführen und herauszufinden, ob die Struktur von Neuronen dem natürlichen Algorithmus des tiefen Lernens zugrunde liegt. Vielleicht wird in den nächsten zehn Jahren ein für beide Seiten vorteilhafter Datenaustausch zwischen Neurowissenschaftlern und Forschern der künstlichen Intelligenz beginnen.
Ilya Khel
