Ein winziges, selbstorganisiertes Netzwerk künstlicher Synapsen erinnert sich an ihre Erfahrungen und kann einfache Probleme lösen. Seine Schöpfer hoffen, dass eines Tages auf der Grundlage dieses künstlichen Gehirns Geräte geschaffen werden, die in ihrer Energieeffizienz der Rechenleistung des Gehirns nicht unterlegen sind. Im Allgemeinen ist das Gehirn perfekt in seiner Energieeffizienz, wenn wir ihre Errungenschaften beim Denken und Lösen von Problemen weglassen. Das Gehirn benötigt die gleiche Energiemenge, die eine 20-Watt-Glühlampe absorbiert. Und einer der leistungsstärksten und schnellsten Supercomputer der Welt, Computer K in Kobe, Japan, verbraucht bis zu 9,89 Megawatt Leistung - ungefähr so viel wie 10.000 Haushalte. Trotz dieser Energie benötigte die Maschine 2013 40 Minuten, um 1% der Aktivität des menschlichen Gehirns in 1 Sekunde zu simulieren.
Daher hoffen Forschungsingenieure am NanoSystems Institute of California an der University of California in Los Angeles, dank Systemen, die die Struktur des Gehirns widerspiegeln, mit den rechnerischen und energieeffizienten Fähigkeiten des Gehirns mithalten zu können. Sie entwickeln ein Gerät, möglicherweise das erste seiner Art, das „vom Gehirn inspiriert ist, Eigenschaften zu erzeugen, die es dem Gehirn ermöglichen, das zu tun, was es tut“, sagt Adam Stig, Forscher und außerordentlicher Professor am Institut, der das Projekt mit Jim Gimrzewski, Professor für Chemie an der University of California, leitet. In Los Angeles.
Ihr Design ähnelt keineswegs gewöhnlichen Computern, die auf kleinen Drähten basieren, die in hochgeordneten Schaltungen auf Silizium-Mikroschaltungen gedruckt sind. Die aktuelle experimentelle Version ist ein 2 x 2 mm großes Gitter aus Silbernanodrähten, die durch künstliche Synapsen verbunden sind. Im Gegensatz zu Siliziumschaltungen mit geometrischer Präzision ist dieses Gerät wie eine "gut gemischte Spaghetti-Schale" gewebt, sagt Stig. Darüber hinaus ist seine Feinstruktur nach zufälligen chemischen und elektrischen Prozessen organisiert und nicht sorgfältig entworfen.
In seiner Komplexität ähnelt dieses silberne Netz einem Gehirn. Es gibt eine Milliarde künstlicher Synapsen pro Quadratzentimeter des Gitters, was sich um mehrere Größenordnungen vom realen Gehirn unterscheidet. Die elektrische Aktivität des Netzwerks weist auch eine Eigenschaft auf, die für komplexe Systeme wie das Gehirn einzigartig ist: "Kritikalität", ein Zustand zwischen Ordnung und Chaos, der maximale Effizienz anzeigt.
Dieses Netzwerk stark miteinander verflochtener Nanodrähte mag chaotisch und zufällig aussehen, aber seine Struktur und sein Verhalten ähneln denen von Neuronen im Gehirn. Wissenschaftler von NanoSystems entwickeln es als Gehirngerät zum Lernen und Rechnen.
Darüber hinaus zeigen vorläufige Experimente, dass dieses neuromorphe (d. H. Gehirnartige) Silberdrahtgeflecht ein großes Funktionspotential aufweist. Sie kann bereits einfache pädagogische und logische Operationen durchführen. Es kann unerwünschtes Rauschen aus dem empfangenen Signal entfernen, eine wichtige Fähigkeit zur Spracherkennung und ähnliche Aufgaben, die bei herkömmlichen Computern Probleme verursachen. Und seine Existenz beweist das Prinzip, dass es eines Tages möglich sein wird, Geräte mit einer Energieeffizienz herzustellen, die der des Gehirns nahe kommt.
Diese Vorteile sind vor dem Hintergrund der sich nähernden Grenze der Miniaturisierung und Effizienz von Silizium-Mikroprozessoren besonders merkwürdig. "Moores Gesetz ist tot, Halbleiter können nicht mehr kleiner werden und die Leute jammern darüber, was zu tun ist", sagt Alex Nugent, CEO von Knowm, einem neuromorphen Computerunternehmen, das nicht am UCLA-Projekt beteiligt ist. „Ich mag diese Idee, diese Richtung. Herkömmliche Computerplattformen sind milliardenfach weniger effizient."
Werbevideo:
Schaltet als Synapsen
Als Gimrzewski vor 10 Jahren mit der Arbeit an seinem Silbergitterprojekt begann, war er überhaupt nicht an Energieeffizienz interessiert. Er war gelangweilt. Nachdem er 20 Jahre lang ein Rastertunnelmikroskop verwendet hatte, um Elektronik auf atomarer Ebene zu untersuchen, sagte er schließlich: "Ich bin müde von Perfektion und präziser Kontrolle und ein wenig müde von Reduktionismus."
Es sollte angenommen werden, dass der Reduktionismus allen modernen Mikroprozessoren zugrunde liegt, wenn komplexe Phänomene und Schaltkreise mit einfachen Phänomenen und Elementen erklärt werden können.
2007 wurde er gebeten, einzelne Atomschalter (oder Schalter) zu untersuchen, die von der Masakazu Aono-Gruppe des Internationalen Zentrums für Materialien zur Nanoarchitektur in Tsukuba, Japan, entwickelt wurden. Diese Schalter enthielten dieselbe Zutat, die einen silbernen Löffel schwarz färbt, wenn er ein Ei berührt: Eisensulfid zwischen hartem metallischem Silber.
Durch Anlegen einer Spannung an die Bauelemente werden die positiv geladenen Silberionen im Silbersulfid in Richtung der Silberkathodenschicht gedrückt, wo sie zu metallischem Silber reduziert werden. Die atomaren Silberfilamente wachsen und schließen schließlich die Lücke zwischen den metallischen Silberseiten. Der Schalter ist eingeschaltet und es kann Strom fließen. Das Umkehren des Stroms hat den gegenteiligen Effekt: Die Silberbrücken werden gekürzt und der Schalter ausgeschaltet.
Kurz nach der Entwicklung des Schalters begann Aonos Gruppe jedoch, ungewöhnliches Verhalten zu beobachten. Je öfter der Schalter verwendet wurde, desto einfacher war das Einschalten. Wenn es einige Zeit nicht benutzt wurde, schaltete es sich allmählich von selbst aus. Im Wesentlichen erinnerte sich der Schalter an seine Geschichte. Aono und seine Kollegen stellten außerdem fest, dass die Schalter miteinander zu interagieren schienen, sodass das Einschalten eines Schalters manchmal andere in der Nähe blockierte oder ausschaltete.
Die Mehrheit in Aonos Gruppe wollte diese seltsamen Eigenschaften außerhalb von Schaltern konstruieren. Aber Gimrzewski und Stig (die gerade in Gimrzewskis Gruppe promoviert hatten) erinnerten sich an Synapsen, die Schalter zwischen Nervenzellen im menschlichen Gehirn, die auch die Beziehung zu Erfahrung und Interaktion verändern. Und so wurde die Idee geboren. "Wir dachten, warum nicht versuchen, all dies in eine Struktur zu übersetzen, die einer Gehirnrinde von Säugetieren ähnelt, und sie untersuchen?", Sagt Stig.
Es war definitiv schwierig, eine solch komplexe Struktur zu schaffen, aber Stig und Odrius Avicenis, die sich gerade als Doktorand der Gruppe angeschlossen hatten, entwickelten ein Protokoll dafür. Durch Gießen von Silbernitrat auf winzige Kupferkugeln können mikroskopisch dünne, sich kreuzende Silberdrähte wachsen. Sie könnten dann Schwefelgas durch dieses Gitter pumpen, um eine Schicht aus silbrigem Sulfid zwischen den Silberdrähten zu erzeugen, wie beim Atomschalter des ursprünglichen Aono-Teams.
Selbstorganisierte Kritikalität
Als Gimzewski und Stig anderen von ihrem Projekt erzählten, glaubte niemand, dass es funktionieren würde. Einige sagten, das Gerät würde eine Art statischer Aktivität zeigen und sich darauf niederlassen, erinnerte sich Stig. Andere schlugen das Gegenteil vor: „Sie sagten, der Schalter würde kaskadieren und die gesamte Struktur würde einfach ausbrennen“, sagt Gimzewski.
Aber das Gerät schmolz nicht. Als Gimzewski und Stig ihn dagegen durch eine Infrarotkamera beobachteten, veränderte der Eingangsstrom weiterhin die Wege, die er durch das Gerät nahm - ein Beweis dafür, dass die Aktivität im Netzwerk nicht lokalisiert, sondern wie im Gehirn verteilt war.
Als Avicenis und sein Kollege Henry Sillin an einem Herbsttag im Jahr 2010 die Eingangsspannung des Geräts erhöhten, bemerkten sie plötzlich, dass die Ausgangsspannung zufällig zu vibrieren begann, als ob das Drahtgeflecht zum Leben erweckt worden wäre. "Wir haben uns hingesetzt und es angeschaut, wir waren geschockt", sagt Sillin.
Sie vermuteten, dass sie etwas Interessantes gefunden hatten. Als Avicenis die Überwachungsdaten über mehrere Tage analysierte, stellte er fest, dass das Netzwerk für kurze Zeiträume häufiger als für lange Zeiträume auf dem gleichen Aktivitätsniveau blieb. Sie fanden später heraus, dass kleine Tätigkeitsbereiche häufiger waren als große.
"Mein Kiefer ist heruntergefallen", sagt Avicenis, weil es das erste Mal ist, dass sie ein Potenzgesetz von ihrem Gerät lernen. Potenzgesetze beschreiben mathematische Beziehungen, in denen sich eine Variable als Potenz einer anderen ändert. Sie gelten für Systeme, in denen größere, längere Ereignisse seltener sind als kleinere und kürzere, aber sie sind weit verbreitet und nicht zufällig. Per Bac, ein dänischer Physiker, der 2002 starb, schlug zunächst Potenzgesetze als Kennzeichen aller Arten komplexer dynamischer Systeme vor, die sich über große Maßstäbe und große Entfernungen organisieren können. Dieses Verhalten, sagte er, deutet darauf hin, dass ein komplexes System auf dem goldenen Mittel zwischen Ordnung und Chaos in einem Zustand der "Kritikalität" balanciert und funktioniert und alle seine Teile interagieren und miteinander verbunden sind, um maximale Effizienz zu erzielen.
Wie Buck vorausgesagt hatte, wurde im menschlichen Gehirn ein Verhalten nach dem Potenzgesetz beobachtet: 2003 beobachtete Dietmar Plenz, ein Neurophysiologe an den National Institutes of Health, dass Gruppen von Nervenzellen andere aktivierten, was wiederum andere aktivierte und häufig systemische Aktivierungskaskaden auslöste. Plenz stellte fest, dass die Größen dieser Kaskaden einer Verteilung des Potenzgesetzes folgen, und das Gehirn handelte tatsächlich so, dass die Ausbreitung der Aktivität maximiert wurde, ohne das Risiko einzugehen, die Kontrolle über ihre Ausbreitung zu verlieren.
Die Tatsache, dass das Gerät der University of California auch das Potenzgesetz in Aktion demonstrierte, ist sehr wichtig, sagt Plentz. Weil daraus folgt, dass es wie im Gehirn ein empfindliches Gleichgewicht zwischen Aktivierung und Hemmung hat, wodurch die Summe seiner Teile funktioniert. Die Aktivität unterdrückt das Set nicht, hört aber auch nicht auf.
Gimrzewski und Stig fanden später eine weitere Ähnlichkeit zwischen dem Silbernetzwerk und dem Gehirn: So wie das schlafende menschliche Gehirn weniger kurze Aktivierungskaskaden aufweist als das wache Gehirn, wird der kurze Aktivierungszustand im Silbernetzwerk bei niedrigeren Eingangsenergien seltener. In gewisser Weise kann die Reduzierung des Stromverbrauchs eines Geräts einen Zustand erzeugen, der dem Ruhezustand des menschlichen Gehirns ähnelt.
Lernen und Rechnen
Und hier ist die Frage: Wenn ein Netzwerk von Silberdrähten hirnähnliche Eigenschaften hat, kann es Rechenprobleme lösen? Vorversuche haben gezeigt, dass die Antwort ja lautet, obwohl das Gerät natürlich nicht einmal im entferntesten mit einem normalen Computer vergleichbar ist.
Erstens gibt es keine Software. Stattdessen nutzen die Forscher die Tatsache, dass das Netzwerk das eingehende Signal auf unterschiedliche Weise verzerren kann, je nachdem, wo der Ausgang gemessen wird. Dies bietet eine mögliche Verwendung für die Sprach- oder Bilderkennung, da das Gerät in der Lage sein muss, ein verrauschtes Eingangssignal zu bereinigen.
Daraus folgt auch, dass das Gerät für sogenannte Reservoirberechnungen eingesetzt werden kann. Da ein einzelner Eingang im Prinzip viele Millionen verschiedener Ausgänge (daher das Reservoir) erzeugen kann, können Benutzer Ausgänge auswählen oder kombinieren, so dass das Ergebnis die gewünschte Eingangsberechnung ist. Wenn Sie beispielsweise ein Gerät gleichzeitig an zwei verschiedenen Orten stimulieren, besteht die Möglichkeit, dass einer der Millionen verschiedener Ausgänge die Summe der beiden Eingänge darstellt.
Die Herausforderung besteht darin, die richtigen Schlussfolgerungen zu finden und diese zu dekodieren und herauszufinden, wie die Informationen am besten kodiert werden können, damit das Netzwerk sie verstehen kann. Dies kann erreicht werden, indem das Gerät trainiert wird: indem die Aufgabe hunderte oder tausende Male ausgeführt wird, zuerst mit einer Art von Eingabe, dann mit einer anderen, und verglichen wird, welche Ausgabe besser mit der Aufgabe zurechtkommt. „Wir programmieren das Gerät nicht, wählen jedoch den besten Weg, um die Informationen so zu codieren, dass das Verhalten des Netzwerks nützlich und interessant ist“, sagt Gimrzewski.
In einer Arbeit, die in Kürze veröffentlicht wird, werden Wissenschaftler erzählen, wie sie ein Netzwerk von Drähten trainiert haben, um einfache logische Operationen durchzuführen. Und in unveröffentlichten Experimenten trainierten sie das Netzwerk, um ein einfaches Gedächtnisproblem zu lösen, das typischerweise Ratten (dem T-Labyrinth) gegeben wird. Im T-Labyrinth-Test wird die Ratte belohnt, wenn sie als Reaktion auf Licht eine korrekte Drehung macht. Mit seiner eigenen Version für das Training kann das Netzwerk in 94% der Fälle die richtige Wahl treffen.
Bisher waren diese Ergebnisse kaum mehr als ein Beweis für das Prinzip, sagt Nugent. "Die kleine Ratte, die im T-Labyrinth eine Entscheidung trifft, kommt beim maschinellen Lernen nie an etwas heran, das ihre Systeme bewerten kann", sagt er auf einem herkömmlichen Computer. Er bezweifelt, dass das Gerät in den nächsten Jahren zu einem nützlichen Chip werden kann.
Aber das Potenzial ist riesig, betont er. Weil das Netzwerk wie das Gehirn Verarbeitung und Speicher nicht trennt. Herkömmliche Computer müssen Informationen zwischen verschiedenen Domänen übertragen, die diese beiden Funktionen ausführen. "All diese zusätzliche Kommunikation baut sich auf, weil die Drähte Strom benötigen", sagt Nugent. Wenn Sie herkömmliche Computer verwenden, müssen Sie Frankreich ausschalten, um ein vollständiges menschliches Gehirn mit angemessener Auflösung zu simulieren. Wenn Geräte wie das Silver Network Probleme mit der Effizienz von Algorithmen für maschinelles Lernen lösen können, die auf herkömmlichen Computern ausgeführt werden, können sie eine Milliarde Mal weniger Strom verbrauchen. Und dann ist die Sache klein.
Die Ergebnisse der Wissenschaftler stützen auch die Vorstellung, dass intelligente Systeme unter den richtigen Umständen durch Selbstorganisation ohne Vorlage oder Prozess für ihre Entwicklung gebildet werden können. Das Silver Network "ist spontan entstanden", sagt Todd Hilton, ein ehemaliger DARPA-Manager, der das Projekt frühzeitig unterstützt hat.
Gimrzewski glaubt, dass ein Netzwerk aus Silberdrähten oder ähnlichen Geräten bei der Vorhersage komplexer Prozesse besser sein kann als herkömmliche Computer. Traditionelle Computer modellieren die Welt mit Gleichungen, die komplexe Phänomene oft nur annähernd beschreiben. Neuromorphe Netzwerke mit Atomschaltern richten ihre eigene intrinsische strukturelle Komplexität an dem Phänomen aus, das sie simulieren. Und sie tun es auch schnell - der Zustand des Netzwerks kann mit Raten von bis zu Zehntausenden von Änderungen pro Sekunde schwanken. „Wir verwenden ein komplexes System, um komplexe Phänomene zu verstehen“, sagt Gimrzewski.
Anfang dieses Jahres präsentierten Gimzewski, Stig und ihre Kollegen auf einem Treffen der American Chemical Society in San Francisco die Ergebnisse eines Experiments, bei dem sie das Gerät in den ersten drei Jahren eines sechsjährigen Los Angeles-Verkehrsdatensatzes mit einer Reihe von Impulsen versorgten, die die Anzahl der Impulse angaben vorbeifahrende Autos pro Stunde. Nach Hunderten von Stunden Training prognostizierte die Ausgabe schließlich den statistischen Trend der zweiten Hälfte des Datensatzes, und zwar recht gut, obwohl er dem Gerät nicht angezeigt wurde.
Vielleicht nutzt Gimrzewski eines Tages das Netzwerk, um den Aktienmarkt vorherzusagen.
Ilya Khel
