Die Abteilung für künstliche Intelligenz von Google kündigte die Schaffung einer neuen Methode zum Trainieren neuronaler Netze an, bei der fortschrittliche Algorithmen und alte Videospiele kombiniert werden. Alte Atari-Videospiele werden als Lernumgebung verwendet.
Die Entwickler von DeepMind (erinnern Sie sich, dass diese Leute das neuronale AlphaGo-Netzwerk geschaffen haben, das wiederholt die besten Spieler im Logikspiel von go besiegt hat) glauben, dass Maschinen auf die gleiche Weise wie Menschen lernen können. Mithilfe des DMLab-30-Trainingssystems, das auf dem Quake III-Shooter und den Atari-Arcade-Spielen basiert (57 verschiedene Spiele werden verwendet), haben die Ingenieure einen neuen Algorithmus für maschinelles Lernen (Importance Weighted Actor-Learner Architectures) von IMPALA entwickelt. Es ermöglicht einzelnen Teilen, zu lernen, wie mehrere Aufgaben gleichzeitig ausgeführt werden, und dann Wissen untereinander auszutauschen.
In vielerlei Hinsicht basierte das neue System auf dem früheren A3C-Architektur-System (Asynchronous Actor-Critic Agents), bei dem einzelne Agenten die Umgebung untersuchen, dann der Prozess angehalten wird und Wissen mit der zentralen Komponente, dem "Studenten", ausgetauscht wird. IMPALA verfügt möglicherweise über mehr Agenten, und der Lernprozess selbst findet auf etwas andere Weise statt. Darin senden Agenten Informationen gleichzeitig an zwei "Studenten", die dann auch Daten miteinander austauschen. Wenn in A3C die Berechnung des Gradienten der Verlustfunktion (mit anderen Worten die Diskrepanz zwischen den vorhergesagten und den erhaltenen Parameterwerten) von den Agenten selbst durchgeführt wird, die Informationen an den zentralen Kern senden, wird diese Aufgabe im IMPALA-System von den "Schülern" ausgeführt.
Ein Beispiel für eine Person, die das Spiel durchspielt:
So erledigt das IMPALA-System dieselbe Aufgabe:
Eine der größten Herausforderungen bei der Entwicklung von KI ist die Zeit und der Bedarf an hoher Rechenleistung. Selbst wenn sie autonom sind, benötigen Maschinen Regeln, denen sie in ihren eigenen Experimenten folgen und Wege finden können, um Probleme zu lösen. Da wir nicht einfach Roboter bauen und lernen lassen können, verwenden Entwickler Simulationen und Deep-Learning-Techniken.
Damit moderne neuronale Netze etwas lernen können, müssen sie eine große Menge an Informationen verarbeiten, in diesem Fall Milliarden von Frames. Und je schneller sie es tun, desto weniger Zeit wird zum Lernen benötigt.
Werbevideo:
Laut DeepMind erreicht IMPALA mit genügend Prozessoren 250.000 Bilder pro Sekunde oder 21 Milliarden Bilder pro Tag. Dies ist laut The Next Web ein absoluter Rekord für Aufgaben dieser Art. Die Entwickler selbst kommentieren, dass ihr KI-System die Aufgabe besser bewältigt als ähnliche Maschinen und Personen.
In Zukunft können ähnliche KI-Algorithmen in der Robotik eingesetzt werden. Durch die Optimierung maschineller Lernsysteme passen sich Roboter schneller an ihre Umgebung an und arbeiten effizienter.
Nikolay Khizhnyak