An der Westküste Amerikas versuchen die wertvollsten Unternehmen der Welt, künstliche Intelligenz intelligenter zu machen. Google und Facebook prahlen mit Experimenten mit Milliarden von Fotos und Tausenden von Hochleistungsprozessoren. Aber Ende letzten Jahres übertraf ein Projekt in Ost-Tennessee leise den Umfang eines KI-Labors eines Unternehmens. Und es wurde von der US-Regierung betrieben.
Der Supercomputer der US-Regierung bricht Rekorde
An dem Rekordprojekt war der leistungsstärkste Supercomputer der Welt, Summit, im Oak Ridge National Laboratory beteiligt. Dieses Auto gewann im vergangenen Juni die Krone und brachte den Titel fünf Jahre später in die USA zurück, als China die Liste anführte. Im Rahmen eines Klimaforschungsprojekts startete ein riesiger Computer ein Experiment zum maschinellen Lernen, das schneller als je zuvor war.
Der Summit, der eine Fläche von zwei Tennisplätzen abdeckt, verwendete in diesem Projekt mehr als 27.000 leistungsstarke GPUs. Er nutzte ihre Kraft, um Deep-Learning-Algorithmen zu trainieren, genau die Technologie, die fortschrittliche künstliche Intelligenz unterstützt. Beim Deep Learning führen Algorithmen Übungen mit einer Milliarde Milliarden Operationen pro Sekunde aus, die in Supercomputing-Kreisen als Exaflop bezeichnet werden.
„Deep Learning hat dieses Leistungsniveau noch nie zuvor erreicht“, sagt Prabhat, Leiter des Forschungsteams am National Energy Research Center des Lawrence Berkeley National Laboratory. Sein Team arbeitete mit Forschern am Hauptsitz des Summit, dem Oak Ridge National Laboratory, zusammen.
Wie Sie sich vorstellen können, konzentrierte sich das KI-Training des leistungsstärksten Computers der Welt auf eine der größten Herausforderungen der Welt - den Klimawandel. Tech-Unternehmen trainieren Algorithmen, um Gesichter oder Verkehrszeichen zu erkennen. Regierungswissenschaftler haben sie darin geschult, Wettermuster wie Zyklone anhand von Klimamodellen zu erkennen, die hundertjährige Vorhersagen der Erdatmosphäre auf drei Stunden komprimieren. (Es ist jedoch unklar, wie viel Energie das Projekt benötigte und wie viel Kohlenstoff dabei in die Luft freigesetzt wurde).
Werbevideo:
Das Gipfelexperiment hat Auswirkungen auf die Zukunft der künstlichen Intelligenz und der Klimatologie. Das Projekt zeigt das wissenschaftliche Potenzial der Anpassung von Deep Learning an Supercomputer, die traditionell physikalische und chemische Prozesse wie nukleare Explosionen, Schwarze Löcher oder neue Materialien simulieren. Es zeigt auch, dass maschinelles Lernen - wenn Sie es finden können - von mehr Rechenleistung profitieren und in Zukunft Durchbrüche erzielen kann.
"Wir wussten nicht, dass dies in dieser Größenordnung möglich ist, bis wir es geschafft haben", sagt Rajat Monga, CTO bei Google. Er und andere Googler unterstützten das Projekt, indem sie die Open-Source-Software TensorFlow für maschinelles Lernen des Unternehmens an die gigantische Größe von Summit anpassten.
Ein Großteil der Arbeiten zur Deep-Learning-Skalierung wurde in den Rechenzentren von Internetunternehmen durchgeführt, in denen Server bei Problemen zusammenarbeiten und diese trennen, da sie relativ unzusammenhängend sind und nicht zu einem riesigen Computer gebündelt werden. Supercomputer wie Summit haben eine andere Architektur, mit speziellen Hochgeschwindigkeitsverbindungen, die Tausende von Prozessoren zu einem einzigen System verbinden, das als Ganzes funktionieren kann. Bis vor kurzem wurde relativ wenig an der Anpassung des maschinellen Lernens an diese Art von Hardware gearbeitet.
Laut Monga wird die Anpassung von TensorFlow an die Summit-Skala auch die Bemühungen von Google unterstützen, seine internen Systeme für künstliche Intelligenz zu erweitern. Die Ingenieure von Nvidia nahmen ebenfalls an diesem Projekt teil und stellten sicher, dass Zehntausende von Nvidia-GPUs in dieser Maschine reibungslos funktionieren.
Die Suche nach Möglichkeiten, mehr Rechenleistung in Deep-Learning-Algorithmen zu nutzen, war maßgeblich an der aktuellen technologischen Entwicklung beteiligt. Die gleiche Technologie, die Siri für die Spracherkennung und Waymo-Autos zum Lesen von Verkehrszeichen verwendet, wurde 2012 nützlich, nachdem Wissenschaftler sie für den Betrieb auf Nvidia-GPUs angepasst hatten.
In einer im vergangenen Mai veröffentlichten Analyse schätzten Wissenschaftler des OpenAI, eines von Elon Musk gegründeten Forschungsinstituts in San Francisco, dass sich die Rechenleistung in den größten öffentlichen Experimenten zum maschinellen Lernen seit 2012 etwa alle 3,43 Monate verdoppelt hat. Dies würde eine 11-fache Steigerung in einem Jahr bedeuten. Diese Weiterentwicklung half dem Alphabet-Bot, die Champions in herausfordernden Brett- und Videospielen zu schlagen, und verbesserte auch die Genauigkeit des Google-Übersetzers erheblich.
Google und andere Unternehmen entwickeln derzeit neue Arten von AI-fähigen Chips, um diesen Trend fortzusetzen. Laut Google können Pods mit Tausenden von KI-Chips, die eng beieinander liegen - doppelte Tensorprozessoren oder TPUs - 100 Petaflops Rechenleistung liefern, ein Zehntel der von Summit erreichten Geschwindigkeit.
Die Beiträge des Gipfels zur Klimawissenschaft zeigen, wie gigantische KI unser Verständnis zukünftiger Wetterbedingungen verbessern kann. Wenn Forscher jahrhundertealte Wettervorhersagen erstellen, wird das Lesen der resultierenden Vorhersage zu einer Herausforderung. „Stellen Sie sich vor, Sie haben einen YouTube-Film, der seit 100 Jahren läuft. Es gibt keine Möglichkeit, alle Katzen und Hunde in diesem Film manuell zu finden “, sagt Prabhat. Normalerweise wird Software verwendet, um diesen Prozess zu automatisieren, aber er ist nicht perfekt. Die Ergebnisse des Gipfels zeigten, dass maschinelles Lernen dies viel besser kann, was dazu beitragen sollte, Stürme wie Überschwemmungen vorherzusagen.
Laut Michael Pritchard, Professor an der University of California in Irvine, ist die Einführung von Deep Learning auf Supercomputern eine relativ neue Idee, die zu einem für Klimaforscher günstigen Zeitpunkt kam. Die Verlangsamung der Weiterentwicklung traditioneller Prozessoren hat dazu geführt, dass Ingenieure Supercomputer mit einer zunehmenden Anzahl von Grafikchips ausstatten, um die Leistung konsistenter zu verbessern. „Es ist an der Zeit, dass Sie die Rechenleistung nicht mehr auf die übliche Weise steigern können“, sagt Pritchard.
Diese Verschiebung brachte die traditionelle Modellierung zum Stillstand und musste sich daher anpassen. Es öffnet auch die Tür, um die Kraft des tiefen Lernens zu nutzen, das sich natürlich für Grafikchips eignet. Vielleicht bekommen wir ein klareres Bild von der Zukunft unseres Klimas.
Ilya Khel