Das Gebiet der künstlichen Intelligenz wird oft mit der Ölindustrie verglichen: Einmal gewonnen und raffiniert, können Daten wie Öl zu einem sehr profitablen Gut werden. Jetzt wird jedoch deutlich, dass sich diese Metapher erweitert. Deep Learning hat wie fossile Brennstoffe einen enormen Einfluss auf die Umwelt. In einer neuen Studie untersuchten Wissenschaftler der University of Massachusetts Amherst den Lernlebenszyklus mehrerer gängiger großer KI-Modelle.
Es wurde festgestellt, dass durch diesen Prozess über 300.000 kg Kohlendioxidäquivalent erzeugt werden können, fast das Fünffache der Emissionen eines typischen Autos in fünf Jahren (einschließlich der Produktion des Autos selbst).
Wie KI-Modelle trainiert werden
Dies ist eine erstaunliche Quantifizierung dessen, was KI-Forscher seit langem vermutet haben.
Carbon Footprint für die Verarbeitung natürlicher Sprache
Werbevideo:
Das Papier befasst sich speziell mit dem Prozess des Trainings eines Modells für die Verarbeitung natürlicher Sprache (NLP), einem Teilbereich der KI, der sich mit Trainingsmaschinen für die Arbeit mit der menschlichen Sprache befasst. In den letzten zwei Jahren hat die NLP-Community mehrere wichtige Meilensteine in den Bereichen maschinelle Übersetzung, Satzvervollständigung und andere Standardbewertungsaufgaben erreicht. Dem berüchtigten OpenAI GPT-2-Modell ist es beispielsweise gelungen, überzeugende gefälschte Nachrichten zu schreiben.
Für solche Fortschritte mussten jedoch immer größere Modelle auf gestreckten Datensätzen aus Sätzen trainiert werden, die aus dem Internet stammen. Dieser Ansatz ist rechenintensiv und sehr energieintensiv.
Die Forscher untersuchten die vier Modelle in dem Bereich, der für die größten Leistungssprünge verantwortlich ist: Transformer, ELMo, BERT und GPT-2. Sie trainierten jeden von ihnen einen Tag lang auf einer einzelnen GPU, um den Stromverbrauch zu messen.
Anschließend berechneten sie anhand der in den Originalmodelldokumenten angegebenen Anzahl von Schulungsstunden den Gesamtenergieverbrauch während des gesamten Schulungsprozesses. Diese Menge wurde in das Äquivalent von Pfund Kohlendioxid umgerechnet, was mit dem AWS-Energiemix von Amazon, dem weltweit größten Cloud-Anbieter, übereinstimmte.
Es stellte sich heraus, dass die Rechen- und Umgebungskosten des Trainings proportional zur Größe des Modells zunahmen und dann exponentiell anstiegen, wenn die endgültige Genauigkeit des Modells angepasst wurde. Eine Suche nach neuronalen Architekturen, die versucht, ein Modell zu optimieren, indem die neuronale Netzwerkstruktur durch Ausprobieren schrittweise geändert wird, verursacht extrem hohe Kosten bei geringem Leistungsgewinn. Ohne sie hinterließ das teuerste BERT-Modell einen CO2-Fußabdruck von 635 kg, nahe einer transamerikanischen Rundreise.
Darüber hinaus sollten diese Zahlen nur als Basiswerte betrachtet werden.
Insgesamt schätzen die Wissenschaftler, dass für die Erstellung und Prüfung des endgültigen Modells, das veröffentlicht werden sollte, in sechs Monaten 4.789 Modelle geschult werden mussten. Bezogen auf das CO2-Äquivalent sind dies etwa 35.000 kg.
Die Bedeutung dieser Zahlen ist kolossal, insbesondere angesichts der aktuellen Trends in der KI-Forschung. Im Allgemeinen vernachlässigt die KI-Forschung die Effizienz, da große neuronale Netze als nützlich für verschiedene Aufgaben anerkannt werden und Unternehmen mit unbegrenzten Computerressourcen diese nutzen, um sich einen Wettbewerbsvorteil zu verschaffen.
Ilya Khel
