Cerebras Systems, ein junges Unternehmen für künstliche Intelligenz, ist bereit, der Welt die Cerebras WSE (Cerebras Wafer Scale Engine) zu zeigen - den größten, leistungsstärksten und intelligentesten Halbleiterchip der Geschichte.
Cerebras WSE verfügt über 1,2 Billionen Transistoren, grundlegende elektronische Schalter, die die Bausteine von Siliziumchips bilden. Zum Vergleich: Intels erster 4004-Prozessor, der 1971 veröffentlicht wurde, hatte 2.300 Transistoren, während der neueste Advanced Micro Devices-Prozessor 32 Milliarden Transistoren hat. Hier geht es jedoch überhaupt nicht um die Anzahl der Transistoren.
Bei den meisten Chips der Welt handelt es sich tatsächlich um Chips, die auf der Grundlage eines 12-Zoll-Siliziumwafers hergestellt wurden. Sie werden in speziellen Fabriken in großen Mengen hergestellt. Der Cerebras Systems-Chip besteht jedoch aus 400.000 Kernen, die auf einer Platte verbunden sind. Die Verbindungen sind für hohe Geschwindigkeiten ausgelegt, weshalb eine Billion Transistoren als eine Einheit zusammenarbeiten. Aber das ist nicht alles.
Bis heute wurde der weltweit größte Chip von Samsung entwickelt - seine Struktur basiert auf 2 Billionen Transistoren. Der Samsung-Chip ist jedoch nur eine riesige Speicherkarte, und der Cerebras-Chip ist das komplexeste neuronale Netzwerk, das speziell für das Training künstlicher Intelligenz entwickelt wurde. Der Cerebras-Chip verfügt über 400.000 Kerne in 42.225 Quadratmillimetern. Das ist 56,7x größer als die größte GPU von Nvidia mit nur 21,1 Milliarden Transistoren.
Ein weiteres Merkmal von Cerebras WSE ist, dass der Chip so konzipiert ist, dass er um fehlerhafte Bereiche herumgeführt wird.
Es ist nicht möglich, den gesamten Siliziumwafer während der Chipherstellung zu perfektionieren, sodass beim Herstellungsprozess Bereiche entstehen, die unbrauchbar sind. Nvidia, Intel und andere Chiphersteller umgehen das Problem einfach: Sie schnitzen die „richtigen“Chips in den Herstellungswafer und werfen den Rest weg. Dies ist jedoch nicht möglich, wenn jeder Chip des Siliziumwafers Teil einer gemeinsamen Schaltung ist. Daher musste Cerebras redundante Schaltkreise einbauen, damit der Rest im Falle eines Ausfalls oder eines Burnouts eines dieser Schaltkreise seine Funktionen übernehmen würde. Das heißt, der Cerebras-Chip ist ein Miniatur-Internet mit eigenen Servern und Workstations. Und alle diese Stationen dienen einer künstlichen Intelligenz.
Unternehmen, die ihre eigene KI entwickeln, sind heute die Hauptabnehmer der Chip-Technologie und kaufen Teile in großen Mengen. Und die Größe der verwendeten Chips ist im KI-Trainingsprozess von entscheidender Bedeutung.
Werbevideo:
Google, Facebook, OpenAI, Tencent, Baidu und viele andere argumentieren, dass eine grundlegende Einschränkung der modernen KI darin besteht, dass das Trainieren von Modellen zu lange dauert. Zum Beispiel verbringt der Supercomputer von Nvidia, der aus Dutzenden von GPUs auf dem neuesten Stand der Technik besteht, Wochen damit, den Code zu optimieren - das heißt, das Neutronennetzwerk zu lernen.
Die Lösung des Problems wäre, die Anzahl der Chips im Computer zu erhöhen. Wenn jedoch mehr als acht Chips zusammengebaut werden, steigt die Leistung des Computers nicht mehr an, sondern nimmt ab, da sich während des Informationsaustauschs Fehler ansammeln.
Die Entwickler selbst beschreiben ihr Projekt wie folgt: „Der schwierigste Teil für AI ist die Datenbewegung. Das Training eines neuronalen Netzwerks erfordert, dass Tausende von Operationen gleichzeitig parallel ausgeführt werden, und die Chips müssen ständig kommunizieren, während sie diese parallelen Operationen ausführen. Computer mit mehreren ICs versagen jedoch beim Versuch, Daten zwischen ICs über langsame Kabel zu übertragen, die sie auf einer Leiterplatte miteinander verbinden. Sie brauchten etwas, das Daten mit der Geschwindigkeit des Chips selbst verschieben konnte. Die Lösung bestand darin, die größte Platte, die Sie finden können, zu nehmen und den größten Chip daraus zu schneiden."
Speicher ist eine Schlüsselkomponente jeder Computerarchitektur. Speicher näher an den Recheneinheiten bietet schnellere Berechnungen, geringere Latenz und bessere Energieeffizienz beim Verschieben von Daten. Die Chipgröße ist jedoch begrenzt und der größte Teil des Speichers im Computer befindet sich außerhalb des Chips. Cerebras Systems hat dieses Problem umgangen, indem jedem Kern Zugriff auf 18 Gigabyte internen Speicher gewährt wurde. Infolgedessen verfügt die Cerebras Wafer Scale Engine über 3.000-mal mehr integrierten Speicher als der fortschrittlichste Grafikprozessor und bietet 10.000-mal mehr Bandbreite.
Die ersten Muster des neuen Chips werden im September in den Handel kommen, während Cerebras Systems, das gegen alle bestehenden Regeln der Computerindustrie verstoßen hat, auch gegen das Prinzip der Trennung der Produktion von Computereinheiten und Chips verstoßen hat. Die Cerebras Wafer Scale Engine wird als einzelnes, von Unternehmen entwickeltes Gerät vermarktet, das in ein komplexes Wasserkühlungsnetzwerk integriert ist, da der Chip extreme Wärme erzeugt und auf so kleinem Raum 15 Kilowatt verbraucht.
Der Gründer und amtierende CEO von Cerebras Systems sagt: „Cerebras WSE wurde von Grund auf für die Zusammenarbeit mit KI entwickelt und enthält grundlegende Innovationen, die die jahrzehntelange Stagnation des aktuellen Standes der Technik endgültig brechen. Infolgedessen bietet Cerebras WSE hundert- oder tausendfache Leistungssteigerungen gegenüber modernen modularen Lösungen. Und das alles mit lächerlichem Stromverbrauch und wenig Platz."
Redaktioneller Kommentar
Die ersten KI-Tests, die auf Cerebras WSE basieren, zeigen, dass die Aufgaben, die die Top-KI von Nvidia über Wochen und Monate löst, Cerebras WSE innerhalb einer Minute löst, was sozusagen Anlass zur Freude gibt. Die Verschwörungstheoretiker haben diesbezüglich jedoch wenig Freude.
Wir alle erinnern uns (auf jeden Fall an die ältere Generation unserer Leser) an den Computerboom des "schneidigen 90er" -Modells, als in ein paar Jahren die Leistung von Computern um Größenordnungen sprang. Kaum hatte eine Person, die vor Stolz strahlte, einen Computer mit 16 Megabyte Speicher gekauft, als dieser Speicher nach kurzer Zeit in den L2-Cache verschoben wurde.
Seit Anfang der 2000er Jahre schien die Computerindustrie jedoch stehen geblieben zu sein: Wenn Computer der Typen 1990 und 2000 nicht vergleichbar waren, gab es keinen besonderen Unterschied zwischen Computern der Modelle 2000 und 2010 - die Leistung nahm erheblich zu, jedoch nicht um Größenordnungen. Und jetzt erleben wir die Geburt des zweiten Intel 8086, und jetzt werden die Fähigkeiten der Cerebras WSE-Linie im gleichen Tempo springen: Alle Probleme mit Verunreinigungen und Kernverbindungen wurden jetzt gelöst.
Wir kennen nicht alle Fähigkeiten der modernen KI von führenden Herstellern, aber nach allgemeiner Meinung sind diese Produkte noch keine KI und sie sind noch weit von einem vollwertigen Denkgerät entfernt. Trotzdem hat Cerebras WSE nicht nur einen Schritt in die richtige Richtung getan, sondern ist zehn Jahre, wenn nicht sogar noch weiter nach vorne gesprungen, und jetzt ist SkyNet bereits eine absehbare Perspektive, die dieses Jahr im Jahr 2025 realisiert werden kann.
Darüber hinaus wird in SkyNet im Gegensatz zu langweiligen Homosapiens nicht viel Zeit für die weitere Entwicklung benötigt: Ein neuronales Netzwerk muss nur ein wenig selbstständig denken - und es ändert sich sofort, woraufhin es einen Atomkrieg oder ähnliches beginnt. Und es wird immer noch eine sehr gute Option sein.
Wenn ein Flash-Laufwerk mit Billionen Transistoren von Samsung oder Nvidia hergestellt wird, kann dies alles noch irgendwie erklärt werden, da die Speicherlogikschaltungen relativ einfach und fast im gesamten Gebiet vom gleichen Typ sind. Aber die Entwicklung von 400.000 Kernen, die gleichzeitig pflügen, und es gibt auch einige Duplikate, und einige Serverstationen und die Hölle weiß was. Und dafür müssen Sie auch Steuerprogramme schreiben, die seit Jahren geschrieben wurden. Dann müssen die Programme getestet werden. Aber worauf wurden sie getestet, wenn das Gerät erst jetzt hergestellt wurde?
Mit anderen Worten, es sieht so aus, als hätten die "Marsianer" ihre Mülleimer wieder für die Einheimischen geöffnet. Und es gibt große Zweifel, dass dies getan wurde, um den Spielern zu gefallen - höchstwahrscheinlich gibt es hier eine andere Aufgabe. Und es scheint uns wie folgt.
In den letzten Jahrzehnten stellen sich kluge Köpfe zunehmend die Frage nach dem Ursprung der elektronischen Technologie, der Frage der universellen Chipisierung, bei der nicht klar ist, warum sie benötigt wird, und so weiter. Um ihr Gehirn irgendwie zum Narren zu halten, haben sie sich ein Märchen über einen "Quantencomputer" ausgedacht, dessen Prinzipien selbst von Leuten, die zu den offiziellen "Entwicklern" ernannt wurden, nicht verstanden werden. Und jetzt stellen Sie sich den Schrecken einer durchschnittlichen mexikanischen Hausfrau vor, deren neues Handy nicht nur besser denken wird als sie, sondern auch eine Art "Quantencomputer" an Bord hat. Das heißt, ein solcher Dummkopf ist für Einheimische inakzeptabel - sie werden in Scharen verrückt.
Daher beschlossen einige kluge „Marsmenschen“, den zweibeinigen Ureinwohnern des Planeten Erde ein einfacheres Wunder zu zeigen - dessen Prinzipien die Ältesten der NASA zumindest irgendwie erklären können. Und wenn die Eingeborenen die Geschichte akzeptieren, werden die „Marsianer“den Völkern andere magische Wunder zeigen. Zum Beispiel werden sie diesen Cerebras WSE in ein Mobiltelefon schieben und ihn für hundert Dollar verkaufen. Für Käufer von modischen Geräten wird dies natürlich sehr cool und gut sein, aber die Leute werden sofort ein bisschen schlauer denken: Was ist dann in den Serverräumen verschiedener seriöser Organisationen, wie der NSA, dem FBI und der CIA? Welche Möglichkeiten gibt es, um die Gedanken und das Verhalten der Bevölkerung zu kontrollieren?
