AI Rechenzentren bekommen Priorität, auch als Stromfresser + CO2 Schleuder

AI benötigt mehr Strom als zur Verfügung steht, deshalb werden hier Klima-Argumente ausgeblendet

Ausnahmen bestätigen die Regel. Während die Endverbraucher tagtäglich medial damit belästigt werden, dass jede Internet-Suche einen bestimmten CO2-Gegenwert kostet die das Klima belasten, wird das im Technologie-Sektor völlig beiseite geschoben und eigene Energiegewinnung durch herkömmliche Atomkraft oder neuartige Minikraftwerke gebaut, die ausschliesslich diese riesigen Datacenter und Serverfarmen beliefern sollen.

Und wie immer werden die fortschrittlichen Applikationen die daraus entstehen, die Vorteile und Bequemlichkeit bieten nach vorne gestellt, während die eigentlichen Absichten noch lange nicht genannt werden, bis es offensichtlich wird: Das greifbare Endziel ist eine Weltregierung, die mit einer geringen Anzahl von anfälligen Personal sämtliche Systeme in Echtzeit kontrollieren und steuern können!

Club of Rome will eine UN-Weltregierung

Laut Mark Russinovich, Chief Technology Officer von Microsoft Azure, werden die Rechenzentren, die generative KI-Produkte wie ChatGPT ermöglichen, bald ihre Größengrenzen erreichen. Für zukünftige Generationen dieser Technologie ist daher eine neue Methode zur Verbindung mehrerer Rechenzentren erforderlich.

Die fortschrittlichsten KI-Modelle müssen heute in einem einzigen Gebäude trainiert werden, in dem Zehntausende (und bald Hunderttausende) von KI-Prozessoren, beispielsweise die H100 von Nvidia, so verbunden werden können, dass sie als ein Computer agieren.

Doch während Microsoft und seine Konkurrenten darum konkurrieren, die leistungsstärksten KI-Modelle der Welt zu entwickeln, werden verschiedene Faktoren, darunter das alternde amerikanische Stromnetz, eine faktische Obergrenze für die Größe eines einzelnen Rechenzentrums schaffen, das schon bald mehrere Gigawatt Strom verbrauchen könnte, was dem Verbrauch von Hunderttausenden Haushalten entspricht.

Schon jetzt sind einige Teile des nationalen Stromnetzes an heißen Tagen überlastet, wenn die Klimaanlagen auf Hochtouren laufen und es zu zeitweiligen Stromausfällen und Spannungsabfällen kommt.

Microsoft hat fieberhaft daran gearbeitet, die Kapazität des Netzes zu erhöhen, und unterzeichnete einen Vertrag zur Wiedereröffnung das Kernkraftwerk Three Mile Island, Start einen 30-Milliarden-Dollar-Fonds für KI-Infrastruktur mit BlackRock und den Abschluss eines 10-Milliarden-Dollar-Vertrags mit Brookfield für grüne Energie, neben anderen Projekten.

Die Sanierung der Energieinfrastruktur der USA war ein wichtiger Bestandteil des Inflationsreduktionsgesetzes von 2022, das unter anderem Anreize in Höhe von 3 Milliarden Dollar für den Ausbau von Übertragungsleitungen vorsah. Doch Unternehmen wie Microsoft können es sich nicht leisten, auf mehr Geld aus Washington zu warten, abgesehen von der Zeit, die es dauern würde, diese Mittel bereitzustellen.

Microsoft hat auch die Nutzung von GPUs revolutioniert, um den effizienteren Betrieb von Rechenzentren zu fördern.

Angesichts ihrer KI-Ambitionen könnte eine Lösung darin bestehen, an mehreren Standorten Rechenzentren zu errichten, um eine Überlastung des Stromnetzes einer Region zu vermeiden. Das wäre technisch anspruchsvoll, könnte aber notwendig sein, sagte Russinovich gegenüber Semafor.

„Ich denke, das ist unvermeidlich, vor allem, wenn man die Größenordnung erreicht, die diese Dinge erreichen“, sagte er. „In manchen Fällen ist es vielleicht die einzige praktikable Möglichkeit, sie zu schulen, indem man sie über Rechenzentren oder sogar Regionen hinweg trainiert“, sagte er.

Die Verbindung von Rechenzentren, die bereits die Grenzen moderner Computernetzwerke ausreizen, wird keine leichte Aufgabe sein. Selbst die Verbindung zweier dieser Zentren ist eine Herausforderung, da Glasfasergeschwindigkeiten erforderlich sind, die bis vor kurzem über lange Distanzen nicht möglich waren. Aus diesem Grund müssten die Rechenzentren laut Russinovich wahrscheinlich nahe beieinander liegen.

Er war sich nicht sicher, wann genau dieser Aufwand erforderlich sein würde, aber es würden mehrere Microsoft-Teams sowie OpenAI beteiligt sein. Es könnte Jahre dauern, bis der Aufwand notwendig wird. „Ich glaube nicht, dass es noch zu lange dauert“, sagte er.

Beim Training der größten Basismodelle wird die Berechnung auf Zehn- oder Hunderttausende von KI-Prozessoren (wie Nvidia-GPUs) aufgeteilt. Es gibt viele Versionen dieser sogenannten „Parallelisierung“, aber die Grundidee besteht darin, die Aufgaben so aufzuteilen, dass jeder GPU ständig arbeitet. Während des Prozesses müssen Daten zwischen allen GPUs hin- und hergeschickt werden.

AI is worse than ClimateChange + Eric Schmidt on AI-Future

Stellen Sie sich vor, ein großes Fundamentmodell wäre ein Wolkenkratzer und die Bauarbeiter wären GPUs. Das wäre so, als ob Sie versuchen würden, sie alle während des gesamten Projekts ständig auf Hochtouren arbeiten zu lassen und sie gleichzeitig miteinander kommunizieren zu lassen, damit alles in der richtigen Reihenfolge und gemäß den Bauplänen gebaut wird.

Die Erstellung eines perfekt synchronisierten Systems zum Aufbau eines riesigen KI-Modells ist eine enorme technische Herausforderung und geht oft schief. GPU-Ausfälle (oft aufgrund von Überhitzung) können einen Trainingslauf ruinieren.

Selbst eine Verzögerung bei der Kommunikation zwischen GPUs könnte sich beim Training als katastrophal erweisen. Hinzu kommt die Komplexität mehrerer geografisch verteilter Rechenzentren, was bedeutet, dass noch mehr Dinge schiefgehen können.

Der Halbleiteranalyst Patrick Moorhead, Gründer und CEO von Moor Insights and Strategy, sagte, dass Rechenzentren in vielen Bereichen an ihre Grenzen stoßen. So seien sie beispielsweise auf effizientere Flüssigkeitskühlsysteme umgestiegen, was vor der Ära der riesigen KI-Rechenzentren als unnötig galt.

Bei Rechenzentren kann es passieren, dass ab einer bestimmten Größe die Kühlsysteme allein zum Engpass werden, weil sie zu viel Strom aus dem Netz ziehen oder zu ineffizient werden.

Chinesische Hyperscaler experimentieren bereits mit Anschluss mehrere Datenzentren, um KI-Modelle zu trainieren, sagte Moorhead. Dabei kommen allerdings nicht die leistungsstärksten KI-Chips zum Einsatz, deren Verkauf dort für US-Unternehmen illegal ist.

Obwohl die Verbindung zweier Rechenzentren eine Herausforderung darstellt, glauben manche, dass das Trainieren eines KI-Modells eines Tages mit kleineren Computern möglich sein könnte. verteilen auf der ganzen Welt.

Unternehmen wie Gensyn arbeiten an neuen Methoden zum Trainieren von KI-Modellen, die praktisch jede Art von Berechnung nutzen können, sei es eine weniger leistungsstarke CPU oder eine GPU.

Die Idee ist eine exponentiell kompliziertere Version von SETI @ home, ein Experiment, bei dem jeder mit seinem Computer bei der Analyse von Radioteleskopdaten mithelfen konnte, in der Hoffnung, außerirdisches Leben zu entdecken.

Derzeit muss das Training der größten und leistungsstärksten KI-Modelle zentralisiert erfolgen, auch wenn zwei oder drei Rechenzentren dasselbe Modell gleichzeitig trainieren können.

Aber wenn Russinovichs Idee ein erster Schritt hin zu einer wirklich verteilten Methode zum Trainieren von KI-Modellen ist, wäre das eine große Sache und könnte das KI-Training letztlich auch für diejenigen zugänglicher machen, die nicht über Milliarden von Dollar verfügen. Das würde auch bedeuten, dass KI-Chips wie Nvidias GPUs nicht mehr so wichtig wären. Man könnte weniger fortschrittliche Chips verwenden, aber mehr davon verbinden, um das gleiche Rechenleistungsniveau zu erreichen.

Chiphersteller tun bereits alles, um einen einzelnen Prozessor leistungsfähiger zu machen. Nvidias Blackwell-Chips sind eigentlich zwei separate Chips. Cerebras stellt einen Chip her, der so groß ist wie ein Teller Und TSMC ist arbeiten, über Möglichkeiten, Chips noch größer zu machen.

Das Coole an den Bemühungen, KI-Training und -Inferenz in eine verteilte Richtung zu lenken, ist, dass sie Start-ups neue Möglichkeiten eröffnen, Innovationen hervorzubringen und möglicherweise etablierte Unternehmen zu verdrängen.

www.technocracy.news/de

US data centers will soon hit size limits