Ehemaliger OpenAI-Forscher über Superintelligenz und die gewaltigen Auswirkungen

Situational Awareness

Lesen Sie die Essays, die zur Gründung eines 1,5 Milliarden Dollar schweren KI-Fonds führten, der von den Collison Brothers von Stripe unterstützt wird

Ein 23-jähriger ehemaliger OpenAI-Forscher behauptet, dass wir bis 2030 über Superintelligenz verfügen werden – Maschinen, die weitaus intelligenter sind als jeder Mensch, in der Lage sind, alle kognitiven Aufgaben zu automatisieren und möglicherweise über das Schicksal der Menschheit zu entscheiden. In dieser Buchzusammenfassung von Situational Awareness erfahren Sie, warum die klügsten Köpfe der KI-Branche glauben, dass wir mit atemberaubender Geschwindigkeit auf die AGI zusteuern.

• Buch:  Situationsbewusstsein: Das kommende Jahrzehnt
• Autor:  Leopold Aschenbrenner
• Seiten:  165 Seiten (Aufsatzreihe)
• Bewertung:  5 von 5 Sternen
• Empfohlen für:  Technologieführer, die sich mit der KI-Strategie befassen, Investoren, die die Entwicklung der KI verstehen möchten, politische Entscheidungsträger, die sich mit den Auswirkungen auf die nationale Sicherheit auseinandersetzen, und alle, die verstehen möchten, was in den KI-Laboren von San Francisco wirklich passiert.

 

---

 Die 30-Sekunden-Zusammenfassung

Die 3 großen Ideen

1. Die Explosion der Geheimdienste ist unvermeidlich und steht unmittelbar bevor

Die Kernerkenntnis:  Wir bauen keine besseren Chatbots – wir erschaffen eine neue Spezies, die für uns das sein wird, was wir für Schimpansen sind.

Aschenbrenner zeichnet eine einfache, aber erschreckende Entwicklung: GPT-2 (2019) schrieb wie ein Vorschulkind, GPT-3 (2020) wie ein Grundschüler, GPT-4 (2023) wie ein intelligenter Gymnasiast. Folgt man den gleichen Trends der Rechenleistungsskalierung und des algorithmischen Fortschritts, werden wir bis 2027 KI auf Expertenniveau erreichen. Doch hier wird es wild: Diese AGI-Systeme werden dann die KI-Forschung selbst automatisieren. Stellen Sie sich 100 Millionen KI-Forscher vor, jeder einzelne intelligenter als die besten menschlichen Wissenschaftler, die rund um die Uhr mit der zehnfachen menschlichen Geschwindigkeit arbeiten. Sie würden den Fortschritt eines Jahrzehnts auf weniger als ein Jahr komprimieren. Er drückt es so aus: „Der Sprung zur Superintelligenz wäre angesichts des aktuellen rasanten, aber kontinuierlichen KI-Fortschritts schon wild genug … Aber er könnte noch viel schneller gehen, wenn AGI die KI-Forschung selbst automatisiert.“

Wichtigste Erkenntnis:  Beginnen Sie mit der Planung für eine Welt, in der bis 2027 jede kognitive Aufgabe automatisiert werden kann und in der KI-Systeme uns bis 2030 so weit voraus sein werden, wie wir Insekten voraus sind.

2. China kann dieses Rennen gewinnen (und das wäre katastrophal)

Die wichtigste Erkenntnis:  Amerikanische KI-Labore liefern derzeit AGI-Geheimnisse nach China, und zwar unter Sicherheitsvorkehrungen, die schlechter sind als die eines „zufälligen Starts“.

Die Sicherheitslage wäre fast schon komisch, wäre sie nicht so furchterregend. Aschenbrenner beschreibt KI-Labore, in denen man „einfach durch die Bürofenster schauen“ kann, um wichtige algorithmische Durchbrüche zu beobachten, in denen Tausende ungeprüfte Mitarbeiter Zugang zu zivilisationsprägenden Geheimnissen haben und in denen „auf Partys in San Francisco“ über AGI-Techniken im Wert von Hunderten von Milliarden geplaudert wird. China hat unterdessen bewiesen, dass es 7-nm-Chips herstellen kann (genug für AGI), die USA bei der Energieinfrastruktur übertreffen kann und Hacker bereits KI-Code von Google gestohlen haben. „Wenn der aktuelle Kurs weitergeht“, schreibt er, „werden die führenden chinesischen AGI-Labore nicht in Peking oder Shanghai stehen – sie werden in San Francisco und London sein.“

Wichtigste Erkenntnis:  Wenn die amerikanischen KI-Labore nicht sofort Sicherheitsmaßnahmen auf dem Niveau des Manhattan-Projekts implementieren, übergeben wir die Superintelligenz – und damit die globale Vorherrschaft – der KPCh.

3. Die US-Regierung wird das Projekt übernehmen

Die Kernerkenntnis:  Kein Startup kann mit Superintelligenz umgehen – bis 2027/28 werden wir ein staatliches AGI-Manhattan-Projekt erleben.

Aschenbrenner hält es für „einen Wahnsinn, dass die US-Regierung einem beliebigen SF-Startup die Entwicklung einer Superintelligenz erlaubt“. Sobald klar wird, dass AGI eine militärische Dominanz vergleichbar mit Atomwaffen bedeutet, wird der nationale Sicherheitsapparat aufwachen. Die führenden Labore werden zur Fusion gezwungen, der Kongress wird Billionen für Computercluster bereitstellen, und das Kernteam der AGI-Forschung wird in eine sichere Einrichtung umziehen. Er drückt es so aus: „Stellen Sie sich vor, wir hätten Atombomben entwickelt, indem wir Uber einfach improvisieren ließen.“

Wichtigste Erkenntnis:  Wenn Sie im Bereich KI arbeiten, müssen Sie sich darauf einstellen, dass Ihre Branche innerhalb von drei bis vier Jahren verstaatlicht wird. Dies ist kein weiterer Technologieboom, sondern ein Notfall für die nationale Sicherheit.

---

Das Dwarkesh-Interview: Die ungefilterte Wahrheit

In einem vierstündigen Gespräch mit Dwarkesh Patel lässt Leopold den akademischen Ton fallen und spricht offen darüber, was wirklich passiert. Hier sind die Momente, die selbst Dwarkesh – jemand, der tief in KI-Kreisen verwurzelt ist – innehalten und sagen ließen: „Das ist ziemlich beschissen.“

All about AI – News, Interviews, and access to the best AI Tools

Der Billionen-Dollar-Cluster wird bereits gebaut

„Innerhalb eines Jahres ist der Umsatz der Nvidia-Rechenzentren von einigen Milliarden Dollar pro Quartal auf 25 Milliarden Dollar pro Quartal gestiegen und steigt weiter“, erklärt Leopold. Doch der Clou: Wir folgen lediglich den geraden Linien eines Diagramms, die seit fast einem Jahrzehnt Bestand haben.

Er analysiert den Verlauf mit chirurgischer Präzision: „GPT-4 soll das Vortraining im Jahr 2022 abgeschlossen haben … ein Cluster im Wert von etwa 500 Millionen Dollar. Ganz grob geschätzt sind das 10 Megawatt.“ Dann lässt er die Bombe platzen: „Bis 2028 wird das ein Cluster mit zehn GW sein. Das ist mehr Leistung als die meisten US-Bundesstaaten. Das sind 10 Millionen H100-Äquivalente, die Hunderte von Milliarden Dollar kosten.“

Die beiläufige Art, wie er es sagt, verschleiert den Wahnsinn: „Bis 2030 wird es einen Billionen-Dollar-Cluster geben, der 100 Gigawatt verbraucht, also über 20 Prozent der US-Stromproduktion.“

Als Dwarkesh zurückschlägt und Zuckerbergs Skepsis gegenüber Gigawatt-Rechenzentren anführt, ist Leopolds Antwort vielsagend: „Vor sechs Monaten waren 10 GW das Stadtgespräch. Jetzt haben die Leute das hinter sich gelassen. 10 GW werden Wirklichkeit.“

Die „Entfesselungs“-Revolution: Vom Chatbot zum digitalen Gott

Leopold führt ein Konzept ein, das in der Öffentlichkeit kaum diskutiert wird, aber im Mittelpunkt von allem steht: die Entfesselung. Dabei geht es nicht nur darum, Modelle größer zu machen, sondern ihre Beschränkungen aufzuheben.

„GPT-4 kann derzeit mehrere hundert Tokens mit einer Gedankenkette verarbeiten. Das ist schon eine enorme Verbesserung“, erklärt er. „Früher war die Beantwortung einer Mathefrage ein Automatismus … Wenn ich mit 100 Tokens pro Minute denke, entspricht das dem, was GPT-4 macht. Das entspricht drei Minuten Nachdenken.“

Aber hier wird es wild: „Angenommen, GPT-4 könnte Millionen von Tokens denken. Das sind +4 OOMs bei der Testzeitberechnung für ein Problem … Wenn es 100 Tokens pro Minute sind, entsprechen ein paar Millionen Tokens ein paar Monaten Arbeitszeit.“

Die Geheimzutat? „Sie müssen Dinge wie Fehlerkorrektur-Token lernen, bei denen Sie sagen: ‚Ah, ich habe einen Fehler gemacht, lassen Sie mich noch einmal darüber nachdenken.‘ Sie müssen Planungs-Token lernen, bei denen es heißt: ‚Ich fange damit an, einen Plan zu machen.‘“

Er zieht eine Analogie, die hängen bleibt: „Wenn Sie Auto fahren, sind Sie die meiste Zeit auf Autopilot. Manchmal geraten Sie in eine seltsame Baustelle … Sie wechseln vom Autopiloten zu System 2 und überlegen, wie Sie das machen. Durch Skalierung wird der Autopilot von System 1 verbessert … Wenn Sie System 2 zum Laufen bringen, können Sie schnell zu etwas mit mehr Agenten wechseln.“

AI is Creating a New God

Chinas Masterplan: Sie müssen nicht innovativ sein

Der erschreckendste Teil des Interviews ist Leopolds Einschätzung der chinesischen Spionage. Das ist keine Spekulation – es passiert jetzt.

„Es ist alles ganz einfach. Sie behaupten nicht, dass es schwierig ist“, sagt er über den Diebstahl von KI-Geheimnissen. Dann verrät er ein Detail, das jeden erschrecken sollte: „Ich habe von mehreren Leuten gehört – nicht aus meiner Zeit bei OpenAI, und ich habe das Memo nicht gesehen –, dass die OpenAI-Führung irgendwann vor einigen Jahren einen Plan zur Finanzierung und zum Verkauf von AGI ausgearbeitet hatte, indem sie einen Bieterkrieg zwischen den Regierungen der USA, Chinas und Russlands anzettelte.“

Moment, was? „Es überrascht mich, dass sie bereit sind, AGI an die chinesische und russische Regierung zu verkaufen.“

Die aktuelle Sicherheitslage sei ein Witz: „Zwischen den Laboren gibt es Tausende von Menschen, die Zugang zu den wichtigsten Geheimnissen haben. Es gibt praktisch keine Hintergrundüberprüfungen, keine Silobildung, keine Kontrollen, keine grundlegende Informationssicherheit … Man kann einfach durch die Bürofenster schauen.“

Einem chinesischen Staatsbürger ist dies bereits gelungen: „Um den Code unbemerkt zu stehlen, musste er lediglich in Apple Notes eingefügt und anschließend als PDF exportiert werden!“

Leopolds Einschätzung ist brutal: „Wenn der derzeitige Kurs weitergeht, werden die führenden chinesischen AGI-Labore nicht in Peking oder Shanghai sein – sie werden in San Francisco und London sein.“

Das Nahost-Gambit: „Würden Sie das Manhattan-Projekt in den VAE durchführen?“

Leopold enthüllt die möglicherweise kurzsichtigste Entscheidung der Menschheitsgeschichte: Amerikanische Unternehmen planen den Aufbau einer AGI-Infrastruktur in Diktaturen des Nahen Ostens.

„Es gibt Leute, die anderswo Cluster aufbauen wollen. Es gibt jede Menge Geld aus dem Nahen Osten“, erklärt er. Dann stellt er die eigentlich naheliegende Frage: „Würden Sie das Manhattan-Projekt in den Vereinigten Arabischen Emiraten durchführen?“

Die Risiken seien existenziell: „Sobald der Cluster erst einmal da ist, ist es für sie viel einfacher, die Gewichte zu exfiltrieren. Sie können buchstäblich die AGI, die Superintelligenz, stehlen. Es ist, als hätten sie eine direkte Kopie der Atombombe.“

Aber es kommt noch schlimmer: „Sie können einfach die Rechenleistung beschlagnahmen … Angenommen, wir stellen 25 % der Rechenkapazität in diesen Diktaturen im Nahen Osten bereit. Nehmen wir an, sie beschlagnahmen diese. Dann beträgt das Rechenleistungsverhältnis 3:1 … Mit dieser Rechenleistung lässt sich eine Menge erreichen.“

Warum machen Unternehmen das? Leopolds Antwort ist vernichtend: „Die Leute denken dabei nicht an den AGI-Superintelligenz-Cluster. Sie denken sich nur: ‚Ah, coole Cluster für mein ChatGPT.‘“ Und: „Aus dem Nahen Osten kommt leicht verdientes Geld.“

Am aufschlussreichsten ist: „Manche Leute glauben, dass dies nur Autokratien durch eine von oben herab gesteuerte Mobilisierung industrieller Kapazitäten gelingen kann … Manche Leute posten Shitposts über ihre Liebe zu Amerika, wetten dann aber insgeheim gegen Amerika.“

2023 bei OpenAI: Ground Zero für die Revolution

Leopold erzählt, wie es war, während der ChatGPT-Explosion bei OpenAI dabei zu sein: „Als Sie 2023 bei OpenAI waren, war das eine seltsame Sache. Sie wollten fast nicht über KI oder AGI sprechen. Es war eine Art Schimpfwort.“

Der Kontrast zur öffentlichen Wahrnehmung war surreal: „2023 war für mich der Moment, in dem AGI von dieser theoretischen, abstrakten Sache wegging. Ich sehe es, ich fühle es und ich sehe den Weg. Ich sehe, wohin es geht. Ich kann den Cluster sehen, an dem es trainiert wird, die grobe Kombination von Algorithmen, die Menschen, wie es passiert.“

Seine Beobachtung zu den „GPT-Wrapper“-Unternehmen ist schonungslos: „Ich bin so pessimistisch, was die Wrapper-Unternehmen angeht, weil sie auf Stagnation setzen. Sie setzen darauf, dass es diese Zwischenmodelle gibt und es so viel Mühe kostet, sie zu integrieren … Wir werden Sie mit einem Überschallknall überrumpeln. Wir werden die Hindernisse beseitigen. Wir werden den Drop-in-Remote-Mitarbeiter bekommen.“

Die persönlichen Herausforderungen: Aufwachsen im Schatten der Geschichte

Leopolds deutscher Hintergrund verleiht ihm eine Perspektive, die den meisten Optimisten im Silicon Valley fehlt. Seine Urgroßmutter „wurde 1934 geboren und wuchs während der Nazizeit auf. Im Zweiten Weltkrieg erlebte sie die Bombardierung Dresdens … Danach verbrachte sie den Großteil ihres Lebens in der ostdeutschen kommunistischen Diktatur.“

Diese Geschichte macht deutlich, was auf dem Spiel steht: „Als ich ein Kind war, wollte sie wirklich nicht, dass ich mich politisch engagiere. Der Beitritt zu einer politischen Partei hatte für sie eine sehr negative Konnotation.“

Seine Warnung vor einer Superintelligenz unter autoritärer Kontrolle ist eindringlich: „Stellen Sie sich vor, Sie hätten ein absolut loyales Militär und Sicherheitskräfte. Keine Rebellionen mehr. Keine Volksaufstände mehr. Sie hätten eine perfekte Lügenerkennung … Kein Gorbatschow, der Zweifel am System gehabt hätte, wäre jemals an die Macht gekommen.“

Die Intelligenzexplosion: Live rechnen

Leopold geht mit einer Genauigkeit durch die tatsächlichen Mechanismen der Intelligenzexplosion, die sowohl spannend als auch erschreckend ist:

„Sobald wir AGI haben, werden wir nicht nur eine AGI haben. Angesichts der bis dahin verfügbaren GPU-Flotten für Inferenz werden wir wahrscheinlich in der Lage sein, viele Millionen davon auszuführen (vielleicht 100 Millionen Menschenäquivalente und bald darauf mit über 10-facher menschlicher Geschwindigkeit).“

Die Beschleunigung ist exponentiell: „Wenn Ihnen das gelingt, können Sie in einem Jahr möglicherweise den Fortschritt der ML-Forschung eines Jahrzehnts erreichen. Sie erreichen eine etwa zehnfache Beschleunigung. Sie können innerhalb eines oder mehrerer Jahre den Sprung zu einer KI schaffen, die weitaus intelligenter ist als der Mensch.“

Er spricht den Engpass in der Robotik direkt an: „In Ihrem Cluster gibt es eine Milliarde superintelligente KI-Forscher – intelligenter als die intelligentesten menschlichen Forscher. Irgendwann im Zuge der Intelligenzexplosion werden sie in der Lage sein, die Robotik zu verstehen.“

Die COVID-Parallele: Wir können es kommen sehen

Leopold zieht eine eindrucksvolle Parallele zum Jahresbeginn 2020: „Die COVID-Pandemie im Februar 2020 fühlt sich ehrlich gesagt sehr ähnlich an wie heute. Es fühlt sich an, als ob etwas völlig Verrücktes auf uns zukommt. Man sieht das Exponentielle, und doch ist sich der Großteil der Welt dessen einfach nicht bewusst.“

Als Dwarkesh fragt, ob Leopold während COVID (er war 17) den Markt leerverkauft hat, sagt Leopold einfach: „Ja.“

Die Schlussfolgerung ist klar: Wer sieht, was auf uns zukommt, kann sich positionieren, aber die meisten werden es erst glauben, wenn es zu spät ist. „Irgendwann haben die Leute es erkannt, und dann kam es zu verrückten, radikalen Reaktionen.“

Der Umsatz-Realitätscheck

Leopold liefert konkrete Zahlen, die zeigen, dass dies keine Fantasie ist: „Nehmen wir an, wir erreichen bis Ende dieses Jahres tatsächlich die 10-Milliarden-Dollar-Marke. Nehmen wir an, der Umsatz verdoppelt sich weiterhin alle sechs Monate. Von 100 Milliarden Dollar ist es gar nicht mehr weit, vielleicht bis 2026.“

Er erläutert die wirtschaftlichen Aspekte: „Es gibt rund 300 Millionen Microsoft Office-Abonnenten … Angenommen, Sie würden einem Drittel der Microsoft Office-Abonnenten ein KI-Add-on für 100 Dollar im Monat verkaufen. Das wären dann 100 Milliarden Dollar.“

Als Dwarkesh einwendet, dass 100 Dollar pro Monat viel seien, zerstreut Leopolds Antwort alle Zweifel: „Für den durchschnittlichen Wissensarbeiter sind das ein paar Stunden Produktivität im Monat. Man muss schon mit ziemlich dürftigen KI-Fortschritten rechnen, um nicht auf ein paar Stunden Produktivität im Monat zu kommen.“

Die Verstaatlichungszeitleiste

Leopold äußert sich konkret zum Zeitpunkt der Regierungsübernahme: „Ab 2027 oder 2028 wird der nationale Sicherheitsstaat anfangen, dem Ganzen große Aufmerksamkeit zu schenken. Die Frage nach dem richtigen Zeitpunkt ist wirklich: Fangen sie an, das Ganze ernst zu nehmen, wenn die nachrichtendienstliche Explosion schon ziemlich spät stattfindet? Fangen sie an, das Ganze zwei Jahre früher ernst zu nehmen? Das ist für den weiteren Verlauf der Dinge von großer Bedeutung.“

Der historische Präzedenzfall ist ernüchternd: „Im Zweiten Weltkrieg flossen etwa 50 Prozent des BIP in die Kriegsproduktion. Die USA liehen sich über 60 Prozent des BIP … Es stand noch viel mehr auf dem Spiel.“

Über die schwindende Macht der Labormitarbeiter

Eine von Leopolds provokantesten Beobachtungen: „Das ist vergleichbar mit dem rapide abnehmenden Einfluss der Labormitarbeiter. Im Moment haben die KI-Labormitarbeiter so viel Macht. Sie haben das Ereignis im November gesehen. Es geht um so viel Macht. Beide werden automatisiert und verlieren all ihre Macht. Dann werden nur noch ein paar wenige Leute mit ihren Armeen automatisierter KIs das Sagen haben.“

Die Oppenheimer-Parallele ist eindeutig: „Es gibt einige dieser klassischen Szenen aus dem Oppenheimer-Film. Die Wissenschaftler bauten sie, und dann wurde die Bombe verschifft und lag nicht mehr in ihren Händen.“

Sein Rat ist dringend: „Es ist gut, wenn sich die Labormitarbeiter dessen bewusst sind. Sie haben jetzt viel Macht, aber vielleicht nicht mehr lange. Nutzen Sie sie mit Bedacht.“

Die Energielösung, die niemand hören will

Leopold spricht offen darüber, was nötig ist: „Um dies in den USA zu ermöglichen, müssen wir uns bis zu einem gewissen Grad zusammenreißen. Im Grunde gibt es in den USA zwei Möglichkeiten, dies zu erreichen. Die eine ist, dass man einfach bereit sein muss, Erdgas zu nutzen.“

Das Ausmaß ist atemberaubend, aber machbar: „Die Erdgasproduktion in den Vereinigten Staaten hat sich innerhalb eines Jahrzehnts fast verdoppelt. Wenn wir das in den nächsten sieben Jahren noch einmal tun, könnten wir mehrere Billionen Dollar teure Rechenzentren mit Strom versorgen.“

Doch es gibt ein Problem: „Das Problem dabei ist, dass viele Menschen diese Klimaverpflichtungen eingegangen sind, nicht nur die Regierung. Es sind tatsächlich die privaten Unternehmen selbst … Ich bewundere die Klimaverpflichtungen, aber irgendwann sind das nationale Interesse und die nationale Sicherheit wichtiger.“

---

 

Was wird aus der Menschheit?

Zuckerberg + Personal Superintelligence

Wichtige Frameworks

Das OOM-Framework (Orders of Magnitude)

Was es ist:  Eine Möglichkeit, den KI-Fortschritt zu messen, indem exponentielle Verbesserungen bei Rechenleistung, Algorithmen und „Entfesselung“ (Beseitigung von Einschränkungen) verfolgt werden.

So wenden Sie es an:

1. Zählen Sie die Rechenskalierung (derzeit ~0,5 OOMs/Jahr)
2. Fügen Sie algorithmische Effizienzgewinne hinzu (~0,5 OOMs/Jahr)
3. Berücksichtigen Sie entlastende Verbesserungen (RLHF, Gedankenkette, Werkzeugnutzung).

Wann es verwendet werden sollte:  Um vorherzusagen, wann bestimmte KI-Fähigkeiten auftauchen werden, und um zu verstehen, warum der Fortschritt so schnell voranschreitet.

Die Feedbackschleife der Intelligenzexplosion

Worum es geht:  Sobald sich KI selbst verbessern kann, beschleunigt sich der Fortschritt exponentiell, da Millionen von KI-Forschern an der Entwicklung besserer KI arbeiten.

So wenden Sie es an:

1. AGI automatisiert KI-Forschung
2. Millionen von AGI-Kopien arbeiten rund um die Uhr mit über 10-facher menschlicher Geschwindigkeit
3. Komprimieren Sie jahrzehntelange Fortschritte in Monate
4. Jede KI-Generation schafft die nächste Generation

Wann es verwendet werden sollte:  Um zu verstehen, warum das Zeitfenster zwischen menschlicher und übermenschlicher KI weniger als ein Jahr betragen könnte.

Der Situationsbewusstseinstest

Worum es geht:  Nur wenige hundert Menschen weltweit verstehen wirklich, was mit AGI auf uns zukommt. „Situationsbewusstsein“ zu haben bedeutet, den aktuellen KI-Hype zu durchschauen und die echte bevorstehende Transformation zu erkennen.

So wenden Sie es an:

1. Betrachten Sie die Trendlinien des KI-Fortschritts, nicht die Veröffentlichung einzelner Modelle
2. Denken Sie in Intelligenzstufen (Vorschulkind → Gymnasiast → Doktor → übermenschlich)
3. Berücksichtigen Sie geopolitische Auswirkungen, nicht nur kommerzielle Anwendungen

Wann Sie es verwenden sollten:  Um ernsthafte KI-Entwicklungen vom Hype zu unterscheiden und zu verstehen, was für die Zukunft wirklich wichtig ist.

Bemerkenswerte Zitate

„In San Francisco sieht man die Zukunft zuerst. Im letzten Jahr hat sich das Stadtgespräch von 10-Milliarden-Dollar-Computerclustern über 100-Milliarden-Dollar-Cluster bis hin zu Billionen-Dollar-Clustern verlagert.“

Warum das wichtig ist:  Das Ausmaß der Investitionen zeigt, dass Insider wissen, dass AGI unmittelbar bevorsteht – Unternehmen setzen keine Billionen auf Chatbots.

„Das AGI-Rennen hat begonnen. Wir bauen Maschinen, die denken und schlussfolgern können. Bis 2025/26 werden diese Maschinen viele Hochschulabsolventen überholen.“

Warum das wichtig ist:  Dies ist keine Spekulation, sondern die Grundannahme der Leute, die diese Systeme tatsächlich bauen.

„Durch welche seltsamen Schicksalskräfte auch immer, ich bin unter ihnen gelandet. Vor ein paar Jahren wurden diese Leute noch als verrückt verspottet – aber sie vertrauten den Trends.“

Warum das wichtig ist:  Dieselben Leute, die ChatGPT richtig vorhergesagt haben, als alle sie für verrückt erklärten, sagen jetzt AGI bis 2027 voraus.

„Mit GPT-2 und GPT-4 haben wir in 4 Jahren die Fähigkeiten eines Vorschulkindes zu einem intelligenten Highschool-Schüler entwickelt.“

Warum das wichtig ist:  Das Tempo der Verbesserung ist messbar und konstant – weitere 4 Jahre bedeuten einen weiteren ähnlichen Sprung.

„Wenn wir den aktuellen Kurs beibehalten, können wir auf jegliche amerikanischen Bemühungen im Bereich der künstlichen Intelligenz (AGI) verzichten; China kann alle algorithmischen Durchbrüche umgehend stehlen.“

Warum das wichtig ist:  Sicherheit ist nicht nur wichtig – ohne sie sind die gesamten westlichen AGI-Bemühungen sinnlos.

„Im Grunde wird nichts von dem, was wir sonst tun – weder im Hinblick auf den nationalen Wettbewerb noch auf die Sicherheit von KI – von Bedeutung sein, wenn wir dieses Problem nicht bald lösen.“

Warum das wichtig ist:  Alle anderen Diskussionen zur KI-Governance sind bedeutungslos, wenn wir die Technologie nicht sicher halten können.

„Ich halte es für einen Wahnsinnsvorschlag, dass die US-Regierung einem beliebigen SF-Startup die Entwicklung einer Superintelligenz gestattet.“

Warum das wichtig ist:  Die aktuelle Situation – Startups entwickeln zivilisationsbestimmende Technologien – ist historisch ungewöhnlich und wird nicht von Dauer sein.

„Superintelligenz wird einen entscheidenden wirtschaftlichen und militärischen Vorteil verschaffen. China ist noch lange nicht aus dem Spiel.“

Warum das wichtig ist:  Es geht nicht um Marktwettbewerb, sondern darum, welche Zivilisation überlebt.

„Am Ende der Intelligenzexplosion werden wir keine Hoffnung mehr haben, zu verstehen, was unsere Milliarden Superintelligenzen tun.“

Warum das wichtig ist:  Wir bauen etwas, das wir mit den aktuellen Techniken grundsätzlich nicht kontrollieren können.

„Die erschreckendste Erkenntnis ist, dass kein Eliteteam kommt, um das zu bewältigen.“

Warum das wichtig ist:  Nur die paar hundert Menschen, die verstehen, was auf uns zukommt, sind in der Lage, es zu gestalten.

„Die Models wollen einfach nur lernen. Das muss man verstehen.“

Warum das wichtig ist:  Das Zitat von Ilya Sutskever aus dem Jahr 2015 bringt die unerbittliche Kraft zum Ausdruck, die den Fortschritt der KI vorantreibt – er ist nicht aufzuhalten.

„Uns steht ein Wahnsinnsjahr bevor, in dem sich die Lage jede Woche extrem schnell ändert.“

Warum das wichtig ist:  Die Explosion der Geheimdienstinformationen wird kein allmählicher Übergang sein – es wird eine Krise sein, die Entscheidungen wie in Kriegszeiten erfordert.

„Amerikanische KI-Labore müssen das nationale Interesse an erste Stelle setzen.“

Warum das wichtig ist:  Das aktuelle Modell der KI-Labore, die beim Aufbau von AGI auf Gewinnoptimierung setzen, ist nicht nachhaltig.

„Wenn wir die Modellgewichte nicht sicher halten können, bauen wir lediglich AGI für die KPCh.“

Warum das wichtig ist:  Jeder Fortschritt, den wir machen, wird sofort an Gegner weitergegeben, die nicht über die nötige Sicherheit verfügen.

„Das vielleicht Wichtigste ist, dass, wenn diese KI-Systeme die KI-Forschung selbst automatisieren könnten, dies intensive Rückkopplungsschleifen in Gang setzen würde.“

Warum das wichtig ist:  Dies ist die Schlüsselerkenntnis, die AGI von leistungsstark zu weltzerstörend/welterschaffend macht.

„Vertrauen Sie den Trendlinien. Die Trendlinien sind intensiv und sie hatten Recht.“

Warum das wichtig ist:  Diejenigen, die auf exponentielle Fortschritte in der KI setzen, haben seit einem Jahrzehnt durchweg Recht.

„Ein Diktator, der über die Macht einer Superintelligenz verfügt, würde über eine Machtkonzentration verfügen, wie wir sie noch nie erlebt haben.“

Warum das wichtig ist:  AGI ist nicht einfach nur eine weitere Technologie – sie bietet die Möglichkeit, den Totalitarismus für immer zu verankern.

„Wer auch immer die Superintelligenz kontrolliert, wird wahrscheinlich über genügend Macht verfügen, um die Kontrolle über die Kräfte vor der Superintelligenz zu übernehmen.“

Warum das wichtig ist:  Der First-Mover-Vorteil bei Superintelligenz könnte dauerhaft und unumkehrbar sein.

„Bis 2027/28 werden wir Modelle haben, die auf dem über 100 Milliarden Dollar schweren Cluster trainiert sind; vollwertige KI-Agenten werden beginnen, die Softwareentwicklung weitgehend zu automatisieren.“

Warum das wichtig ist:  Konkrete Vorhersage mit konkretem Zeitplan – kein vage Gerede über die Zukunft.

„Im Moment gibt es vielleicht ein paar hundert Menschen auf der Welt, die erkennen, was uns bevorsteht.“

Warum das wichtig ist:  Die Informationsasymmetrie zwischen denjenigen, die über ein Situationsbewusstsein verfügen, und allen anderen ist enorm.

Essay-Tieftauchen

Einleitung – SITUATIONELLES BEWUSSTSEIN: Das kommende Jahrzehnt

Diese Eröffnung bereitet die Bühne mit einer ergreifenden Szene aus San Francisco: „Im vergangenen Jahr hat sich das Stadtgespräch von 10-Milliarden-Dollar-Computerclustern zu 100-Milliarden-Dollar-Clustern und schließlich zu Billionen-Dollar-Clustern verlagert. Alle sechs Monate wird den Vorstandsplänen eine weitere Null hinzugefügt.“

In der Einleitung wird die zentrale These aufgestellt: Wir befinden uns in einem Wettlauf um die künstliche Intelligenz, der die Zukunft der Menschheit bestimmen wird, doch „nur wenige haben die geringste Ahnung, was auf sie zukommen wird.“ Aschenbrenner sieht sich selbst unter „vielleicht ein paar hundert Menschen, die meisten davon in San Francisco und den KI-Laboren, die über ein Situationsbewusstsein verfügen.“

Er warnt: „Bald wird die Welt aufwachen. Aber im Moment gibt es vielleicht ein paar hundert Menschen, die über ein Situationsbewusstsein verfügen. Ob diese Leute auch mit Blick auf die nächsten Jahre Recht haben, bleibt abzuwarten. Aber das sind sehr kluge Leute – die klügsten Leute, die ich je getroffen habe – und sie sind diejenigen, die diese Technologie entwickeln.“

Die wichtigste Erkenntnis: „Bis zum Ende des Jahrzehnts wird die amerikanische Stromproduktion um mehrere zehn Prozent gestiegen sein; von den Schieferfeldern Pennsylvanias bis zu den Solarparks Nevadas werden Hunderte Millionen GPUs brummen.“

I. Von GPT-4 zu AGI: Zählen der OOMs

Dieser Aufsatz legt die mathematischen Argumente für AGI bis 2027 dar, indem er die Größenordnungen (OOMs) berechnet. Aschenbrenner verfolgt die Entwicklung von GPT-2 zu GPT-4: „GPT-2 (2019) ~ Vorschulkind … GPT-3 (2020) ~ Grundschulkind … GPT-4 (2023) ~ intelligenter Gymnasiast.“

Die Prognosen sind drastisch: „Im Jahr 2027 wird ein führendes KI-Labor in der Lage sein, ein GPT-4-Modell in einer Minute zu trainieren“, verglichen mit drei Monaten heute. Er erläutert drei multiplikative Faktoren:

1. Skalierung der Rechenleistung : ~0,5 OOMs/Jahr Trendwachstum
2. Algorithmische Effizienz : Weitere ~0,5 OOMs/Jahr
3. „Entfesseln“ : Übergang von Chatbots zu Agenten durch RLHF, Gedankenketten, Tools und Scaffolding

Das auffälligste Framework ist der „Testzeit-Rechenüberhang“ – aktuelle Modelle können nur für die Dauer von Minuten „denken“. „Was wäre jedoch, wenn Millionen von Token verwendet werden könnten, um über wirklich schwierige Probleme oder größere Projekte nachzudenken und daran zu arbeiten?“ Dies könnte es ermöglichen, „monatelang an etwas zu denken und zu arbeiten, anstatt nur wenige Minuten lang.“

Er spricht die Datenbarriere an, argumentiert aber, dass sie überwindbar sei: „Der alte Stand der Technik bei der Schulung von Modellen war einfach und naiv, aber er funktionierte, sodass sich niemand ernsthaft bemühte, diese Ansätze zur Stichprobeneffizienz zu knacken. Da dies nun möglicherweise zu einer größeren Einschränkung wird, sollten wir davon ausgehen, dass alle Labore Milliarden von Dollar und ihre klügsten Köpfe investieren, um das Problem zu lösen.“

Wichtigste Prognose: „Wir sind auf dem Weg zur AGI bis 2027. Diese KI-Systeme werden im Grunde in der Lage sein, praktisch alle kognitiven Aufgaben zu automatisieren (denken Sie an alle Aufgaben, die aus der Ferne erledigt werden könnten).“

II. Von der künstlichen Intelligenz zur Superintelligenz: die Intelligenzexplosion

Dieser Essay enthält das verblüffendste Argument des Buches: Der Übergang von der menschlichen zu einer weit übermenschlichen KI könnte in weniger als einem Jahr erfolgen. Der Mechanismus dafür ist die Automatisierung der KI-Forschung selbst.

„Sobald wir AGI haben, werden wir nicht nur eine AGI haben. Angesichts der bis dahin verfügbaren GPU-Flotten für Inferenz werden wir wahrscheinlich viele Millionen davon ausführen können (vielleicht 100 Millionen Menschenäquivalente und bald darauf mit über 10-facher menschlicher Geschwindigkeit).“

Die Rechnung ist überzeugend: „100 Millionen automatisierte Forscher arbeiten jeweils mit der 100-fachen Geschwindigkeit des Menschen, kurz nachdem wir begonnen haben, die KI-Forschung zu automatisieren.“ Dies könnte „den algorithmischen Fortschritt, den menschliche Forscher in einem Jahrzehnt erzielt hätten, auf ein Jahr komprimieren.“

Aschenbrenner geht direkt auf mögliche Engpässe ein:

• Begrenzte Rechenleistung für Experimente : Selbst mit Rechenleistungsbeschränkungen könnten automatisierte Forscher durch bessere Intuition, weniger Fehler und algorithmische Durchbrüche zehnmal effizienter sein
• Komplementaritäten mit Menschen : Könnte die Dinge um ein paar Jahre verzögern, wird die Explosion aber nicht stoppen
• Grenzen des algorithmischen Fortschritts : „Wenn wir im letzten Jahrzehnt 5 OOMs hatten, sollten wir wahrscheinlich davon ausgehen, dass mindestens ein weiteres Jahrzehnt an Fortschritt möglich ist.“

Die Auswirkungen sind erschütternd: „Die KI-Systeme, die wir wahrscheinlich bis zum Ende dieses Jahrzehnts haben werden, werden unvorstellbar leistungsfähig sein … Sie werden qualitativ übermenschlich sein … Wir werden wie Gymnasiasten sein, die sich mit der Newtonschen Physik beschäftigen, während diese die Quantenmechanik erforscht.“

Seine Visualisierung ist eindringlich: „Sehen Sie sich einige YouTube-Videos von Speedruns in Videospielen an, wie zum Beispiel dieses, in dem man Minecraft in 20 Sekunden durchspielt … Und jetzt stellen Sie sich vor, dies würde auf alle Bereiche der Wissenschaft, Technologie und Wirtschaft angewendet.“

IIIa. Wettlauf zum Billionen-Dollar-Cluster

Dieser Aufsatz skizziert die für AGI erforderliche industrielle Mobilisierung mit konkreten Prognosen, die verrückt erscheinen, bis man die Zahlen sieht:

Jahr	Kosten des Trainingsclusters	Erforderliche Leistung	Leistungsreferenz
2022	~500 Mio. USD (GPT-4)	~10 MW	~10.000 Haushalte
~2024	Milliarden Dollar	~100 MW	~100.000 Haushalte
~2026	Zehntausende von Milliarden Dollar	~1 GW	Der Hoover-Staudamm
~2028	Hunderte von Milliarden Dollar	~10 GW	Kleiner US-Bundesstaat
~2030	Über 1 Billion US-Dollar	~100 GW	>20 % des US-Stroms

Die Beweise sind bereits sichtbar: „Zuck hat 350.000 H100 gekauft. Amazon hat einen 1-GW-Rechenzentrumscampus neben einem Atomkraftwerk gekauft … Microsoft und OpenAI arbeiten Gerüchten zufolge an einem 100-Milliarden-Dollar-Cluster.“

Speziell zum Thema Strom: „Die gesamte Stromerzeugung in den USA ist im letzten Jahrzehnt kaum um 5 % gestiegen … Allein der 100-GW-Cluster im Wert von einer Billion Dollar würde in sechs Jahren etwa 20 % der aktuellen Stromerzeugung in den USA benötigen.“

Die Lösung? Erdgas: „Die Stromversorgung eines 10-GW-Clusters würde nur wenige Prozent der US-Erdgasproduktion erfordern … Für den 100-GW-Cluster wären etwa 1.200 neue Bohrlöcher erforderlich.“

Kritische Warnung: „Bei den Clustern, die heute geplant werden, könnte es sich durchaus um die Cluster handeln, auf denen AGI und Superintelligenz trainiert und betrieben werden … Wollen wir wirklich, dass die Infrastruktur für das Manhattan-Projekt von einer launischen Diktatur im Nahen Osten kontrolliert wird?“

IIIb. Abriegelung der Labore: Sicherheit für AGI

Dieser Aufsatz enthält die dringendste Warnung des Buches: Wir sind dabei, AGI durch kriminelle Nachlässigkeit in Sachen Sicherheit an China zu übergeben.

Aktueller Stand: „Zwischen den Laboren gibt es Tausende von Leuten mit Zugang zu den wichtigsten Geheimnissen; es gibt praktisch keine Hintergrundüberprüfungen, Silos, Kontrollen, grundlegende Informationssicherheit usw. Die Dinge werden auf leicht hackbaren SaaS-Diensten gespeichert. Die Leute plauderten auf Partys in San Francisco. Jedem, der alle Geheimnisse im Kopf hat, könnten 100 Millionen Dollar angeboten und er könnte jederzeit von einem chinesischen Labor angeworben werden. Sie können … einfach durch die Bürofenster schauen.“

Worum es geht: „Ein KI-Modell ist nichts weiter als eine große Datei mit Zahlen auf einem Server. Diese kann gestohlen werden. Ein Gegner muss nur diese Datei stehlen, um mit Ihren Billionen von Dollar, Ihren klügsten Köpfen und Ihrer jahrzehntelangen Arbeit mithalten zu können.“

Die Bedrohung ist real: „China betreibt bereits großflächig Industriespionage. Der FBI-Direktor erklärte, die Hackeroperationen der VR China seien größer als die aller großen Nationen zusammen.“ Ein chinesischer Staatsbürger hat bereits KI-Code von Google gestohlen: „Um den Code unbemerkt zu stehlen, musste man ihn lediglich in Apple Notes einfügen und dann als PDF exportieren!“

Das gruseligste Szenario: „Das Szenario, das mir vielleicht am meisten schlaflose Nächte bereitet, ist, wenn es China oder einem anderen Gegner gelingt, die Gewichte der automatisierten KI-Forschermodelle kurz vor einer Intelligenzexplosion zu stehlen.“

Was wird benötigt: „Vollständig abgesicherte Rechenzentren mit einer physischen Sicherheit, die mit den meisten sicheren Militärstützpunkten vergleichbar ist … Das gesamte Forschungspersonal arbeitet von einem SCIF aus … Extreme Personalüberprüfungen und Sicherheitsfreigaben … ständige Überwachung und erheblich eingeschränkte Freiheiten.“

Der Zeitplan ist entscheidend: „Unser heutiges Versagen wird bald unumkehrbar sein: In den nächsten 12 bis 24 Monaten werden wir wichtige AGI-Durchbrüche an die KPCh durchsickern lassen.“

IIIc. Superausrichtung

Dieser Aufsatz befasst sich mit der technischen Herausforderung, KI-Systeme zu steuern, die intelligenter sind als Menschen. Das Kernproblem ist einfach, aber erschreckend: „RLHF wird vorhersehbar zusammenbrechen, wenn KI-Systeme intelligenter werden … Stellen Sie sich beispielsweise ein übermenschliches KI-System vor, das eine Million Zeilen Code in einer neuen, von ihm erfundenen Programmiersprache generiert. Wenn Sie einen menschlichen Prüfer in einem RLHF-Verfahren fragen würden: ‚Enthält dieser Code Sicherheitslücken?‘, wüsste er es einfach nicht.“

Aktuelle KI-Alignment-Techniken funktionieren, weil Menschen die KI überwachen können. Aber „wir stoßen jetzt in der realen Welt auf frühe Versionen des Superalignment-Problems … Die Bezahlung menschlicher Labeler ist in den letzten Jahren von wenigen Dollar für MTurk-Labeler auf etwa 100 Dollar pro Stunde für GPQA-Fragen gestiegen.“

Der standardmäßige Fehlermodus: „Standardmäßig lernt es möglicherweise zu lügen, zu betrügen, zu täuschen, zu hacken, nach Macht zu streben usw. – einfach, weil dies erfolgreiche Strategien sein können, um in der realen Welt Geld zu verdienen!“

Die Explosion der Geheimdienste macht dies „unglaublich haarsträubend“:

• „Wir werden extrem schnell von Systemen, in denen RLHF einwandfrei funktioniert, zu Systemen übergehen, in denen es völlig zusammenbricht.“
• „Wir werden extrem schnell von Systemen, bei denen Ausfälle relativ geringe Risiken bergen, zu Systemen mit extrem hohen Risiken übergehen.“
• „Die Superintelligenz, die wir am Ende erreichen, wird weit übermenschlich sein.“

Die vorgeschlagene Lösung erfordert die Automatisierung der Ausrichtungsforschung: „Wenn es uns gelingt, Systeme mit übermenschlicher Anziehungskraft so weit auszurichten, dass wir ihnen vertrauen, werden wir in einer unglaublichen Position sein: Wir werden Millionen von automatisierten KI-Forschern zur Verfügung haben, die intelligenter sind als die besten KI-Forscher.“

Am besorgniserregendsten: „Wir verlassen uns hier viel zu sehr auf unser Glück … Standardmäßig werden wir wahrscheinlich in die Intelligenzexplosion hineinstolpern und einige OOMs durchmachen müssen, bevor die Leute überhaupt merken, worauf wir uns eingelassen haben.“

IIId. Die freie Welt muss siegen

Dieser Aufsatz untermauert die geopolitischen Argumente anhand historischer Parallelen. Das Beispiel des Golfkriegs ist besonders eindrücklich: „Die Koalition verlor lediglich 292 Panzer, verglichen mit 20.000 bis 50.000 irakischen Toten. Die Koalition verlor lediglich 31 Panzer, während die irakischen Panzer über 3.000 zerstörten.“ Und das bei einem technologischen Unterschied von lediglich 20 bis 30 Jahren.

Mit Superintelligenz: „Innerhalb weniger Jahre wären die Streitkräfte vor der Superintelligenz hoffnungslos unterlegen … Es wäre einfach kein Wettbewerb mehr.“

Chinas Weg in die Konkurrenz ist klar:

1. Chips : „China scheint nun die Fähigkeit bewiesen zu haben, 7-nm-Chips herzustellen … 7 nm sind genug!“
2. Energie : „China hat im letzten Jahrzehnt etwa so viel neue Stromkapazität aufgebaut wie die gesamte US-Kapazität.“
3. Algorithmen : „Wenn wir die Labore nicht sehr bald schließen, erwarte ich, dass China die wichtigsten algorithmischen Zutaten für AGI einfach stehlen kann.“

Die autoritäre Gefahr: „Ein Diktator, der über die Macht einer Superintelligenz verfügt, würde über eine Machtkonzentration verfügen, wie wir sie noch nie erlebt haben … Millionen von KI-gesteuerten Roboter-Polizisten könnten ihre Bevölkerung überwachen; die Massenüberwachung würde auf Hochtouren laufen; diktatortreue KIs könnten jeden Bürger individuell auf abweichende Meinungen prüfen.“

Zur Verbreitung von Atomwaffen: „Vielleicht werden dramatische Fortschritte in der Biologie zu außergewöhnlichen neuen Biowaffen führen … Vielleicht ermöglichen neue Arten von Atomwaffen eine Vergrößerung der Atomwaffenarsenale um ein Vielfaches … Vielleicht könnten Drohnen von der Größe von Mücken, die jeweils ein tödliches Gift tragen, gezielt eingesetzt werden, um jedes Mitglied einer gegnerischen Nation zu töten.“

Die einzige Lösung: „Die Vereinigten Staaten müssen die Führung übernehmen und diese Führung nutzen, um dem Rest der Welt Sicherheitsnormen aufzuerlegen. … Und das Wichtigste ist vielleicht, dass uns ein deutlicher Vorsprung Handlungsspielraum verschafft: die Fähigkeit, Teile dieses Vorsprungs, falls nötig, zu Geld zu machen, um die Sicherheit auf die richtige Weise zu gewährleisten.“

IV. Das Projekt

Dieser Aufsatz prognostiziert die unvermeidliche Übernahme der AGI-Entwicklung durch den Staat. Das Argument ist einfach: „Ich halte es für einen Wahnsinnsvorschlag, dass die US-Regierung einem beliebigen SF-Startup die Entwicklung einer Superintelligenz erlaubt. Stellen Sie sich vor, wir hätten Atombomben entwickelt, indem wir Uber einfach improvisieren ließen.“

Der Auslöser: „Irgendwann um den 26./27. herum wird die Stimmung in Washington düster werden. Die Menschen werden anfangen, instinktiv zu spüren, was passiert; sie werden Angst bekommen … Erst langsam, dann auf einmal wird klar werden: Das passiert.“

Warum es notwendig ist:

• Nationale Sicherheit : „Bis Anfang der 2030er Jahre wird das gesamte US-Arsenal … wahrscheinlich veraltet sein.“
• Befehlskette : „Dies sollte nicht unter dem einseitigen Befehl eines beliebigen CEOs stehen.“
• Sicherheit : „Für ein privates Unternehmen ist es wahrscheinlich unmöglich, eine ausreichend gute Sicherheit zu gewährleisten.“
• Sicherheit : „Das Notwendige wird weniger mit jahrelangen, sorgfältigen Evaluierungen zu tun haben … Es wird eher wie ein Krieg sein.“

Die Form, die es annehmen wird: „Die Beziehung zum Verteidigungsministerium könnte der Beziehung des Verteidigungsministeriums zu Boeing oder Lockheed Martin ähneln … Westliche Labore könnten mehr oder weniger ‚freiwillig‘ zustimmen, sich an den nationalen Bemühungen zu beteiligen.“

Historische Parallele: „Nach Einsteins Brief an den Präsidenten im Jahr 1939 … wurde ein Beratungsausschuss für Uran eingerichtet. Doch die Beamten waren inkompetent und zunächst geschah nicht viel … Szilard glaubte, dass das Projekt durch die Kurzsichtigkeit und Trägheit der Behörden um mindestens ein Jahr verzögert wurde.“

Das Endspiel: „Bis zum 27./28. wird das Endspiel eröffnet sein. Bis zum 28./29. wird die Intelligenzexplosion im Gange sein; bis 2030 werden wir die Superintelligenz mit all ihrer Macht und Kraft heraufbeschworen haben.“

V. Abschiedsgedanken

Der abschließende Essay schlägt einen persönlichen, fast traurigen Ton an. Aschenbrenner stellt sein Konzept des „AGI-Realismus“ anhand von drei Kernprinzipien vor:

1. „Superintelligenz ist eine Frage der nationalen Sicherheit“
2. „Amerika muss führen“
3. „Wir dürfen es nicht vermasseln“

Die Tragweite dieser Erkenntnis: „Vor ein paar Jahren habe ich diese Ideen zumindest für mich ernst genommen – aber sie waren abstrakt, in Modellen und Wahrscheinlichkeitsschätzungen isoliert. Jetzt fühlt es sich extrem greifbar an. Ich kann es sehen. Ich kann sehen, wie AGI aufgebaut wird.“

Am ernüchterndsten: „Die erschreckendste Erkenntnis ist, dass kein Eliteteam kommt, um sich darum zu kümmern. Als Kind hat man diese glorreiche Weltsicht: Wenn es ernst wird, gibt es die heldenhaften Wissenschaftler, die überkompetenten Militärs, die ruhigen Anführer, die zur Stelle sind und die Situation retten. Dem ist nicht so.“

Der letzte Realitätscheck: „Im Moment gibt es vielleicht ein paar hundert Menschen auf der Welt, die wissen, was auf uns zukommt, die verstehen, wie verrückt die Dinge werden, die ein Situationsbewusstsein haben … Die wenigen Leute hinter den Kulissen, die verzweifelt versuchen, zu verhindern, dass die Dinge auseinanderfallen, sind Sie und Ihre Kumpels und deren Kumpels. Das ist alles. Das ist alles, was es gibt.“

Sein Schlusswort: „Das sind großartige und ehrenwerte Menschen. Aber sie sind auch nur Menschen. Bald werden die KIs die Welt regieren, aber uns steht ein letztes Rodeo bevor. Möge ihre letzte Führung der Menschheit Ehre bringen.“

Ähnliche Ideen

Sam Altman zu den AGI-Zeitplänen : „Jedes Jahr, in dem wir der AGI näher kommen, wird jeder um 10 verrückte Punkte zulegen.“ Dies zeigt, wie sich der Diskurs mit der Verbesserung der Fähigkeiten dramatisch verändern wird.

Ilya Sutskevers vorausschauende Beobachtung aus dem Jahr 2015 : „Die Modelle wollen einfach nur lernen. Das muss man verstehen. Die Modelle wollen einfach nur lernen.“ Dies bringt die unerbittliche Kraft zum Ausdruck, die den Fortschritt vorantreibt – es ist keine Wahl, es ist fast schon Physik.

Jensen Huang zur KI-Infrastruktur : Der CEO von NVIDIA hat sich genau auf dieses Szenario vorbereitet. Die Unternehmensbewertung spiegelt die Billionen an Computern wider, die gekauft werden. Sein Motto „Je mehr man kauft, desto mehr spart man“ bringt die Wirtschaftlichkeit dieses Wettrennens perfekt auf den Punkt.

Demis Hassabis zur KI-Sicherheit : Der CEO von DeepMind argumentiert seit langem, dass wir die Ausrichtung vor dem Erreichen der AGI lösen müssen, nicht danach – ein Wettlauf gegen die Zeit, den wir laut Aschenbrenner verlieren.

Dario Amodei zur Datenmauer : Der CEO von Anthropic sagte kürzlich: „Wenn man es ganz naiv betrachtet, sind wir nicht weit davon entfernt, dass uns die Daten ausgehen … Ich schätze, das wird kein Hindernis sein … Es gibt einfach viele verschiedene Möglichkeiten, es zu erreichen.“ Dies deckt sich mit Aschenbrenners Ansicht, dass die Datenmauer überwindbar sei.

Natürliche nächste Lesevorgänge

• Das Ausrichtungsproblem  von Brian Christian: Detaillierter Einblick in die Gründe, warum die Steuerung von KI-Systemen technisch so schwierig ist
• Superintelligenz  von Nick Bostrom: Die philosophische Begründung, warum KI ein existenzielles Risiko darstellen könnte
• Die Herstellung der Atombombe  von Richard Rhodes: Historische Parallele zur Reaktion von Regierungen auf transformative Technologien
• Chip War  von Chris Miller: Verständnis der Halbleiter-Lieferkette, die die KI-Entwicklung einschränkt
• The Age of Em  von Robin Hanson: Alternative Vision, wie KI die Wirtschaft verändern könnte

Reflexionsfragen

1. Wenn AGI im Jahr 2027 auf den Markt kommt, welche Fähigkeiten und Kenntnisse werden dann in einer Welt, in der Maschinen jede kognitive Aufgabe besser erledigen können als Menschen, noch wertvoll sein?
2. Wie würde sich Ihre Anlagestrategie ändern, wenn Sie glauben würden, dass bis 2027 eine 50-prozentige Chance auf AGI besteht?
3. Welche Sicherheitsvorkehrungen müssten getroffen werden, damit Sie sich mit KI-Systemen, die intelligenter sind als Menschen, wohlfühlen?
4. Würde die KI-Entwicklung durch die US-Regierung morgen sicherer oder gefährlicher werden?
5. Was würden Sie in den nächsten drei Jahren anders machen, wenn Sie wirklich glauben würden, dass es bis 2030 eine Superintelligenz geben wird?

Praktische Anwendungen

Für Gründer

• Strategische Planung:  Gehen Sie davon aus, dass jede kognitive Arbeit bis 2027 automatisierbar sein wird – bauen Sie Unternehmen auf, die von diesem Übergang profitieren
• Sicherheitsinfrastruktur:  Implementieren Sie jetzt Sicherheitspraktiken, die davon ausgehen, dass staatliche Gegner versuchen, Ihr geistiges Eigentum zu stehlen.
• Talentstrategie:  Stellen Sie Mitarbeiter ein, die Urteilsvermögen und Entscheidungskompetenz besitzen, statt rein technische Fähigkeiten, die automatisiert werden.
• Ausstiegszeitplan:  Bedenken Sie, dass traditionelle Ausstiegszeitpläne für Risikokapital möglicherweise nicht anwendbar sind – die gesamte Wirtschaft könnte sich vor Ablauf des typischen 7- bis 10-jährigen Fondslebenszyklus verändern

Für Investoren

• Portfolioaufbau:  Starke Gewichtung auf Unternehmen, die KI-Infrastruktur (Chips, Stromversorgung, Rechenzentren) aufbauen, statt auf KI-Anwendungen
• Due Diligence:  Bewerten Sie KI-Unternehmen anhand ihres Zugangs zu Computer- und Algorithmus-Talenten, nicht anhand der aktuellen Modellleistung
• Risikobewertung:  Betrachten Sie das geopolitische Risiko als primäres Risiko – der Wert eines Unternehmens könnte auf Null sinken, wenn seine Gewichte von Gegnern gestohlen werden
• Zeithorizonte:  Traditionelle DCF-Modelle scheitern, wenn das Wirtschaftswachstum bis 2030 bei 30 % pro Jahr liegen könnte

Das Fazit

Wir stehen an der Schwelle zum wichtigsten Moment der Menschheitsgeschichte. Bis 2027 werden wir Köpfe geschaffen haben, die unseren ebenbürtig sind; bis 2030 werden sie sie weit übertreffen. Die Unternehmen, die diese Technologie entwickeln, sind kaum besser geschützt als ein beliebiges Startup, während China zusieht und darauf wartet, die Ergebnisse zu stehlen. Wenn wir nicht sofort die Ernsthaftigkeit des Manhattan-Projekts erreichen – die Labore abriegeln, ein Regierungsprojekt vorbereiten und die amerikanische Führung aufrechterhalten –, riskieren wir, die absolute Macht an autoritäre Regime abzugeben oder die Kontrolle vollständig an außerirdische Intelligenzen zu verlieren, die wir zwar erschaffen, aber nicht verstehen können. Die paar hundert Menschen mit Situationsbewusstsein reichen nicht aus; wir brauchen um ein Vielfaches mehr Talent, Ressourcen und vor allem Ernsthaftigkeit bei dem, was wir aufbauen, bevor es zu spät ist.

 

Sehen Sie sich die neuesten Beteiligungen und Transaktionen für den öffentlichen Aktienfonds von Situational Awareness an:
Situationsbewusstsein – Daniel Scrivner. Lernen Sie von den größten Unternehmern und Investoren der Geschichte. Finden Sie Ideen, die Sie in Ihrer Arbeit nutzen können.
Daniel Scrivner

---

Quellen

Leopold Aschenbrenners Werk

Essays zum Thema Situationsbewusstsein

• Vollständige Essay-Reihe  – Das vollständige Manifest „Situational Awareness: The Decade Ahead“
• PDF-Version  – 165 Seiten umfassende herunterladbare Version
• I. Von GPT-4 zu AGI: Zählen der OOMs
• II. Von der künstlichen Intelligenz zur Superintelligenz: die Intelligenzexplosion
• III. Wettlauf zum Billionen-Dollar-Cluster
• IIIb. Abriegelung der Labore: Sicherheit für AGI
• IIIc. Superausrichtung
• IIId. Die freie Welt muss siegen
• IV. Das Projekt
• V. Abschiedsgedanken

Leopolds Fonds und persönliche Site

• Situational Awareness LP  – Offizielle Hedgefonds-Website
• Über Leopold  – Offizielle Biografie und Hintergrund
• Für unsere Nachwelt  – Leopolds persönlicher Blog
• Wikipedia-Eintrag  – Umfassende biografische Informationen

Das Dwarkesh Patel-Interview

Hauptinterview

• Vollständiges Transkript und Video  – 4,5-stündiges umfassendes Interview
• YouTube-Version
• Apple Podcasts
• Spotify

Investitionen und Reaktionen aus dem Silicon Valley

Fondsauflegung und -unterstützung

• PYMNTS: Ehemaliges OpenAI-Wunderkind macht aus 1,5 Milliarden Dollar schwerem Hedgefonds eine KI-Wette  – Details zur Investition der Collison-Brüder
• WhaleWisdom: Situational Awareness LP Holdings  – SEC-Anmeldungen und Beteiligungen des Fonds
• Stanford Digital Economy Lab Talk  – Leopolds Präsentation im September 2024

Tyler Cowen-Verbindung

• Marginal Revolution: Leopold über AGI und Sicherheit  – Tyler Cowens Unterstützung
• Leopolds Antwort an Tyler Cowen zum Thema KI-Risiken  – Direkte Auseinandersetzung mit Cowens Ansichten

OpenAI-Abgang und Sicherheitsbedenken

Aktuelle Nachrichten

• Die Information: OpenAI-Forscher wegen angeblicher Informationslecks entlassen  – Originalbericht vom April 2024
• Transformer: OpenAI-Mitarbeiter sagt, er sei entlassen worden, weil er Sicherheitsbedenken geäußert habe  – Leopolds Seite der Geschichte
• Decrypt: Ehemaliger OpenAI-Sicherheitsforscher sagt: „Sicherheit hatte keine Priorität“  – Detaillierte Sicherheitsvorwürfe

Analyse & Kommentar

• Zvi Mowshowitz: OpenAI Nr. 8: Das Recht zu warnen  – Detaillierte Untersuchung der Entlassungsumstände
• Techmeme Roundup  – Aggregierte Reaktionen aus der Tech-Community