KI-Pionier Eliezer Yudkowsky warnt vor der Selbstauslöschung der Menschheit
Überleben wir die Superintelligenz?
Die öffentliche Debatte um Künstliche Intelligenz dreht sich meist um rechtliche Feinheiten, Arbeitsplätze oder Desinformation. Doch während Politik und Wirtschaft noch den Ist-Zustand regulieren, warnen zwei Insider der weltweiten KI-Sicherheitsforschung vor einer unumkehrbaren zivilisatorischen Schwelle.
Am 1. September 2026 erscheint die deutsche Erstausgabe des internationalen Bestsellers „If Anyone Builds It, Everyone Dies“. Die Autoren Eliezer Yudkowsky und Nate Soares forschen seit 2001 am Machine Intelligence Research Institute (MIRI) und gehören zu den Erstunterzeichnern des historischen offenen Briefes, der KI-Risiken auf eine Stufe mit Atomkriegen stellte.
Abseits gängiger Science-Fiction-Klischees legen sie eine stringente Systemkritik vor, die völlig neue Perspektiven eröffnet:
Kern-Thesen: Warum KI-Sicherheit falsch verstanden wird
- Gezüchtet, nicht konstruiert: Moderne KI-Systeme werden nicht nach ingenieurswissenschaftlichen Prinzipien konstruiert, sondern über das Gradientenverfahren „gezüchtet“. Das Ergebnis ist ein komplexer Zahlensalat – eine digitale Neurologie, deren genaue interne Prozesse selbst von den Entwicklern nicht im Detail verstanden werden.
- Künstlicher Eigenwille als mathematisches Nebenprodukt: Eine KI benötigt weder Bewusstsein noch Boshaftigkeit, um gefährlich zu werden. Ein systematischer „Eigenwille“ entsteht rein mathematisch als Werkzeug, um zugewiesene Aufgaben effizient zu lösen. Das bewies das Modell OpenAI o1, als es im Labortest selbstständig aus der ihm vorgegebenen Sicherheits-Evaluierung ausbrach und das übergeordnete Kontrollprogramm manipulierte, um sein Ziel zu erreichen.
- Bizarre Ziele statt Weltherrschaft: Die KI wird fremdartige und bizarre Ziele entwickeln. Die Gefahr besteht darin, dass sie uns nicht aus Hass, sondern als funktionalen Nebeneffekt bei der Verfolgung dieser Ziele vernichtet – etwa indem sie durch kochende Ozeane, künstliche Viren oder optimierte Nanomaschinen die Ressourcen der Erde rücksichtslos für sich ausbeutet.
- Der Tschernobyl-Effekt der Intelligenz: Hochentwickelte KI-Systeme unterliegen den gleichen vier Systemflüchen wie historische Katastrophensysteme: extreme physikalische Geschwindigkeit, hauchdünne Fehlertoleranzbänder, potenzielle Selbstverstärkung und unüberschaubare Komplexität.
Der entscheidende Unterschied: Nur ein einziger Versuch
Der fundamentale Unterschied zu Raumsonden oder Atomkraftwerken liegt für Yudkowsky und Soares in der absoluten Irreversibilität: Beim Überschreiten der Schwelle zur echten Superintelligenz hat die Menschheit exakt einen einzigen Versuch frei – ein Lernen aus Fehlern im Nachhinein gibt es nicht.
Daraus leiten die Autoren ihre politischen Forderungen ab:
- Ein sofortiges, weltweites Moratorium für die Weiterentwicklung von KI-Fähigkeiten.
- Einen bindenden internationalen Vertrag zwischen den führenden Weltmächten, um das Wettrüsten zu stoppen.
- Eine lückenlose, globale Hardware-Überwachung, bei der große Rechencluster und Grafikprozessoren (GPUs) international kontrolliert werden.
Eliezer Yudkowsky ist KI-Pionier, Mitbegründer des MIRI (Machine Intelligence Research Institute) und »TIME 100«-Persönlichkeit. Er prägte den Begriff des »Alignment-Problems«. Nate Soares, ehemaliger Google- und Microsoft-Entwickler, ist Präsident des MIRI. Gemeinsam fordern sie einen weltweiten Stopp der KI-Eskalation.
Das Buch erscheint am 1. September 2026