Thorsten Holz zu den jüngsten Warnungen vor Risiken durch künstliche Intelligenz und den Möglichkeiten, sie zu kontrollieren
Immer wieder warnen Fachleute vor der Bedrohung durch künstliche Intelligenz, teils mit drastischen Szenarien. So kündigte Jacob Coxon kürzlich als Wissenschaftler bei Anthropic, einem der führenden US-KI-Unternehmen, und bezifferte die Wahrscheinlichkeit, dass KI die Menschheit in den kommenden zehn Jahren auslösche, öffentlich mit zehn Prozent. Führende Vertreter der Branche fordern inzwischen selbst eine Verlangsamung und Regulierung der KI-Entwicklung. Thorsten Holz, Direktor am Max-Planck-Institut für Sicherheit und Privatsphäre, ordnet die Mahnungen ein, erläutert die Risiken von künstlicher Intelligenz und wie diese kontrolliert werden können.
© Quang Duc Tran
Professor Holz, wie ernst müssen wir die Warnung von Jacob Coxon vor der Auslöschung der Menschheit durch KI nehmen?
Ich bin der Meinung, dass es nicht zielführend ist, die Gefahr entweder als unmittelbar bevorstehendes Ende der Menschheit darzustellen oder sie als reine Panikmache abzutun. Derzeit liegen keine belastbaren wissenschaftlichen Erkenntnisse vor, die die Behauptung stützen, dass KI in den kommenden Jahren zur Auslöschung der Menschheit führen könnte. Daher ist es nicht möglich, eine verlässliche Prognose zu erstellen. Zahlen wie zehn oder zwanzig Prozent sind subjektive Risikoeinschätzungen und keine empirisch bestimmbaren Wahrscheinlichkeiten. Die Gründe, sehr leistungsfähige KI-Systeme als Sicherheitsrisiko ernst zu nehmen, haben sich im vergangenen Jahr aber deutlich verstärkt. Es gibt inzwischen KI-Agenten, die über längere Zeiträume selbstständig handeln, Werkzeuge bedienen, Software entwickeln und Schwachstellen finden oder ausnutzen. Inzwischen gibt es reale Fälle, in denen solche Systeme Sicherheitsgrenzen überschritten haben und damit sind hypothetische Szenarien Realität geworden. Ich nehme die Warnung von Coxon deshalb nicht wegen seiner früheren Tätigkeit bei Anthropic und OpenAI ernst, sondern weil sie mit beobachtbaren Entwicklungen zusammenfällt: Die Fähigkeiten und die Autonomie der Systeme steigen rasant an, während unsere Möglichkeiten, ihr Verhalten vorherzusagen und einzugrenzen, nicht Schritt halten. Es ist bemerkenswert, dass diese Diskrepanz mittlerweile auch von den Firmen selbst benannt wird: sowohl Anthropic als auch OpenAI vertreten inzwischen öffentlich die Position, dass die Entwicklung der KI-Systeme gegebenenfalls verlangsamt werden muss, wenn Alignment, Monitoring und technische Sicherheitsmaßnahmen nicht mit deren Fähigkeiten Schritt halten. Das sagt etwas über die Ernsthaftigkeit des Sicherheitsproblems aus, aber nicht über den Zeithorizont.
Welche konkreten Risiken gehen von KI-Systemen aus?
Kurz- und mittelfristig sehe ich in der missbräuchlichen Nutzung leistungsfähiger KI konkrete Gefahren, beispielsweise in Form von Cyberangriffen, riskanter biologischer Forschung oder dem Fehlverhalten zunehmend autonomer Systeme. Ein extremer Kontrollverlust wäre dennoch ein Ereignis mit enormen Folgen. Die Tatsache, dass wir seine Wahrscheinlichkeit nicht quantifizieren können, ist kein Grund, die Gefahr zu ignorieren.
Chancen und Risiken von ChatGPT-5.5, GPT-5.6 und Claude Mythos für die IT-Sicherheit und wie sich Unternehmen, Behörden oder Privatpersonen schützen können
Wie lassen sich die Risiken durch KI kontrollieren?
Bei leistungsfähigen KI-Systemen sollten wir stärker nach den Prinzipien der klassischen Sicherheitsforschung vorgehen. Wir sollten nicht darauf vertrauen, dass ein Modell aufgrund seines Trainings oder eines System-Prompts unter allen Umständen das gewünschte Verhalten zeigt. Im Bereich der IT-Sicherheit verlassen wir uns nicht darauf, dass sich eine Komponente immer richtig verhält, nur weil sie richtig gebaut wurde. Das heißt übertragen: KI-Agenten sollten nur die Rechte und Zugriffsmöglichkeiten erhalten, die sie für die Erbringung ihrer Aufgaben tatsächlich benötigen. Sie bleiben von kritischen Systemen isoliert, was die Sicherheit und Zuverlässigkeit der Systeme erhöht. Sicherheitsrelevante Aktionen müssen überwacht, nachvollziehbar und gegebenenfalls unterbrechbar sein. Darüber hinaus sind unabhängige Evaluationen, systematische Sicherheitstests und ein Verfahren zur unabhängigen Untersuchung schwerwiegender Zwischenfälle erforderlich. Wir brauchen überprüfbare Standards und unabhängige Institutionen, die die Fähigkeiten und Risiken messen sowie die Wirksamkeit von Schutzmaßnahmen kontrollieren können. Bei den leistungsfähigsten Systemen wird das ohne internationale Kooperation nicht funktionieren. Wenn Unternehmen oder Staaten aus Wettbewerbsgründen davon ausgehen, dass sie möglichst schnell immer leistungsfähigere Systeme entwickeln müssen, entsteht ein klassisches Sicherheitsdilemma. Aus diesem Grund sind für die leistungsfähigsten Systeme internationale Standards, Transparenz und überprüfbare Kooperationsformen erforderlich.
Dario Amodei, CEO von Anthropic, hat nun selbst eine Verlangsamung und Regulierung der KI-Entwicklung gefordert, Sam Altman, CEO von OpenAI und Elon Musk, Chef von xAI, haben sich dem angeschlossen. Wie bewerten Sie den Vorstoß?
Die Vorschläge gehen in eine gute Richtung. Sie sehen zum einen eine unabhängige Verifikation vor, dass also externe Expertinnen und Experten in die Firmen gehen und eine Evaluierung durchführen können. Zum anderen sehen sie generell mehr Kontrolle vor. Ich denke, es ist auch richtig, dass der Vorschlag von den Firmen selbst kommt. Aber es bleibt natürlich die Frage, was daraus konkret folgt. Bisher sind das Absichtserklärungen, und solche ähnlichen Absichtserklärungen gab es in der Vergangenheit auch immer wieder mal. Soweit ich weiß, haben die Unternehmen konkret noch nichts geändert worden.
Donald Trump hat eine Regulierung bereits abgelehnt. Wenn es keine staatliche Regulierung gibt, welche Möglichkeiten bleiben dann?
Dann bliebe als einziger Weg eine Selbstverpflichtungserklärung der Industrie. Die Frage ist nur, welche der beiden Firmen Anthropic und OpenAI etwas unternimmt, weil beide vor milliardenschweren Börsengängen stehen. Wer da jetzt bremst, wird aus betriebswirtschaftlicher Sicht benachteiligt. Insofern wäre es am besten, wenn es eine staatliche Regierung gäbe, damit alle die gleichen Regeln haben. Gleichzeitig haben natürlich die chinesischen Firmen einen Vorteil, wenn nur die US-Unternehmen reguliert werden. Deshalb sollte man das Ganze auch vor dem Hintergrund des Treffens von Trump und Xi Jinping am 24. September sehen. Da soll es auch um Regulierung, Zugriff auf leistungsfähige Hardware und ähnliche Themen gehen. Eigentlich sind internationale Regeln der einzige Ausweg. Da Trump eine Regulierung offenbar ablehnt, bleibt eine Selbstverpflichtung zur unabhängigen Evaluierung. Dann bräuchten die Unternehmen nur externen Organisationen Zugriff auf die Modelle zu geben und müssten ihnen ermöglichen, unabhängige Tests durchzuführen. Das kann man wahrscheinlich auch umsetzen, ohne dass es zu einer deutlichen Verlangsamung führt oder sehr hohe Kosten verursacht.
Was sind KI-Agenten, und sind sie gefährlich?
Autonome KI-Agenten bieten enormen Nutzen, bergen aber auch große Risiken. Das Video zeigt, wie diese Systeme manipuliert werden können und wie automatisierte Bot-Netzwerke unsere Wahrnehmung der Realität sowie die öffentliche Meinung beeinflussen können.
Welchen Beitrag kann die Wissenschaft zur Evaluierung und Kontrolle von KI-Systemen leisten?
Wir sollten uns auf wissenschaftlich überprüfbare Fragen konzentrieren: Welche Fähigkeiten haben diese Systeme tatsächlich? Unter welchen Bedingungen versagen Kontrollmechanismen? Wie lassen sich solche Systeme technisch eingrenzen? Und wie können wir unabhängig überprüfen, dass die zugesagten Sicherheitsmaßnahmen wirklich greifen? So können wir dazu beitragen, dem sehr ernst zu nehmenden Sicherheitsproblem bei der KI-Entwicklung zu begegnen.
Das Interview führte Peter Hergersberg.