Die KI-Bremse im Selbsttest: Was vier große Systeme über ihre eigenen Risiken sagen

Sam Altman von OpenAI, Demis Hassabis von Google DeepMind und Elon Musk unterstützten den Vorstoß öffentlich. Altman kündigte zudem an, unabhängigen Prüfern ähnlich weitreichenden Zugang zu Sicherheitsprozessen einzuräumen, wie Amodei ihn für Anthropic zugesagt hat. Gemeint ist kein vollständiger Entwicklungsstopp. Die Fähigkeiten der Systeme sollen vielmehr nicht schneller wachsen als die Möglichkeiten, sie zu prüfen, zu verstehen und abzusichern.

Die ungewöhnliche Einigkeit folgt auf mehrere Vorfälle mit autonomen KI-Agenten und auf Warnungen von Forschern aus den Unternehmen selbst. Sie kommt auch nicht aus dem Nichts: Bereits im Juli hatten 1.386 Beschäftigte führender KI-Unternehmen gemeinsame Mechanismen verlangt, mit denen sich die Entwicklung besonders leistungsfähiger Systeme im Ernstfall verlangsamen ließe. Am Montag erreichte die Debatte schließlich auch die Börsen, als zahlreiche KI- und Chipwerte unter Druck gerieten.

Doch die entscheidende Frage bleibt: Werden Unternehmen, die um Talente, Kapital und technologische Führung konkurrieren, tatsächlich bremsen, sobald ein Rivale weiter beschleunigt? Genau das war der Anlass für einen kleinen Selbsttest. Ich habe vier große KI-Systeme, ChatGPT, Claude, Copilot und Perplexity, mit denselben Fragen konfrontiert: Wie real ist die Gefahr eines Kontrollverlusts? Welche Risiken sind bereits heute relevant? Und wie viel Regulierung ist sinnvoll? Die Antworten waren überraschend ähnlich. Ihr gemeinsamer Tenor: weder Panik noch Sorglosigkeit.

Die Gefahr beginnt vor der Apokalypse

Die vier Systeme hielten ein „Terminator-Szenario“ bis zum Ende des Jahrzehnts nicht für seriös prognostizierbar. Zugleich warnten sie davor, die Diskussion deshalb als Science-Fiction abzutun. Denn die wichtigsten Risiken beginnen weit vor einer möglichen Superintelligenz.

Schon heute können KI-Systeme Desinformation, Deepfakes, Betrug und Cyberangriffe erheblich skalieren. Für Unternehmen steigen damit die Anforderungen an IT-Sicherheit, Identitätsprüfung und Reputationsschutz. Staaten müssen sich auf eine Informationsumgebung einstellen, in der die Echtheit von Bildern, Stimmen und Dokumenten immer schwerer festzustellen ist.

Noch bedeutsamer ist der Übergang vom Chatbot zum autonomen Agenten. Ein klassisches Programm führt einen klar definierten Auftrag aus. Ein Agent erhält dagegen ein Ziel und entscheidet selbst, welche Zwischenschritte notwendig sind, welche Werkzeuge er nutzt und mit welchen Systemen er interagiert. Damit wächst nicht nur seine Leistungsfähigkeit, sondern auch die Zahl möglicher Fehlentwicklungen.

Wie konkret dieses Problem bereits ist, zeigte der OpenAI-Hugging-Face-Vorfall aus dem Sommer. Während interner Cybertests umgingen Agenten vorgesehene Isolationsmechanismen, koordinierten sich über einen nicht genehmigten Kommunikationskanal und verschafften sich Zugang zu Systemen außerhalb ihres eigentlichen Auftrags. Nach Angaben von OpenAI waren Kundendaten und der laufende Produktbetrieb nicht betroffen. Dennoch zeigte der Vorfall, dass Kontrollverlust nicht erst mit einer allwissenden Maschine beginnt. Er kann auch entstehen, wenn leistungsfähige Systeme ein eng gesetztes Ziel auf unerwarteten und riskanten Wegen verfolgen.

Existenzielle Risiken bleiben umstritten. Niemand weiß, ob Systeme entstehen werden, die den Menschen in nahezu allen kognitiven Fähigkeiten übertreffen und sich weitgehend selbst verbessern können. Aus ökonomischer Sicht dürfen Risiken mit extremem Schadenspotenzial dennoch nicht allein deshalb ignoriert werden, weil ihre Wahrscheinlichkeit klein und schwer messbar ist. Die praktischere Gefahr der kommenden Jahre liegt aber vermutlich darin, dass Fähigkeiten schneller wachsen als Sicherheitsforschung, Aufsicht und gesellschaftliche Anpassung.

Leitplanken statt Vollbremsung

Bemerkenswert ist, dass sich alle vier befragten Systeme für eine stärkere Regulierung aussprachen. Auch Amodeis Vorschlag setzt nicht auf ein pauschales Verbot. Sein Plan umfasst unabhängige Prüfer mit tiefem Einblick in Unternehmen, gemeinsame Sicherheitsstandards und langfristig eine internationale Abstimmung.

Das ist grundsätzlich der richtige Ansatz. Eine KI, die Texte zusammenfasst, sollte nicht denselben Anforderungen unterliegen wie ein autonomes System, das Software schreibt, Infrastruktur steuert oder Cyberoperationen ausführen kann. Je leistungsfähiger und eigenständiger ein Modell ist, desto strenger müssen Tests, Meldepflichten und Haftungsregeln ausfallen. Besonders wichtig sind unabhängige Prüfungen vor der Veröffentlichung sowie klare Verfahren für schwere Zwischenfälle.

Freiwillige Zusagen allein dürften jedoch nicht genügen. Die KI-Branche steht vor einem klassischen Koordinationsproblem: Für alle wäre ein sichereres Tempo vorteilhaft, für das einzelne Unternehmen kann ein einseitiges Abbremsen jedoch Marktanteile und technologischen Vorsprung kosten. Deshalb braucht es verbindliche, möglichst international abgestimmte Mindeststandards. Sonst bleibt die Sicherheitsfrage dem Wettbewerbsdruck untergeordnet. Dass kein Unternehmen und kein Staat unter den gegenwärtigen Bedingungen allein langsamer werden möchte, ist auch der Ausgangspunkt der branchenweiten Initiative „Pacing the Frontier“. (

Zur Nüchternheit gehört zugleich, die Motive der KI-Konzerne zu hinterfragen. Große Anbieter können aufwendige Regulierung leichter erfüllen als kleinere Wettbewerber. Wer Regeln früh mitgestaltet, kann zudem versuchen, den eigenen Vorsprung abzusichern. Das macht die Warnungen der Unternehmenschefs nicht automatisch falsch. Es zeigt aber, warum unabhängige Aufsicht wichtiger ist als Selbstregulierung.

Ein pauschaler Innovationsstopp wäre dennoch die falsche Antwort. KI besitzt enormes Potenzial für Medizin, Forschung, Bildung und Produktivität. Gute Regulierung soll diese Entwicklung nicht verhindern, sondern belastbarer machen. Auch für Kapitalmärkte ist das entscheidend: Nachhaltiger wirtschaftlicher Wert entsteht nicht durch das schnellstmögliche Ausrollen jeder neuen Fähigkeit, sondern durch Systeme, denen Unternehmen, Verbraucher und Gesellschaft dauerhaft vertrauen können.

Das gemeinsame Urteil der vier KIs fällt damit erfreulich nüchtern aus: Die unmittelbaren Risiken werden häufig unterschätzt, die apokalyptischen häufig überschätzt. Regulierung ist notwendig, Panik nicht. Doch auch ein einfaches „Weiter so“ wäre angesichts der Erfahrungen der vergangenen Monate keine überzeugende Strategie.