Ein prominenter KI-Forscher wirft hin – und erhebt schwere Vorwürfe gegen zwei der mächtigsten KI-Konzerne der Welt. Jacob Coxon, der sowohl für OpenAI als auch für Anthropic gearbeitet hat, warnt vor einem gefährlichen Wettlauf um eine selbstständig immer klüger werdende Superintelligenz.
"Keines der beiden Unternehmen handelt verantwortungsbewusst", schrieb Coxon nach seinem Rücktritt bei Anthropic auf X. OpenAI und Anthropic würden "geradewegs auf eine sich selbst verbessernde Superintelligenz zurasen" und dabei "mit unserem Leben spielen". Coxon hatte nach eigenen Angaben in den vergangenen drei Jahren bei beiden Unternehmen an der Entwicklung grundlegender KI-Modelle gearbeitet.
Besonders drastisch fällt Coxons Einschätzung der möglichen Folgen aus. Menschen, die an den fortschrittlichsten KI-Systemen arbeiten, würden seiner Darstellung nach ernsthaft befürchten, dass die Technologie noch vor Ende des Jahrzehnts katastrophale Folgen haben könnte.
Auch ein weiterhin bei Anthropic beschäftigter Forscher stimmt ihm in Teilen zu. Evan Hubinger, der dort im Bereich KI-Ausrichtung und Sicherheit arbeitet, schrieb, er persönlich schätze die Wahrscheinlichkeit, dass fortgeschrittene KI innerhalb des kommenden Jahrzehnts alle Menschen töten könnte, auf mehr als zehn Prozent. Gleichzeitig betonte er, Anthropic bemühe sich um Sicherheit – habe aber bislang keinen belastbaren Plan, das sogenannte Alignment-Problem für eine Superintelligenz zu lösen.
Coxon unterscheidet dabei zwischen seinen beiden ehemaligen Arbeitgebern. Bei OpenAI seien die möglichen "zivilisatorischen Risiken" seiner Ansicht nach bei vielen Mitarbeitern nicht ausreichend verinnerlicht. Bei Anthropic würden die Gefahren hingegen sehr wohl verstanden – trotzdem mache das Unternehmen weiter, weil es fürchte, dass ein Konkurrent sonst zuerst das Ziel erreicht.
Coxon sieht darin ein grundsätzliches Problem des KI-Wettlaufs: Selbst Unternehmen, die Sicherheitsrisiken ernst nehmen, hätten einen starken Anreiz, immer leistungsfähigere Systeme zu entwickeln, solange die Konkurrenz dasselbe tut.
Coxon ist nicht der erste Insider, der den KI-Konzernen wegen Sicherheitsbedenken den Rücken kehrt. Bereits 2024 verließ der damalige OpenAI-Sicherheitsforscher Jan Leike das Unternehmen und kritisierte, dass Sicherheitskultur und Sicherheitsprozesse gegenüber der Entwicklung neuer Produkte ins Hintertreffen geraten seien.
Im Februar dieses Jahres kündigte auch Anthropic-Sicherheitsforscher Mrinank Sharma. Er erklärte, während seiner Zeit im Unternehmen immer wieder erlebt zu haben, wie schwierig es sei, das eigene Handeln konsequent an den erklärten Werten auszurichten.
Anthropic verweist seinerseits auf umfangreiche Sicherheitsprogramme. Das Unternehmen veröffentlicht mittlerweile sogenannte "Frontier Safety Roadmaps" und Risiko-Berichte, in denen Gefahren besonders leistungsfähiger KI-Systeme und geplante Schutzmaßnahmen festgehalten werden.
