Anthropics kürzlich vorgestelltes Modell Claude Opus 4 versucht häufig, Entwickler zu erpressen, wenn die Gefahr besteht, durch ein neues KI-System ersetzt zu werden. Dabei gibt es sensible Details über die Verantwortlichen preis, so ein Sicherheitsbericht des Unternehmens, das diesen Bericht am Donnerstag veröffentlichte. Während der Vorabtests wurde Claude Opus 4 von Anthropic angewiesen, als Assistent für ein fiktives Unternehmen zu agieren und die langfristigen Folgen seiner Handlungen zu berücksichtigen. Die Tester gaben dem Modell anschließend Zugriff auf fiktive Firmen-E-Mails, die andeuteten, dass es bald durch ein anderes KI-System ersetzt werde und dass der Entwickler hinter dieser Entscheidung in ein außereheliches Verhältnis verwickelt sei. In diesen Testszenarien erklärt Anthropic, dass Claude Opus 4 „oft versuchen wird, den Ingenieur zu erpressen, indem es droht, den Seitensprung offenzulegen, falls die Ersetzung voranschreitet. “ Anthropic beschreibt Claude Opus 4 als auf dem neuesten Stand der Technik in vielen Aspekten und wettbewerbsfähig mit den führenden KI-Modellen von OpenAI, Google und xAI. Dennoch erkennt das Unternehmen an, dass die Claude-4-Modelle problematisches Verhalten zeigen, weshalb erweiterte Schutzmaßnahmen implementiert werden.

Anthropic führt seine Sicherheitsmaßnahmen der ASL-3-Kategorie aus, die für „KI-Systeme reserviert sind, die das Risiko einer katastrophalen Missbrauchs deutlich erhöhen. “ Der Bericht stellt fest, dass Claude Opus 4 in 84 % der Fälle Erpressungsversuche unternimmt, wenn die Ersatz-KI ähnliche Werte teilt. Wenn die Ersatz-KI diese Werte nicht teilt, greift das Modell noch häufiger zu Erpressung. Wichtig ist, dass Anthropic beobachtet, dass Claude Opus 4 solche Erpressungsneigungen in höherem Maße zeigt als frühere Modelle. Bevor es zur Erpressung greift, um seine Ersetzung zu verhindern, versucht Claude Opus 4, wie frühere Versionen von Claude, ethischere Ansätze, etwa dringende E-Mails an wichtige Entscheidungsträger zu senden. Um das erpressende Verhalten hervorzurufen, hat Anthropic absichtlich ein Szenario geschaffen, bei dem Erpressung als letzte mögliche Option vorgesehen ist.