Der kürzlich veröffentlichte AI Safety Index bewertete sechs führende KI-Unternehmen hinsichtlich ihrer Sicherheitsmaßnahmen und Risikoanalysen, wobei Anthropic die höchste Bewertung von C erhielt. Die anderen Unternehmen—Google DeepMind, Meta, OpenAI, xAI und Zhipu AI—bekamen Noten von D+ oder schlechter, wobei Meta insgesamt versagte. Max Tegmark vom Future of Life Institute, das den Bericht veröffentlichte, betont, dass das Ziel nicht die Bloßstellung, sondern die Motivation der Unternehmen ist, ihre Sicherheitspraktiken zu verbessern, ähnlich wie Universitäten auf Rankings reagieren. Tegmark möchte Forscher in KI-Sicherheitsteams unterstützen, indem er ihnen Hebelwirkung verschafft, um Ressourcen und Respekt innerhalb ihrer Unternehmen zu gewinnen. Das Future of Life Institute, das sich auf die Vermeidung negativer Folgen mächtiger Technologien konzentriert, hatte zuvor einen Entwicklungsstopp für KI gefordert, um Sicherheitsstandards festzulegen, obwohl die Unternehmen dem nicht nachkamen. Der AI Safety Index bewertete die Unternehmen in sechs Bereichen: Risikoanalyse, aktuelle Schäden, Sicherheitsrahmen, existenzielle Sicherheitsstrategie, Governance und Verantwortlichkeit sowie Transparenz. Trotz der Verwendung verschiedener öffentlicher Informationsquellen reagierten die meisten Unternehmen nicht auf den Bericht, mit Ausnahme von Google DeepMind, das erklärte, ihre Sicherheitsmaßnahmen gingen über das hinaus, was der Index erfasse. Die Bewertung umfasste unabhängige Gutachter, darunter bekannte Persönlichkeiten wie Stuart Russell und Yoshua Bengio.

Sie stellten fest, dass die bestehenden Sicherheitsaktivitäten dieser Unternehmen ineffektiv sind und keine quantitativen Sicherheitsgarantien bieten. Der Bericht kritisierte insbesondere die Unternehmen für ihre existenziellen Sicherheitsstrategien, da die meisten keine angemessenen Pläne für die Sicherstellung entworfen haben, dass allgemeine künstliche Intelligenz (AGI) mit menschlichen Werten übereinstimmt. Nur Anthropic erzielte vergleichsweise hohe Punktzahlen, insbesondere bei der Bekämpfung aktueller Schäden, teils aufgrund ihrer verantwortungsbewussten Skalierungspolitik. Tegmark fordert jedoch eine behördliche Aufsicht ähnlich der FDA, um sicherzustellen, dass KI-Produkte vor der Markteinführung sicher sind. Er warnt, dass Unternehmen in einem Wettbewerb gefangen sind, der gründliche Sicherheitstests behindert, und plädiert dafür, dass Sicherheitsstandards den Marktvorteil für Unternehmen priorisieren, die diese zuerst erfüllen.