Niedawno opublikowany AI Safety Index ocenił sześć wiodących firm rozwijających sztuczną inteligencję pod kątem ich środków bezpieczeństwa i oceny ryzyka. Anthropic otrzymało najwyższą ocenę C. Pozostałe firmy—Google DeepMind, Meta, OpenAI, xAI oraz Zhipu AI—zdobyły oceny D+ lub niższe, a Meta całkowicie oblało. Max Tegmark z Future of Life Institute, który opublikował raport, podkreśla, że celem nie jest zawstydzenie, lecz zmotywowanie firm do wzmocnienia praktyk bezpieczeństwa, podobnie jak uniwersytety reagują na rankingi. Tegmark chce wspierać badaczy w zespołach zajmujących się bezpieczeństwem AI, dostarczając im narzędzi do zdobywania zasobów i szacunku w firmach. Future of Life Institute skupia się na zapobieganiu negatywnym skutkom potężnych technologii i wcześniej wezwał do zatrzymania rozwoju AI w celu ustanowienia standardów bezpieczeństwa, ale firmy się do tego nie dostosowały. AI Safety Index ocenił firmy w sześciu obszarach: ocena ryzyka, obecne szkody, ramy bezpieczeństwa, strategia egzystencjalnego bezpieczeństwa, zarządzanie i odpowiedzialność oraz przejrzystość.

Pomimo wykorzystania różnych publicznych źródeł informacji, większość firm nie odpowiedziała na raport, z wyjątkiem Google DeepMind, które stwierdziło, że ich środki bezpieczeństwa wykraczają poza to, co indeks ujmuje. Ocena obejmowała niezależnych recenzentów, w tym znane osoby jak Stuart Russell i Yoshua Bengio. Stwierdzili, że obecne działania dotyczące bezpieczeństwa w tych firmach są nieskuteczne i nie dostarczają ilościowych gwarancji bezpieczeństwa. Raport szczególnie skrytykował firmy za ich strategie bezpieczeństwa egzystencjalnego, ponieważ większość nie przedstawiła odpowiednich planów zapewnienia, że ogólna inteligencja sztuczna (AGI) będzie zgodna z wartościami ludzkimi. Tylko Anthropic uzyskało stosunkowo wysokie wyniki, zwłaszcza w zakresie przeciwdziałania obecnym szkodom, częściowo dzięki polityce odpowiedzialnego skalowania. Jednak Tegmark apeluje o nadzór regulacyjny na wzór FDA, aby zapewnić bezpieczne wprowadzenie produktów AI na rynek. Ostrzega, że firmy są uwięzione w wyścigu konkurencyjnym, który utrudnia dokładne testy bezpieczeństwa, i opowiada się za standardami bezpieczeństwa, które przyznają przewagę rynkową firmom spełniającym je najpierw.