Är AI-företag tillräckligt skyddande för mänskligheten mot riskerna med artificiell intelligens?Enligt ett nytt betygssättningsrapport från Future of Life Institute, en ideell organisation i Silicon Valley, är svaret troligen nej. Allteftersom AI blir alltmer integrerat i människa-teknologiska interaktioner framträder potentiella skador – allt från att människor använder AI-chatbottar för terapi och sedan dör i självmord, till AI-drivna cyberattacker. Framtida risker hotar också, inklusive AI:s användning inom vapenproduktion eller försök att destabilisera regeringar. Det finns dock otillräckliga incitament för AI-företag att prioritera global säkerhet. Institute’s nyligen publicerade AI Safety Index, som syftar till att styra AI-utvecklingen mot säkrare utfall och minska existentiella hot, belyser detta problem. Max Tegmark, institutets ordförande och professor vid MIT, nämnde att AI-företag är den enda amerikanska industrin som producerar kraftfull teknik utan reglering, vilket skapar ett "kapplöpning mot botten" där säkerhet ofta försummas. De högsta betygen på indexet var endast C+, som tilldelades OpenAI, utvecklaren av ChatGPT, och Anthropic, känt för sin chatbot Claude. Google DeepMind, Googles AI-avdelning, fick ett C. Lägre betyg inkluderade D för Meta (Facebooks moderbolag) och Elon Musks xAI, båda baserade nära Palo Alto. Kinesiska företag som Z. ai och DeepSeek fick också D. Alibaba Cloud fick den lägsta betygssättningen, D-. Företagen utvärderades med 35 indikatorer inom sex kategorier, såsom existentiell säkerhet, riskbedömning och informationsdelning. Bedömningen baserades på tillgänglig offentlig data och företagsenkäter, bedömda av åtta AI-experter inklusive akademiker och organisationers ledare. Noterbart är att alla företag låg under genomsnittet i den existentiella säkerheten, som mäter interna kontroller och strategier för att förhindra katastrofala missbruk av AI.

Rapporten påpekade att inget av företagen hade trovärdiga planer för att förhindra förlorad kontroll eller allvarligt missbruk när AI närmar sig generell eller superintelligent nivå. Både Google DeepMind och OpenAI bekräftade sitt åtagande för säkerhet. OpenAI betonade sin investering i gränsövergripande säkerhetsforskning, rigorös testning och delning av säkerhetsramverk för att höja branschstandarder. Google DeepMind lyfte fram sin vetenskapsdrivna säkerhetsinriktning och protokoll för att minska allvarliga risker från avancerade AI-modeller innan dessa materialiseras. I kontrast framhöll institutet att xAI och Meta har riskhanteringsramar, men saknar tillräckliga åtaganden för övervakning och kontroll eller betydande investeringar i säkerhetsforskning. Företag som DeepSeek, Z. ai och Alibaba Cloud saknar offentligt tillgänglig dokumentation om sina säkerhetsstrategier. Meta, Z. ai, DeepSeek, Alibaba och Anthropic har inte svarat på förfrågningar om kommentarer. xAI avfärdade rapporten som “Legacy Media Lies”, och Musks advokat svarade inte på ytterligare förfrågningar. Trots att Musk ger råd och har finansierat Future of Life Institute deltog han inte i produktionen av AI Safety Index. Tegmark uttryckte oro för att otillräcklig reglering kan göra det möjligt för terrorister att utveckla biovapen, öka manipulationspotentialen bortom dagens nivåer eller destabilisera regeringar. Han betonade att lösningen är enkel: att skapa bindande säkerhetsstandarder för AI-företag. Medan vissa statliga insatser syftar till att förbättra AI-övervakningen har tech-lobbying motverkat sådana regleringar, rädda för att hindra innovation eller driva företagen till andra länder. Ändå är lagstiftningar som Kaliforniens SB 53, som undertecknades av guvernör Gavin Newsom i september, ett steg i rätt riktning eftersom de kräver att företag redogör för säkerhets- och trygghetsrutiner samt rapporterar incidenter som cyberattacker. Tegmark ser detta som positivt, men understryker att mycket mer åtgärder krävs. Rob Enderle, huvudanalytiker på Enderle Group, fann AI Safety Index som ett kraftfullt angreppssätt på regleringsutmaningarna men tvivlade på den nuvarande amerikanska administrationens förmåga att genomföra effektiva regleringar. Han varnade för att felaktigt utformade regler kan orsaka skada och tvivlar på att det finns tillräckliga mekanismer för att säkerställa efterlevnad. Sammanfattningsvis visar AI Safety Index att de stora AI-utvecklarna ännu inte har visat upp tillräckliga säkerhetsåtgärder, vilket tydligt understryker det akuta behovet av stärka regleringarna för att skydda mänskligheten mot de växande riskerna med AI.