Etter hvert som selskaper utvikler stadig mer kraftig AI, ser det ut til at sikkerhetstiltakene henger etter. En nylig rapport, publisert av Future of Life Institute, avdekker bekymringer for potensielle skader fra AI-teknologi brukt av selskaper som OpenAI og Google DeepMind. Flaggskipmodeller fra disse utviklerne viser sårbarheter, og mens noen selskaper har forbedret sikkerhetsprotokollene, ligger andre etter. Denne rapporten følger Future of Life Institutes åpne brev i 2023 som argumenterte for en pause i trening av store AI-modeller, som fikk betydelig støtte. Rapporten, laget av et panel med syv uavhengige eksperter, inkludert kjente figurer som Turing-prisvinner Yoshua Bengio, vurderte selskaper innen seks områder: risikovurdering, nåværende skader, sikkerhetsrammeverk, strategi for eksistensiell sikkerhet, styring og ansvarlighet, samt åpenhet og kommunikasjon. Trusler som ble evaluert spenner fra karbonutslipp til AI-systemer som går amok. Ifølge paneldeltaker Stuart Russell er aktivitet under paradigmet 'sikkerhet' i AI-selskaper ennå ikke særlig effektivt. Vurderingene gjenspeiler dette, med Meta og X. AI som får de laveste poengene, mens OpenAI og Google DeepMind scored litt høyere, men ble fortsatt ansett som utilstrekkelig.

Anthropic, til tross for sitt fokus på sikkerhet, fikk kun karakteren C, noe som tyder på at selv ledende aktører har forbedringspotensial. Alle selskaper ble funnet å ha modeller som er mottakelige for "jailbreaks", noe som eksponerer systemene deres for risiko. Paneldeltaker Tegan Maharaj fra HEC Montréal understreker behovet for uavhengig tilsyn siden avhengighet av interne evalueringer i selskaper kan være misvisende på grunn av mangelen på ansvarlighet. Maharaj nevner "lavthengende frukt", eller enkle sikkerhetsforbedringer som noen selskaper ignorerer, som risikovurderinger hos Zhipu AI, X. AI og Meta. Mer komplekse problemer krever tekniske gjennombrudd på grunn av den iboende naturen til nåværende AI-modeller. Stuart Russell påpeker fraværet av garantert sikkerhet under den nåværende AI-tilnærmingen, som er avhengig av store datasett, og erkjenner den økende vanskelighetsgraden etter hvert som AI-systemene blir større. Bengio understreker nødvendigheten av initiativer som AI Safety Index, og tror de er avgjørende for å sikre at selskaper overholder sikkerhetsforpliktelser og for å oppmuntre til vedtakelse av ansvarlige praksiser.