Les empreses d'intel·ligència artificial protegeixen adequadament la humanitat dels riscos de la intel·ligència artificial?Segons un informe recent del Future of Life Institute, una organització sense ànim de lucre de Silicon Valley, la resposta probablement és que no. A mesura que la IA esdevé cada cop més integral a les interaccions entre humans i tecnologia, van sorgint possibles perills—des de persones que utilitzen xatbots d'IA per a l’assistència i que posteriorment es suïcidien, fins a ciberatacs ativats per IA. També s’especulen riscos futurs, incloent-hi l’ús de la IA en armament o intents de desestabilitzar governs. No obstant això, hi ha signes que no existeixen incentius suficients perquè les empreses de IA prioritzen la seguretat global. L’Índex de Seguretat de la IA, recentment publicat pel Institute, busca orientar el desenvolupament de la IA cap a resultats més segurs i mitigar les amenaces existencials. Max Tegmark, president de l’Institute i professor del MIT, va assenyalar que les empreses d’IA operen com la única indústria dels EUA que produeix tecnologies potents sense regulació, creant una “carrera cap al fons” on sovint s’ignoren les mesures de seguretat. Les millors qualificacions a l’índex van ser només un C+, atorgat a OpenAI, desenvolupador de ChatGPT, i Anthropic, coneguda pel seu xatbot Claude. La divisió d’IA de Google, Google DeepMind, va rebre un C. Les qualificacions més baixes van incloure un D per a Meta (la companyia mare de Facebook) i xAI d’Elon Musk, amb seu a prop de Palo Alto. Les firmes xineses Z. ai i DeepSeek també van obtenir un D. Alibaba Cloud va rebre la qualificació més baixa, un D-. Les empreses van ser avaluades a partir de 35 indicadors en sis categories com la seguretat existencial, l’avaluació de riscos i la compartició d’informació. La valoració va combinar dades públiques i respostes a enquestes de les empreses, puntuades per vuit experts en IA, incloent acadèmics i líders d’organitzacions. És important destacar que totes les empreses van obtenir una qualificació inferior a la mitjana en seguretat existencial, que avalua els controls interns i les estratègies per prevenir un mal ús catastròfic de la IA.

L’informe afirmava que cap d’elles no mostrava plans creïbles per evitar la pèrdua de control o l’ús sever de la tecnologia conforme la IA avança cap a la superintel·ligència general. Tant Google DeepMind com OpenAI van veure la seva posició compromesa. OpenAI va destacar la inversió en recerca avançada de seguretat, proves rigoroses i compartició de marcs de seguretat per elevar els estàndards de la indústria. Google DeepMind va posar l’èmfasi en el seu enfocament científic i protocols per a mitigar riscos greus associats a models avançats d’IA abans que aquests riscos arribin a materialitzar-se. En canvi, l’Institute va destacar que xAI i Meta disposen de marcs de gestió de riscos, però sense compromisos adequats de supervisió i control, ni inversions rellevants en recerca de seguretat. Empreses com DeepSeek, Z. ai i Alibaba Cloud no disposen de documentació pública sobre les seves estratègies de seguretat. Meta, Z. ai, DeepSeek, Alibaba i Anthropic no van respondre a les demandes de comentaris. xAI va tancar el informe titllant-lo de “Mentides dels mitjans de comunicació tradicionals” i l’advocat d’Musk no va respondre a més consultes. Tot i que Musk assessora i ha finançat el Future of Life Institute, no va participar en l’elaboració de l’Índex de Seguretat de la IA. Tegmark va expressar la preocupació que una regulació insuficient podria permetre a terroristes desenvolupar armes biològiques, augmentar el potencial manipulador més enllà dels actuals o desestabilitzar governs. Va subratllar que resoldre aquests temes és senzill: establir estàndards de seguretat vinculants per a les empreses d’IA. Tot i que alguns esforços governamentals busquen augmentar la supervisió de la IA, els grups de pressió tecnològica s’hi han oposat, tement que això pugui inhibir la innovació o provocar la deslocalització de les empreses. Tot i així, legislacions com la SB 53 de Califòrnia, signada pel governador Gavin Newsom al setembre, obliga les empreses a revelar els protocols de seguretat i a informar de incidents com ciberatacs. Tegmark considera aquesta llei un avenç, però insisteix que cal fer molt més. Rob Enderle, analista principal de l’Enderle Group, va valorar l’Índex de Seguretat de la IA com una proposta atractiva per afrontar els desafiaments de regulació, però va qüestionar la capacitat de l’administració dels EUA per implementar regulacions efectives. Va advertir que unes normatives mal dissenyades podrien causar més danys i va dubtar que actualment existissin mecanismes d’aplicació per assegurar el compliment. En resum, l’Índex de Seguretat de la IA revela que els principals desenvolupadors d’IA encara no han demostrat compromisos sòlids amb la seguretat, fet que evidencia la necessitat urgent d’una regulació més estricta per protegir la humanitat dels riscos creixents de la IA.