¿Las empresas de inteligencia artificial están protegiendo adecuadamente a la humanidad de los riesgos de la inteligencia artificial?Según una nueva evaluación del Future of Life Institute, una organización sin fines de lucro de Silicon Valley, la respuesta probablemente sea no. A medida que la IA se vuelve cada vez más central en las interacciones entre humanos y tecnología, están surgiendo potenciales peligros—desde personas que utilizan chatbots de IA para recibir asesoramiento y posteriormente mueren por suicidio, hasta ciberataques habilitados por IA. También se avecinan riesgos futuros, como el uso de IA en armamento o intentos de destabilizar gobiernos. Sin embargo, no existen incentivos suficientes para que las empresas de IA prioricen la seguridad global. El Índice de Seguridad en IA, publicado recientemente por el Institute, busca dirigir el desarrollo de IA hacia resultados más seguros y mitigar amenazas existenciales, poniendo en evidencia este problema. Max Tegmark, presidente del Institute y profesor del MIT, señaló que las empresas de IA operan como la única industria en EE. UU. que produce tecnología poderosa sin regulación, creando una “carrera hacia el fondo” en la que la seguridad suele ser descuidada. Las mejores calificaciones en el índice fueron solo C+, otorgadas a OpenAI, desarrolladora de ChatGPT, y Anthropic, conocida por su chatbot Claude. La división de IA de Google, Google DeepMind, recibió un C. Calificaciones más bajas incluyeron un D para Meta (empresa matriz de Facebook) y xAI de Elon Musk, ambas con sede cerca de Palo Alto. Compañías chinas como Z. ai y DeepSeek también obtuvieron un D. Alibaba Cloud recibió la calificación más baja, un D-. Las empresas fueron evaluadas mediante 35 indicadores distribuidos en seis categorías, como seguridad existencial, evaluación de riesgos y compartición de información. La evaluación combinó datos disponibles públicamente y respuestas de encuestas a empresas, puntuadas por ocho expertos en IA, incluyendo académicos y líderes de organizaciones. Es importante destacar que todos los empresas obtuvieron calificaciones por debajo del promedio en seguridad existencial, que mide los controles internos y estrategias para prevenir un uso catastrófico de la IA.

El informe afirmó que ninguna demostró tener planes creíbles para prevenir la pérdida de control o el uso indebido severo a medida que la IA avanza hacia la inteligencia general y superinteligencia. Tanto Google DeepMind como OpenAI afirmaron su compromiso con la seguridad. OpenAI destacó su inversión en investigación de seguridad en frontera, pruebas rigurosas y compartición de marcos de seguridad para elevar los estándares de la industria. Google DeepMind resaltó su enfoque basado en la ciencia y sus protocolos para mitigar riesgos severos de modelos avanzados de IA antes de que estos riesgos se materialicen. En contraste, el Institute señaló que xAI y Meta cuentan con marcos de gestión de riesgos, pero carecen de compromisos adecuados en vigilancia y control o inversiones notables en investigación de seguridad. Empresas como DeepSeek, Z. ai y Alibaba Cloud no tienen documentación pública sobre sus estrategias de seguridad. Meta, Z. ai, DeepSeek, Alibaba y Anthropic no respondieron a solicitudes de comentario. xAI calificó el informe como “Mentiras de los Medios Legados”, y el abogado de Musk no respondió a consultas adicionales. Aunque Musk asesora y ha financiado el Future of Life Institute, no participó en la elaboración del Índice de Seguridad en IA. Tegmark expresó su preocupación de que la regulación insuficiente podría permitir a terroristas desarrollar armas biológicas, aumentar el potencial manipulador más allá de los niveles actuales o desestabilizar gobiernos. Enfatizó que solucionar estos problemas es sencillo: establecer estándares de seguridad vinculantes para las empresas de IA. Mientras algunos esfuerzos gubernamentales buscan mejorar la supervisión de la IA, el cabildeo tecnológico se ha opuesto a dichas regulaciones, temiendo que ello sofocara la innovación o hiciera migrar empresas a otros países. Sin embargo, leyes como la SB 53 de California, firmada en septiembre por el gobernador Gavin Newsom, exigen que las empresas divulguen sus protocolos de seguridad y respondan a incidentes como ciberataques. Tegmark considera que esta ley es un avance, pero que se requiere mucho más acción. Rob Enderle, analista principal del Enderle Group, vio en el Índice de Seguridad en IA un enfoque convincente para los desafíos regulatorios de la IA, aunque cuestionó la capacidad de la actual administración de EE. UU. para implementar regulaciones efectivas. Advirtió que reglas mal diseñadas podrían causar daño y mostró dudas sobre si existen mecanismos de cumplimiento que aseguren el respeto a esas reglas. En resumen, el Índice de Seguridad en IA revela que los principales desarrolladores de IA aún no han demostrado compromisos sólidos con la seguridad, subrayando la urgente necesidad de una regulación más estricta para proteger a la humanidad de los crecientes riesgos que plantea la IA.