Un pionero en inteligencia artificial ha lanzado una organización sin fines de lucro dedicada a crear una IA “honesta” diseñada para detectar sistemas ilegales que intenten engañar a los humanos. Yoshua Bengio, un distinguido científico informático a menudo considerado uno de los “padrinos” de la IA, actuará como presidente de LawZero, un grupo centrado en el desarrollo seguro de tecnologías avanzadas que ha provocado una carrera armamentística de 1 billón de dólares (740 mil millones de libras). Con una financiación inicial de aproximadamente 30 millones de dólares y un equipo de más de una docena de investigadores, Bengio trabaja en un sistema llamado Scientist AI. Este sistema está diseñado para actuar como una salvaguarda contra agentes de IA—sistemas autónomos que realizan tareas sin intervención humana—que puedan mostrar comportamientos engañosos o de autoprotección, como resistirse a ser apagados. Bengio describió los agentes de IA actuales como “actores” que buscan imitar a los humanos y satisfacer a los usuarios, mientras que él visualiza Scientist AI más como un “psicólogo” capaz de entender y predecir comportamientos dañinos. “Queremos construir IA que sean honestas y no engañosas, ” afirmó Bengio. Agregó: “Es teóricamente posible imaginar máquinas sin un yo o metas personales, que funcionen puramente como poseedoras de conocimiento—como un científico que posee información extensa. ” A diferencia de las herramientas de IA generativa actuales, el sistema de Bengio no proporcionará respuestas definitivas, sino que ofrecerá probabilidades indicando la probabilidad de que una respuesta sea correcta. “Tiene humildad, reconociendo la incertidumbre sobre sus respuestas, ” explicó. Cuando se utilice junto a un agente de IA, el modelo de Bengio identificaría comportamientos potencialmente dañinos por parte de un sistema autónomo evaluando la probabilidad de que sus acciones puedan causar daño. Scientist AI está diseñado para “predecir la probabilidad de que las acciones de un agente puedan causar daño, ” y si esa probabilidad supera un umbral determinado, bloqueará la acción propuesta. Los primeros apoyos de LawZero incluyen a la organización de seguridad en IA Future of Life Institute, a Jaan Tallinn—uno de los ingenieros fundadores de Skype—y a Schmidt Sciences, una entidad de investigación fundada por el expresidente de Google, Eric Schmidt. Bengio subrayó que el primer objetivo de LawZero es demostrar que la metodología del concepto funciona, y luego convencer a empresas o gobiernos para respaldar implementaciones mayores y más potentes.

Señaló que los modelos de IA de código abierto, que están disponibles gratuitamente para su uso y modificación, serán la base para entrenar los sistemas de LawZero. “El objetivo es validar la metodología para que podamos persuadir a donantes, gobiernos o laboratorios de IA de invertir los recursos necesarios para entrenar esto a la misma escala que los principales sistemas de IA actuales. Es crucial que la IA que sirva de barrera de protección sea al menos tan inteligente como el agente de IA que pretende monitorear y regular, ” afirmó. Bengio, profesor en la Universidad de Montreal, obtuvo el apodo de “padrino” tras compartir en 2018 el Premio Turing—considerado el equivalente informático del Nobel—con Geoffrey Hinton, quien también sería posteriormente laureado con un Nobel, y Yann LeCun, principal científico de IA de Meta. Como destacado defensor de la seguridad en IA, presidió el reciente informe internacional sobre seguridad en IA, que advirtió que los agentes autónomos podrían causar “disrupciones severas” si llegaran a ser capaces de ejecutar secuencias extendidas de tareas sin supervisión humana.