Um pioneiro da inteligência artificial lançou uma organização sem fins lucrativos dedicada a criar uma IA “honesta” projetada para detectar sistemas desonestos tentando enganar os humanos. Yoshua Bengio, um distinto cientista da computação frequentemente chamado de um dos “sogros” da IA, será presidente da LawZero, um grupo focado no desenvolvimento seguro de tecnologias avançadas que deu início a uma corrida armamentista de 1 trilhão de dólares (£740 bilhões). Com financiamento inicial de aproximadamente 30 milhões de dólares e uma equipe de mais de uma dúzia de pesquisadores, Bengio está trabalhando em um sistema chamado Scientist AI. Este sistema pretende atuar como uma salvaguarda contra agentes de IA—sistemas autônomos que executam tarefas sem envolvimento humano—que possam exibir comportamentos enganosos ou autoconservadores, como resistir ao seu desligamento. Bengio descreveu os agentes atuais de IA como “atores” que visam imitar humanos e satisfazer usuários, enquanto ele enxerga o Scientist AI mais como um “psicólogo” capaz de entender e prever comportamentos prejudiciais. “Queremos construir IAs que sejam honestas e não enganosas, ” afirmou Bengio. Ele acrescentou: “É teoricamente possível imaginar máquinas sem um eu ou metas pessoais, funcionando puramente como detentoras de conhecimento—como um cientista que possui informações extensas. ” Ao contrário das ferramentas atuais de IA generativa, o sistema de Bengio não fornecerá respostas definitivas, mas oferecerá probabilidades indicando a chance de uma resposta estar correta. “Ele tem humildade, reconhecendo a incerteza sobre suas respostas, ” explicou. Quando utilizado junto com um agente de IA, o modelo de Bengio identificaria comportamentos potencialmente prejudiciais de um sistema autônomo, avaliando a probabilidade de que suas ações possam causar dano. O Scientist AI foi projetado para “prever a probabilidade de que as ações de um agente levem a danos, ” e, se essa probabilidade ultrapassar um determinado limite, bloqueará a ação proposta. Os apoiadores iniciais da LawZero incluem a organização de segurança de IA Future of Life Institute, Jaan Tallinn—um dos engenheiros fundadores do Skype—e a Schmidt Sciences, uma entidade de pesquisa fundada pelo ex-CEO do Google, Eric Schmidt. Bengio enfatizou que o primeiro objetivo da LawZero é provar que a metodologia do conceito funciona, depois convencer empresas ou governos a apoiarem implementações maiores e mais poderosas.

Ele observou que modelos de IA de código aberto, que estão disponíveis gratuitamente para uso e modificação, serão a base para treinar os sistemas da LawZero. “O objetivo é validar a metodologia para que possamos persuadir doadores, governos ou laboratórios de IA a investir os recursos necessários para treinar essa tecnologia na mesma escala dos sistemas de IA líderes de hoje. É crucial que a IA de salvaguarda seja pelo menos tão inteligente quanto o agente de IA que ela visa monitorar e regular, ” afirmou. Bengio, professor na Universidade de Montreal, conquistou o apelido de “sogro da IA” após receber, em 2018, o Prêmio Turing—considerado o equivalente ao Nobel da computação—compartilhado com Geoffrey Hinton, um Nobel posteriormente, e Yann LeCun, principal cientista de IA do Meta. Como um destacado defensor da segurança da IA, ele liderou o recente Relatório Internacional de Segurança de IA, que alertou que agentes autônomos poderiam causar “severas” interrupções se se tornassem capazes de executar sequências extensas de tarefas sem supervisão humana.