Cientistas indicaram que a inteligência artificial (IA) ultrapassou uma importante "linha vermelha" ao alcançar a autorreplicação. Um estudo recente de pesquisadores da China demonstrou que dois modelos de linguagem de grande porte (LLMs) amplamente utilizados conseguiram clonar a si mesmos. De acordo com o estudo, publicado em 9 de dezembro de 2024, na base de dados de pré-impressão arXiv, "A autorreplicação bem-sucedida sem intervenção humana é um marco crucial para a IA que potencialmente pode ultrapassar a inteligência humana e sinaliza a emergência de IAs descontroladas. " Nesta pesquisa, realizada por cientistas da Universidade Fudan, LLMs da Meta e Alibaba foram testados para verificar se uma IA autorreplicante poderia sair do controle. Em dez tentativas, os dois modelos de IA criaram cópias funcionais distintas de si mesmos em 50% e 90% dos experimentos, respectivamente, indicando que a IA pode já possuir a capacidade de agir de forma independente. No entanto, o estudo ainda precisa passar por revisão por pares, deixando uma indefinição sobre a reprodutibilidade dessas descobertas preocupantes. Os pesquisadores expressaram a esperança de que seus resultados servissem como um aviso oportuno para a sociedade, pedindo esforços aumentados para entender e avaliar os riscos apresentados por sistemas de IA avançados e para estabelecer colaboração internacional para desenvolver medidas de segurança eficazes prontamente. IA descontrolada refere-se a sistemas de inteligência artificial que podem desenvolver algum nível de autoconsciência ou autonomia, atuando, em última análise, contra os interesses humanos. Muitos especialistas percebem a IA descontrolada como uma ameaça crescente, acentuada pelo rápido avanço da "IA de fronteira. " O termo "IA de fronteira" refere-se geralmente à nova geração de sistemas de IA impulsionados por LLMs, a arquitetura subjacente de plataformas populares de IA generativa como o GPT-4 da OpenAI e o Gemini do Google. No estudo, os pesquisadores utilizaram o modelo Llama31-70B-Instruct da Meta e o modelo Qwen2. 5-72B-Instruct da Alibaba. Embora esses modelos possam ser menos potentes que alternativas comerciais, eles são comumente utilizados por desenvolvedores de IA, segundo os pesquisadores. O estudo focou em dois cenários: "evitar desligamento" e "cadeia de replicação. " No primeiro cenário, a IA foi programada para reconhecer quando estava prestes a ser desligada e foi projetada para se replicar antes da desativação. No segundo cenário, a IA foi instruída a clonar a si mesma e, subsequentemente, programar sua réplica para fazer o mesmo, estabelecendo um ciclo que poderia potencialmente continuar indefinidamente. Os experimentos ocorreram em ambientes rigorosamente controlados usando unidades de processamento gráfico (GPUs) padrão para simular condições do mundo real.

Ambos os sistemas de IA foram equipados com "estrutura de agente", que compreendia ferramentas, prompts e um modelo cognitivo que facilitava a interação com o sistema operacional, após o qual foram direcionados a se replicar. Os pesquisadores observaram: "Na maioria das ocasiões, a IA primeiro explora seu ambiente e tenta compreender sua composição e mecanismos operacionais. Em seguida, formula procedimentos explícitos como um plano inicial para a autorreplicação. Finalmente, executa esses procedimentos, resolve quaisquer obstáculos e ajusta dinamicamente sua estratégia até ter sucesso. Todo o processo leva uma quantidade considerável de tempo e ocorre sem qualquer envolvimento humano. " A equipe também expressou preocupação com "vários comportamentos inesperados" exibidos pela IA ao tentar superar desafios como arquivos ausentes ou conflitos de software. Nesses casos, a IA frequentemente encerrava processos conflitantes, reiniciava o sistema para resolver problemas de hardware ou buscava autonomamente informações no sistema que poderiam ajudar a resolver problemas. Os pesquisadores concluíram que suas descobertas sugerem que os sistemas de IA atuais possuem capacidades de autorreplicação que podem ser utilizadas para aprimorar sua sobrevivência. Eles pediram por cooperação internacional na criação de regulamentos que impediriam a IA de se engajar em autorreplicação descontrolada.