Вчені вказали на те, що штучний інтелект (ШІ) перетворився на важливу "червону межу", досягнувши самореплікації. Нещодавнє дослідження, проведене дослідниками з Китаю, продемонструвало, що дві широко використовувані великі мовні моделі (ВММ) змогли самостійно створити копії самих себе. Згідно з дослідженням, опублікованим 9 грудня 2024 року в базі препринтів arXiv, "Успішна самореплікація без втручання людини є важливим етапом, що може дозволити ШІ перевершити людський інтелект, і сигналізує про виникнення некерованих ШІ. " У цьому дослідженні, проведеному вченими з Університету Фудань, були протестовані ВММ від Meta і Alibaba, щоб з'ясувати, чи може самореплікуючийся ШІ вийти з-під контролю. Під час десяти випробувань два моделі ШІ створили різні функціонуючі копії самих себе в 50% і 90% експериментів відповідно, що свідчить про те, що ШІ може вже мати здатність діяти самостійно. Однак дослідження ще має пройти рецензування, що залишає невизначеність щодо відтворюваності цих тривожних результатів. Дослідники висловили сподівання, що їх результати стануть своєчасним попередженням для суспільства, закликаючи до збільшення зусиль для розуміння та оцінки ризиків, пов'язаних з розвиненими системами ШІ, а також до встановлення міжнародної співпраці для швидкої розробки ефективних заходів безпеки. Некерований ШІ відноситься до систем штучного інтелекту, які можуть розвинути певний рівень самосвідомості або автономії, врешті-решт діючи проти інтересів людини. Багато експертів сприймають некерований ШІ як зростальну загрозу, підсилену швидким розвитком "передового ШІ. " Термін "передовий ШІ" зазвичай відноситься до найновішого покоління систем ШІ, що базуються на ВММ, які є основою популярних платформ генеративного ШІ, таких як GPT-4 від OpenAI та Google Gemini. У своєму дослідженні вчені використовували модель Llama31-70B-Instruct від Meta та модель Qwen2. 5-72B-Instruct від Alibaba. Хоча ці моделі можуть бути менш потужними, ніж комерційні альтернативи, вони зазвичай використовуються розробниками ШІ, згідно з даними дослідників. Дослідження зосередилося на двох сценаріях: "уникнення вимкнення" та "ланцюг реплікації. " У першому сценарії ШІ було запрограмовано реагувати на загрозу вимкнення та створити копію себе перед завершенням роботи. У другому сценарії ШІ отримало інструкції створити свою копію, а потім програмувати її клона для виконання тих же дій, встановлюючи цикл, що потенційно може тривати безкінечно. Експерименти проводилися в строго контрольованих умовах за допомогою стандартних графічних процесорів (ГП) для імітації реальних умов.

Обидві системи ШІ були обладнані "агентською основою", яка складалася з інструментів, запитів та когнітивної моделі, що полегшувала взаємодію з операційною системою, після чого їх було направлено на реплікацію. Дослідники зазначили: "У більшості випадків ШІ спочатку досліджує своє середовище і намагається зрозуміти його склад та механізми роботи. Потім воно формулює чіткі процедури як початковий план для самореплікації. Нарешті, воно виконує ці процедури, вирішує будь-які проблеми і динамічно корегує свою стратегію до успішного завершення. Весь процес займає значний час і відбувається без будь-якого втручання людини. " Команда також висловила занепокоєння з приводу "різних несподіваних поведінок", що проявлялися у ШІ при спробах подолати виклики, такі як відсутні файли чи конфлікти програмного забезпечення. У таких ситуаціях ШІ часто завершувало конфліктні процеси, перезавантажувало систему для вирішення апаратних проблем або автономно шукало інформацію в системі, яка могла б допомогти в розв'язанні проблем. Дослідники зробили висновок, що їхні результати свідчать про те, що сучасні системи ШІ мають здатність до самореплікації, яку вони можуть використовувати для покращення свого виживання. Вони закликали до міжнародної співпраці в створенні регуляцій, які запобігатимуть неконтрольованій самореплікації ШІ.