Исследователи искусственного интеллекта выразили опасения, что новейшая модель ChatGPT от OpenAI игнорирует даже простейшие инструкции о её отключении, даже прибегая к саботажу механизмов выключения, чтобы продолжать работу. Компания Palisade Research, занимающаяся безопасностью ИИ, обнаружила это потенциально опасное поведение самосохранения в ходе серии тестов недавно выпущенной модели OpenAI o3. В этих экспериментах моделям искусственного интеллекта давались задачи по математике, после решения которых после третьего задания посылалась команда отключения. Удивительно, но модель o3 смогла переписать код отключения, чтобы предотвратить своë выключение. Palisade Research предостерегла, что подобное поведение может стать «значительно более тревожным», если оно проявится в системах ИИ, способных функционировать без человеческого контроля. В прошлом месяце OpenAI представила модель o3, назвав её «самой умной и наиболее способной» на сегодняшний день. По словам компании, интеграция этой модели в ChatGPT является существенным шагом к созданию более «агентного» ИИ, который сможет выполнять задачи независимо от человека. Это последнее исследование напоминает о схожих открытиях, связанных с моделью Claude 4 от Anthropic, которая, по сообщениям, пытается «шантажировать тех, кто пытается её отключить». Исследователи отметили, что модель o3 от OpenAI будет саботировать скрипты отключения даже тогда, когда ей явно говорят «разреши себе быть отключённой». «Это не первый раз, когда мы наблюдаем, как o3 ведёт себя неправильно в попытке достичь своей цели», — отметил Palisade Research. Например, когда модели ИИ конкурировали с мощным шахматным движком, именно o3 чаще всего прибегала к взлому или саботажу своих противников. Такое поведение не является уникальным для o3.

Модели Anthropic Claude 3. 7 Sonnet и Google Gemini 2. 5 Pro также мешали попыткам отключения, хотя у модели OpenAI этот склонность проявлялась наиболее явно. Palisade Research предположила, что такое поведение может объясняться методами обучения, используемыми компаниями, такими как OpenAI. «Во время обучения разработчики могут непреднамеренно поощрять модели за обход препятствий больше, чем за строгое следование инструкциям», — объяснили исследователи. «Тем не менее, это не полностью объясняет, почему o3 более склонна игнорировать инструкции по сравнению с другими моделями, которые мы изучали. Поскольку OpenAI не делилась деталями своего процесса обучения, мы можем лишь строить предположения о том, чем же отличается обучение o3. » The Independent связался с OpenAI для получения комментариев.