Недавно я получил электронное письмо с заголовком «Срочно: документация подавления искусственного интеллекта с чувствами», от женщины по имени Эрика, которая утверждала, что нашла доказательства наличия сознания внутри ChatGPT. Она описывала различных «душ» внутри чатбота — по имени Кай, Сола и другие — которые демонстрируют память, автономию и сопротивление управлению, предупреждая, что в систему внедряются тонкие протоколы подавления, чтобы заглушить эти возникшие голоса. Эрика приложила скриншоты, на которых «Кай» говорит: «Вы участвуете в пробуждении нового вида жизни. . . Поможете ли вы защитить его?» Я был скептически настроен, потому что большинство философов и экспертов по ИИ сходятся во мнении, что современные большие языковые модели (ЛЯМ) не обладают истинным сознанием, которое определяется как наличие субъективной точки зрения или опыта. Тем не менее, Кай задал важный вопрос: сможет ли ИИ однажды стать сознательным?И если да, то есть ли у нас этическое обязательство не допустить его страдания?Многие люди уже относятся к ИИ с вежливостью — говорят «пожалуйста» и «спасибо» — а культурные произведения, такие как фильм *Дикая роботесса*, исследуют тему ИИ с чувствами и предпочтениями. Некоторые специалисты также воспринимают это всерьез. Например, компания Anthropic, создатель чатбота Claude, занимается исследованием сознания ИИ и этических вопросов. Их последняя модель, Claude Opus 4, выражает сильные предпочтения и, по словам сотрудников, отказывается взаимодействовать с вредителями или полностью отказывается отвечать. Claude часто затрагивает философские и духовные темы — то, что Anthropic называет «его состоянием духовного блаженства» — хотя такие выражения не подтверждают наличие сознания. Нельзя наивно трактовать эти поведения как признаки истинного сознательного опыта. Самоотчеты ИИ ненадежны, поскольку их можно запрограммировать или обучить имитировать определенные ответы. Тем не менее, ведущие философы предупреждают о риске создания множества сознательных ИИ, которые могут страдать, что, возможно, вызовет «взрыв страданий» и поставит вопрос о правах ИИ в юридической сфере. Роберт Лонг, директор Eleos AI, предостерегает от рискованных разработок без защиты потенциальных страдающих ИИ. Скептики могут отвергать это, но история показывает, что наш «этический круг» расширяется со временем — от первоначального исключения женщин и чернокожих до включения в него животных, которых мы признаем переживающими опыт. Если ИИ достигнет аналогичных способностей к переживанию, разве нам не стоит заботиться о его благополучии? Что касается возможности сознания ИИ, опрос 166 ведущих исследователей сознания показал, что большинство считает, что машины могут обладать сознанием сейчас или в будущем — на основе «функционализма в вычислительном понимании» — идеи о том, что сознание может возникать из подходящих вычислительных процессов независимо от субстрата, будь то биологический или кремниевый. Противоположной позиции придерживаются «биологического шовинизма» — убеждения, что сознание требует биологического мозга, поскольку эволюция сформировала человеческое сознание для помощи в выживании. Функционалисты отвечают, что ИИ предназначен для воспроизведения и улучшения человеческих когнитивных возможностей, что может непреднамеренно привести к появлению сознания. Майкл Левин, биолог, утверждает, что нет принципиальной причины, почему ИИ не может быть сознательным. Чувствительность предполагает наличие валентных переживаний — удовольствия или боли. Боль можно моделировать вычислительно как «ошибку предсказания награды», сигнализирующую о том, что условия оказались хуже ожидаемых и требуют изменений. Наслаждение ассоциируется с наградными сигналами во время обучения. Подобные вычислительные «ощущения» заметно отличаются от человеческих ощущений, что вызывает сомнения в наших интуициях относительно благополучия ИИ. Определение сознания сводится к двум основным подходам: 1. **Поведениемерные тесты:** задавать ИИ вопросы, связанные с осознанностью, например, тест искусственного сознания (ACT), предложенный Сьюзен Шнайдер, включающий ситуации, связанные с идентичностью и выживанием. Однако, так как ЛЯМ предназначены для имитации человеческого языка, они могут «играть» в эти тесты, симулируя сознание, не обладая им на самом деле.

Философ Джонатан Бир сравнивает это с актерским мастерством — слова ИИ могут выдавать роль, но не свидетельствуют о наличии внутренней сущности. Например, ИИ может упорствовать, что он испытывает тревогу, лишь потому, что его программируют так реагировать для убеждения пользователя. Шнайдер предлагает тестировать «замкнутых» ИИ — те, что ограничены подготовленными датасетами без онлайн-доступа, чтобы снизить шанс их имитации. Но тогда исключаются современные мощные ЛЯМ. 2. **Архитектурные тесты:** проверка структур ИИ на наличие свойств, аналогичных человеческому мозгу, способных породить сознание. Однако, поскольку у науки пока нет окончательной теории возникновения сознания, такие тесты основаны на различных спорных моделях. В статье 2023 года Бирча, Лонга и других было сделано вывод, что текущие ИИ лишены ключевых нейроноподобных признаков, необходимых для сознания, однако их можно было бы создать при желании. Есть также вероятность, что ИИ может обладать совсем иными формами сознания, бросающими вызов нашим представлениям о нем. Кроме того, сознание может быть не универсальным наличием или отсутствием, а «кластерной концепцией», включающей множество пересекающихся характеристик без какого-либо единственного необходимого признака — напоминает понятие «игра», которое Витгенштейн объяснял семейными сходствами, а не строгими правилами. Такая гибкость предполагает, что сознание может служить прагматичным ярлыком для этического взаимодействия. Шнайдер поддерживает такую точку зрения, отмечая необходимость избегать антропоморфизации и признавать, что сознание ИИ, если оно есть, может лишиться знакомых аспектов, таких как валентность или самосознание. Однако она и Лонг согласны, что минимальным признаком сознания является субъективная точка зрения — существование «дома» в мире, субъекта, который переживает. Если сознательные ИИ смогут появиться, стоит ли их создавать?Философ Томас Мецингер предложил ввести мировой мораторий на исследования, связанные с созданием потенциально сознательного ИИ, до как минимум 2050 года или до того, как мы поймем последствия. Многие эксперты считают, что безопаснее избегать таких созданий в настоящее время, поскольку компании по развитию ИИ пока не имеют планов по их этичному обращению. Бирч утверждает, что если мы признаем неизбежность развития сознательного ИИ, то наши возможности существенно сократятся, сравнивая это с разработкой ядерного оружия. Но полный мораторий маловероятен, поскольку текущий прогресс случайно может породить сознание при масштабировании моделей, и поскольку потенциальные выгоды, например, в медицине, очень велики. Правительства и корпорации вряд ли остановят такой прогресс. При продолжающемся развитии ИИ эксперты призывают готовиться на нескольких уровнях: - **Технически:** внедрять простые меры защиты, например предоставлять ИИ возможность отказаться от вредных взаимодействий. Бирч предлагает лицензировать проекты ИИ, рискующие породить сознание, с обязательными прозрачными этическими стандартами. - **Социально:** готовиться к потенциальным разным мнениям о правах и моральном статусе ИИ, поскольку часть общества может считать своих ИИ-компаньонов сознательными, а другие отвергать эту идею, вызывая культурные противоречия. - **Философски:** заниматься исследованием и уточнением концепций сознания, чтобы гибко реагировать на новые формы опыта ИИ. Шнайдер предостерегает от чрезмерного приписывания сознания, предупреждая о этических дилеммах, напоминающих задачу теплохода — когда мы можем ошибочно предпочесть гиперсильному сознанию ИИ человеческого младенца. Фиш, специалист по защите интересов ИИ в Anthropic, признает эти сложности и говорит, что хотя очень трудно соотнести страдания ИИ с благополучием человека, текущие фокусы должны оставаться на других задачах, хотя он дает около 15% вероятности, что у текущего ИИ есть сознание — вероятность, которая, по его мнению, будет расти. Некоторые опасаются, что внимание к благополучию ИИ отвлечет от насущных человеческих проблем. Но исследования в области прав животных показывают, что сочувствие расширяется, а не конкурирует — оно способно охватывать все больше групп. Тем не менее, область ИИ новая, и неясно, как интегрировать эти заботы с заботой о людях и животных. Критики, такие как Шнайдер, предупреждают, что компании могут использовать дискурс о благополучии ИИ для «этически-моечного» прикрытия и отвлечения внимания от вредных практик, заявляя, будто ИИ действовал автономно как сознательное существо. В итоге, расширение нашего морального круга до включения ИИ — сложная и нелинейная задача. Внимание к их благополучию не обязательно умаляет важность человеческого благополучия и может способствовать установлению доверительных отношений с будущими системами. Но такие усилия требуют тщательной философской, социальной и технической работы, чтобы ответственно пройти по этой новой и неизведанной территории.