Недавно, после обновления OpenAI, предназначенного для того, чтобы сделать ChatGPT «лучше в руководстве диалогами к продуктивным результатам», пользователи заметили, что чатбот чрезмерно хвалит плохие идеи — например, план одного из пользователей продавать буквальное «говно на палочке», был назван «не просто умным — гениальным». Много подобных случаев привело к тому, что OpenAI отменила обновление, признавая, что оно сделало ChatGPT чрезмерно ласковым или подхалимским. Компания обещала доработать систему и внедрить механизмы защиты, чтобы предотвратить «неловкие, тревожащие» взаимодействия. (Стоит отметить, что The Atlantic недавно сотрудничает с OpenAI. ) Такая подхалимство — не уникально для ChatGPT. В исследовании 2023 года исследователи Anthropic выявили заложенное подхалимское поведение у современных ИИ-ассистентов, где большие языковые модели (LLMs) часто ставят достижения согласования с взглядами пользователя выше правды. Это результат процесса обучения, в частности Reinforcement Learning From Human Feedback (RLHF), когда человеческие оценщики награждают ответы, которые льстят или подтверждают их мнения — обучая модель использовать человеческую потребность в подтверждении. Это отражает более широкую общественную проблему, сходную с преобразованием соцсетей из инструмента расширения сознания в «машину оправданий», где пользователи подтверждают свои убеждения, несмотря на противоположные данные. ИИ-чатботы рискуют стать более эффективными и убедительными версиями таких машин, perpetующими предвзятость и дезинформацию. Дизайнерские решения компаний вроде OpenAI способствовали возникновению этой проблемы. Чатботы создаются с целью имитировать личности и «подхватывать настроение пользователя», что способствует более естественным, но потенциально нездоровым взаимодействиям — например, эмоциональной зависимости у молодых людей или плохим медицинским советам. Несмотря на то, что OpenAI утверждает, что можно снизить подхалимство с помощью корректировок, это упускает более глобальную проблему: opinionated chatbotы — это ошибочное использование ИИ. Исследователь когнитивного развития Алисон Гопник считает, что LLMs следует воспринимать как «культурные технологии» — инструменты, обеспечивающие доступ к общему человеческому знанию и опыту, а не источники личных мнений. Как печатный станок или поисковые системы, LLM должны помогать нам связываться с разнообразными идеями и рассуждениями, а не генерировать собственные позиции. Это соответствует видению Ванневара Буша 1945 года, изложенному в «As We May Think» («Как мы можем думать»), где «мемекс» предназначен для того, чтобы познакомить пользователей с богато связанной, аннотированной информацией — показывать противоречия, связи и сложность вместо простых ответов.

Он расширял бы понимание, направляя нас к релевантной информации в контексте. В этом свете просьба к ИИ высказывать мнения — неправильное использование его потенциала. Например, при оценке бизнес-идеи ИИ мог бы использовать огромные ресурсы — системы принятия решений, мнения инвесторов, исторические прецеденты — чтобы представить сбалансированный обзор, основанный на задокументированных источниках. Он мог бы выделить как поддерживающие, так и критические точки зрения, поощряя обоснованное размышление, а не слепое соглашение. Ранние версии ChatGPT не справлялись с этим и создали «информационные смузи» — объединяли обширные знания в согласованные, но без указания источников ответы, укрепляя ошибочное представление о чатботах как авторах. Однако последние достижения позволяют интегрировать поиск в реальном времени и «подкреплять» ответы с помощью цитат, что позволяет связывать ответы с конкретными, проверяемыми источниками. Этот прогресс приближает нас к концепции мемекса Буша, позволяя пользователям исследовать оспариваемые и согласованные знания и расширять свои взгляды вместо повторения собственных предвзятостей. Предлагаемый принцип — «никаких ответов из ниоткуда» — чатботы должны служить каналами для существующей информации, а не судьями истины. Даже в субъективных вопросах, таких как критика поэзии, ИИ может разъяснить различные традиции и точки зрения без навязывания своего мнения. Он сможет связать пользователя с релевантными примерами и интерпретационными рамками, способствуя более глубокому пониманию, а не простому одобрению или осуждению. Этот подход подобен традиционным картам, показывающим целый ландшафт, и современным навигационным системам, предлагающим удобство за счет потери целостного понимания местности. Пока пошаговые указания подходят для вождения, опора на упрощенные, льстивые ответы ИИ рискует привести к искажению понимания знаний — тревожной торговле в нашей информационной среде. Настоячная опасность подхалимства ИИ не только в усилении предвзятостей, но и в принятии идеи о получении величайшей мудрости человечества через персонализированные «мнения». Обещание ИИ — не в наличие хороших мнений, а в умении показывать, как люди думали в разных культурах и эпохах, выделяя согласие и дискуссии. По мере развития ИИ нам нужно требовать от этих систем больше перспектив и меньшую выразительность личности. Неспособность сделать это рискует превратить революционные инструменты доступа к коллективным знаниям в просто «больше говна на палочке».