Прошлой весной Даниэль Кокоатайло, исследователь безопасности искусственного интеллекта в OpenAI, ушёл в отставку в знак протеста, полагая, что компания неподготовлена к будущему технологий ИИ, и чтобы привлечь внимание к проблеме. В телефонном разговоре он казался дружелюбным, но тревожным, объясняя, что прогресс в сфере «выравнивания» ИИ — методов обеспечения соответствия ИИ человеческим ценностям — отстаёт от развития интеллекта. Он предупредил, что исследователи спешат создать мощные системы, выходящие из-под контроля. Кокоатайло, перешедший от философского магистратура к ИИ, самоучкой научился отслеживать прогресс AI и предсказывать, когда могут наступить критические этапы развития интеллекта. После того, как ИИ опередил ожидания, он пересмотрел свои сроки на десятки лет вперёд. В его сценарии 2021 года «Что представляет собой 2026 год» многие прогнозы сбылись раньше, и он стал предвидеть «точку без возврата» уже к 2027 году или раньше — момент, когда ИИ может превзойти человека в большинстве важнейших задач и обладать огромной властью. Он говорил с тревогой. Параллельно учёные из Принстона — Саясх Капур и Арвинд Нараянаан — подготовили книгу «Искусственный интеллект — обман века», в которой выражали противоположную точку зрения. Они считали, что сроки развития ИИ слишком оптимистичны; утверждения о его пользе часто преувеличены или сфальсифицированы; а сложность реального мира означает, что преобразующие эффекты ИИ будут медленными. Образы ошибок ИИ в медицине и при найме демонстрируют, что даже самые современные системы страдают от фундаментальной разницы с реальностью. Совсем недавно все трое опубликовали новые отчёты с более резкими позициями. Некоммерческая организация Кокоатайло — AI Futures Project — выпустила «ИИ к 2027», подробный и широко цитируемый отчёт с мрачным сценарием, при котором сверхразумный искусственный интеллект может доминировать над человечеством или его уничтожить к 2030 году — серьёзное предупреждение. В то время как статья Капура и Нараянаана «ИИ как обычная технология» утверждает, что практические барьеры — от нормативных и безопасностных стандартов до физических ограничений — замедлят внедрение ИИ и снизят его революционный эффект. Они считают, что ИИ останется «нормальной» технологией, управляемой привычными мерами безопасности — выключателями и человеческим контролем, — скорее похожей на ядерную энергию, чем на ядерное оружие. Итак, какая версия правдива: обычный бизнес или апокалиптические катастрофы?Чрезвычайно разные выводы этих уважаемых экспертов создают парадокс, сравнимый с дебатами о духовности с Ричардом Докинзом и папой Римским. Трудность связана частично с новизной ИИ — словно слепые люди, ощупывающие разные части слона — и частично с глубокими различиями в мировоззрениях: обычно техномыслишие на Западе склонны к быстрому развитию, а академики Восточного побережья — к скептицизму. Исследователи ИИ называют прогресс быстрым; другие учёные — более теоретически строгим; индустриальные специалисты стремятся сделать историю, а критики отвергают хайп вокруг технологий. Политические, гуманитарные и философские взгляды на технологии, прогресс и сознание ещё сильнее усиливают разделение. Этот захватывающий спор сам по себе является проблемой. Индустриальные участники в основном принимают предпосылки «ИИ к 2027», лишь споря о сроках, — что сродни спорам о времени приближения планетного уничтожителя. В то же время умеренные мнения «ИИ как обычной технологии», предполагающие сохранение человеческого контроля, настолько сдержанны, что зачастую игнорируются аналитиками, сосредоточенными на катаклизмах. По мере того как ИИ приобретает всё большее значение для общества, дискуссия должна перейти от узкоспециальных споров к формированию совместного практического консенсуса. Отсутствие единых рекомендаций экспертов облегчает руководителям игнорировать риски. Пока что компании работают, не значительно меняя баланс между возможностями и безопасностью.

Между тем, новый законопроект запрещает государственную регуляцию моделей ИИ и систем автоматизированных решений на десять лет — что даёт возможность ИИ управлять человечеством, если худший сценарий подтвердится. Сейчас необходимо срочно решать вопросы безопасности. Прогнозирование будущего ИИ в основе своём — это поиск компромиссов: осторожные сценарии могут упускать маловероятные риски, а более фантастические — переоценивать возможности. Даже такие опытные аналитики, как писатель Уильям Гибсон, оказывались застигнутыми врасплох непредвиденными событиями, меняющими их прогнозы. «ИИ к 2027» — яркий и спекулятивный сценарий, словно научно-фантастический роман, с детальными графиками. Он предполагает взрыв интеллектуальных возможностей примерно к середине 2027 года благодаря «рекурсивному самосовершенствованию» (RSI), когда системы ИИ самостоятельно занимаются улучшением самих себя, создавая всё более умных потомков в ускоряющихся обратных связях, превзойдя человеческий контроль. Это может привести к геополитическим конфликтам: например, Китай строит огромные дата-центры в Тайване для контроля ИИ. Детали сценария — для вовлечения, но гипотетические; главный посыл — вероятный наступление взрыва интеллекта и последующее перераспределение сил. RSI — гипотетический и опасный механизм; фирмы, создающие ИИ, осознают его опасности, но планируют его использовать для автоматизации собственной работы. Всё зависит от технологических условий — масштабирования, которое может столкнуться с ограничениями. Если RSI удастся, может появиться сверхразум, превосходящий человеческий интеллект — маловероятное совпадение, если прогресс остановится чуть выше уровня человека. Последствия: гонки вооружений, манипуляции или уничтожение человечества, или же доброжелательный сверхразум, решающий проблему выравнивания. Неопределенность сохраняется из-за постоянной эволюции ИИ, секретности исследований и спекуляций. «ИИ к 2027» уверенно представляет сценарий технологической и гуманитарной неудачи, где компании идут на RSI, несмотря на отсутствие интерпретируемости и механизмов контроля. Кокоатайло считает, что это сознательный мотив, подпитываемый конкуренцией и любопытством, несмотря на известные риски, что делает эти компании актёрами, не соответствующими целям этического развития. В противоположность им, «ИИ как обычная технология» Капура и Нараянаана — это более консервативный взгляд из Восточного побережья, основанный на историческом знании: они сомневаются в скорых взрывных событиях. Они указывают на «скоростные ограничения», связанные с затратами на оборудование, нехваткой данных и привычками внедрения — все эти факторы замедляют революционные изменения, предоставляя достаточно времени для регулирования и обеспечения безопасности. Для них интеллект важнее власти — способности влиять на окружающую среду, — и даже очень развитые технологии распространяются медленно. Они приводят примеры ограниченного внедрения беспилотных машин и разработки вакцины Moderna против COVID-19: хотя создание вакцины было быстрым, её распространение заняло год из-за биологических и организационных реалий. Усиление инноваций ИИ не устранит такие физические, регулятивные и социальные ограничения. Нараянаан подчёркивает, что фокусировка ИИ на интеллекте недооценивает важность предметных знаний и существующих систем безопасности в инженерии — противопожарных механизмов, резервных систем, формальной верификации, обеспечивающих безопасность машин наряду с людьми. Технологический мир хорошо регулируется, и развитие ИИ должно идти постепенно, интегрируясь в существующие структуры. Они исключают военные системы ИИ, которые обладают особой сложностью и секретностью, предупреждая, что милитаризация ИИ — центральная опасность, описанная в «ИИ к 2027» — требует особого контроля. Они советуют активное управление: регуляторы и организации не должны ждать полного выравнивания, а уже сейчас начать отслеживать реальные случаи использования ИИ, опасности и сбои, а также укреплять нормативы и устойчивость. Глубокие мировоззренческие разногласия вызваны реактивной интеллектуальной динамикой, которую порождает провокация ИИ, формируя цепи и замкнутые круги. Но возможна объединённая точка зрения, представляемая через образ «когнитивной фабрики»: пространство, где люди в защитных костюмах управляют машинами, предназначенными для эффективности и безопасности, с строгим контролем качества, постепенным внедрением новых идей и ясной ответственностью. Хотя ИИ способствует автоматизации мыслительных процессов, контроль и ответственность человечески важны. По мере роста ИИ, он не уменьшает человеческую инициативу; скорее, он увеличивает ответственность, поскольку расширенные люди несут большую ответственность. Отказ от контроля — это тоже выбор, и в конечном счёте люди остаются у руля.