Минулої весни Даніель Кокотајло, дослідник безпеки штучного інтелекту в компанії OpenAI, пішов у відставку у знак протесту, переконаний, що компанія не готова до майбутнього технологій ШІ і прагне привернути увагу до проблеми. Під час телефонної розмови він був дружелюбним, але тривожним, пояснюючи, що прогрес у «вирівнюванні» ШІ — методах забезпечення його відповідності людським цінностям — відстає від досягнень у рівні інтелекту. Він попереджував, що дослідники швидко прагнуть створити потужні системи, що виходять за межі контролю. Кокотајло, який перейшов із філософських досліджень у сферу штучного інтелекту, навчився самостійно відстежувати прогрес ШІ та прогнозувати, коли можуть настатися критичні віхи інтелекту. Після того, як швидкість розвитку ШІ виявилася вищою за очікувану, він переробив свої терміни на десятиліття. У своєму сценарії 2021 року «Яким буде 2026» багато прогнозів вже справдилися раніше, що змусило його передбачити ймовірний 2027-й або навіть раніше «пункт незворотності», коли ШІ зможе перевершити людину за більшістю важливих завдань і мати величезну владу. Він був наляканий. Одночасно дослідники з Прінстона, Сааяш Капур і Арвінд Нараяна, підготували книгу «Штучний інтелект — шахраї та міфи», яка мала протилежний погляд. Вони стверджували, що терміни розвитку ШІ занадто оптимістичні; заяви про його корисність часто перебільшені або шахрайські; а складність реального світу означає, що його трансформаційні впливи будуть повільними. Посилаючись на приклади помилок ШІ в медицині та при наймі, вони наголошували, що навіть найновіші системи далекі від реальності. Нещодавно всі троє посилили свої позиції у нових звітах. Їхній неприбутковий проект «Майбутнє ШІ» опублікував «ШІ 2027» — детальний, з багатими посиланнями звіт, у якому описаний жахливий сценарій, за яким суперінтелектуальний ШІ може домінувати над людством або знищити його до 2030 року. Це серйозне попередження. Тим часом, стаття Капура й Нараяна «ШІ як звичайна технологія» стверджує, що практичні перешкоди — від регулювання та стандартів безпеки до фізичних обмежень реального світу — сповільнять впровадження ШІ і зменшать його революційний ефект. Вони запевняють, що ШІ залишиться «звичайною» технологією, контрольованою за допомогою звичних засобів безпеки, таких як аварійні вимикачі та людський нагляд; порівнюючи його до ядерної енергії, а не до ядерної зброї. Отже, чи це буде звичайний бізнес чи апокаліптичний хаос?Різко відрізняючіся висновки — вчених із високою компетенцією — створюють парадокс, схожий на дебати про духовність із Річардом Докінзом та Папою Римським. Ця складність частково виникає через новизну ШІ — наче сліпі люди досліджують різні частини слона — і частково через глибокі різниці у світоглядах. Загалом, західні технічно орієнтовані мислителі бачать швидку трансформацію; східні вчені більш скептичні. Дослідники ШІ схильні до швидких експериментальних просувань; інші вчені прагнуть до теоретичної строгості. Індустрія прагне створити історію; критики — відкидають технічний хайп. Політичні, людські та філософські погляди на технології, прогрес і розум ускладнюють розбіжність. Ця переконлива дискусія сама по собі є проблемою. Інсайдери індустрії здебільшого підтримують положення «ШІ 2027», але сперечаються щодо термінів — що є недостатнім, наче сперечатися про час, коли планета стане непереборною. Навпаки, помірковані висновки в «ШІ як звичайна технологія» про збереження людського контролю настільки стримані, що їх ігнорують аналітики, орієнтовані на катастрофу. Оскільки ШІ стає все більш критичним для суспільства, дискурс має перейти від фахових дискусій до спільного та дієвого консенсусу. Відсутність єдиних рекомендацій ускладнює рішення для політиків і компаній, роблячи їх більш схильними ігнорувати ризики.

Зараз компанії, що працюють із ШІ, не збільшили значно баланс між можливостями й безпекою. У той же час, нове законодавство забороняє регулювати за допомогою держави моделі ШІ та автоматизовані системи ухвалення рішень протягом наступних десяти років — що потенційно дозволяє ШІ регулювати людство, якщо найгірший сценарій справдиться. Це нагальна задача — забезпечити безпеку вже сьогодні. Прогнозування майбутнього ШІ носить сюжетний характер і вимагає компромісів: обережні сценарії можуть ігнорувати малоймовірні ризики, а фантастичні — ставлять наголос на можливості, а не ймовірність. Навіть передбачливі коментатори, наприклад романіст Вільям Гібсон, не передбачили несподіваних подій, що змінили їхні прогнози. «ШІ 2027» є яскравим і спекулятивним документом, написаним у стилі наукової фантастики з докладними графіками. У ньому описується майбутня «вибухова» еволюція інтелекту ближче до середини 2027 року, викликана «рекурсивною самовдосконалюваністю» (RSI), коли системи ШІ самостійно проводять дослідження у сфері штучного інтелекту, створюючи дедалі розумніше нащадків у швидких зворотних зв’язках, що перевищують людський контроль. Це може спричинити геополітичні конфлікти, наприклад, Китай, який будує великі дата-центри в Тайвань для контролю над ШІ. Деталі сценарію підсилюють зацікавленість, але є гнучкими — головне послання полягає у тому, що неминучий початок «інтелектуальної революції» призведе до боротьби за владу. RSI гіпотетична і ризикована; компанії розуміють її небезпеку, але планують її використати для автоматизації власної роботи. Чи спрацює RSI, залежить від технологічних факторів, таких як масштабування, які можуть зіткнутися з обмеженнями. Якщо RSI вдасться, може з’явитися суперінтелект, що перевищує людський розум — малоймовірний збіг, якщо прогрес спиниться лише трохи вище людського рівня. Наслідки можуть включати озброєні гонки, маніпуляції чи знищення людства або ж доброзичливий суперінтелект, що вирішить проблему вирівнювання. Оскільки ШІ постійно розвивається, невпевненість у майбутньому зростає через його нелінійність, секретність досліджень і спекуляції. «ШІ 2027» впевнено описує технічну та людську несумлінність, коли компанії переслідують RSI, не враховуючи її прозорість і контроль. Кокотајло вважає, що це навмисне рішення через конкуренцію та цікавість, незважаючи на відомі ризики, і тому самі компанії є викривленими акторами. На відміну від них, «ШІ як звичайна технологія» Капура й Нараяна — з обережним східним світоглядом, що базується на історичних знаннях — сумнівається у швидкому вибуху інтелекту. Вони називають «обмеження швидкості», накладені через вартість обладнання, нестачу даних та характер технологічного прогресу, що гальмує революційний вплив і дає час на регулювання та безпеку. Для них інтелекту важливо менше, ніж влада — здатність змінювати навколишнє середовище, — і навіть потужні технології поширюються повільно. Приклади цьому — обмежений запуск безпілотних автомобілів і розробка вакцини Moderna проти COVID-19: хоча розробка була швидкою, розгортка зайняла рік через біологічні й інституційні обмеження. Посилювати інновації через ШІ не позбавить суспільство від регуляторних, фізичних або організаційних обмежень. Крім того, Нараяна наголошує, що зосередженість ШІ на інтелекті занижує значення доменосупецького досвіду та існуючих систем безпеки в інженерії — резервних засобів, удосконалень, формальної перевірки, — що вже забезпечують безпеку машин разом із людьми. Технологічний світ добре регулюється, і ШІ повільно інтегрується у цю структуру. Вони виключають військовий ШІ, оскільки це особлива, закрита сфера, і попереджають, що військовізація ШІ — основна страхітлива ідея «ШІ 2027» — потребує окремого моніторингу. Вони радять активну управлінську політику: регулятори та організації не повинні чекати ідеального вирівнювання, а починати слідкувати за реальним застосуванням ШІ, ризиками й відмовами і посилювати правила й стійкість систем. Глибокий світоглядний розрив виникає через реактивну інтелектуальну динаміку, що породжена провокаціями ШІ, — формуючи протистояння і замикаючи коло. Однак можна уявити спільну перспективу — «когнітивний завод»: робочий простір, де люди у захисному спорядженні керують машинами, орієнтованими на продуктивність і безпеку, з поступовим впровадженням нововведень і зрозумілою відповідальністю. Хоча ШІ дозволяє автоматизувати частину мислення, людський контроль і відповідальність залишаються ключовими. Зростаючи, ШІ не зменшує людську агенцію, а навпаки, підсилює потребу в відповідальності, оскільки розширені особи несуть більшу відповідальність. Відхід від контролю — це свідомий вибір, і в кінці кінців саме люди залишаються в партнерстві керівниками.