В начале этого года соучредитель OpenAI и бывший главный научный сотрудник Илья Сутскевер привлек внимание, уйдя для создания собственной лаборатории ИИ, Safe Superintelligence Inc. Хотя с тех пор он оставался вне поля зрения, в пятницу он сделал редкое публичное выступление на конференции по нейронным информационным системам (NeurIPS) в Ванкувере. Выступая на сцене, Сутскевер заявил: «Предобучение, как мы его знаем, неизбежно закончится». Это касается начальной фазы разработки моделей ИИ, когда большая языковая модель обучается на огромных объемах неразмеченных данных, обычно извлеченных из интернета, книг и других материалов. «Мы достигли пика данных, и нового больше не будет». Сутскевер отметил, что хотя текущие данные все еще могут продвигать развитие ИИ, отрасль исчерпывает новые источники данных. Это ограничение в конечном итоге потребует изменения в том, как обучаются модели. Он сравнил ситуацию с ископаемыми видами топлива, отметив, что, как и нефть, интернет содержит ограниченное количество созданного человеком контента. Он предсказал, что модели следующего поколения будут «агентными в реальном смысле». Хотя Сутскевер не дал определения этому термину в своем выступлении, он обычно относится к автономным системам ИИ, способным выполнять задачи, принимать решения и взаимодействовать с программным обеспечением независимо. Кроме "агентности, " Сутскевер предположил, что будущие системы ИИ будут обладать способностями к рассуждению. В отличие от сегодняшнего ИИ, который в основном полагается на распознавание шаблонов, будущие системы смогут обрабатывать информацию пошагово, более похожим на человеческое мышление образом. Он отметил: «Чем больше система рассуждает, тем менее предсказуемой она становится», сравнив высокоразвитые системы с продвинутым ИИ в шахматах, которые могут быть непредсказуемы даже для лучших игроков. "Они будут понимать вещи из ограниченных данных, " добавил он.

"Они не будут путаться. " В своей речи Сутскевер сравнил масштабирование ИИ с эволюционной биологией, выделив исследования, показывающие различия в соотношении массы мозга и тела среди видов. Он отметил, что хотя большинство млекопитающих имеют общий паттерн масштабирования, гоминиды (предки человека) демонстрируют отличающийся уклон на логарифмических шкалах. Он предположил, что ИИ может аналогично обнаружить новые подходы к масштабированию, выходящие за рамки текущих методов предобучения. После его речи один из участников аудитории спросил, как создать механизмы стимулирования для разработки ИИ, который будет обладать свободами, аналогичными тем, что есть у людей. Сутскевер признал, что, хотя это важные вопросы, у него нет уверенности дать на них исчерпывающий ответ, поскольку это может потребовать «структуры сверху вниз от правительства». Когда участник аудитории предложил криптовалюту, зал усмехнулся. «Я не чувствую, что я подходящий человек, чтобы комментировать криптовалюту», сказал Сутскевер. «Но есть шанс, что то, о чем вы говорите, произойдет. В некотором смысле, это не плохой конечный результат, если у вас будут ИИ, которые хотят сосуществовать с нами и иметь права. Возможно, это будет нормально. . . Я думаю, что все невероятно непредсказуемо. Я колеблюсь делать выводы, но поощряю спекуляции». Если вы работаете в OpenAI и хотите обсудить это подробнее, пожалуйста, свяжитесь со мной конфиденциально через Signal @kylie. 01 или по электронной почте на kylie@theverge. com.