Тихая революция трансформирует искусственный интеллект, отличаясь от ярких новинок вроде чат-ботов и генераторов изображений, которые заполняют заголовки. Эта революция сосредоточена на обучении с подкреплением (RL), методе, отточенном в академической среде свыше двух десятилетий, сейчас ведущем новую волну инноваций в ИИ. Как ребенок учится ездить на велосипеде методом проб и ошибок, RL включает алгоритмы, исследующие, адаптирующиеся и обучающиеся на обратной связи — сравнимо с охотой за пасхальными яйцами, направляемой подсказками “теплее” или “ холоднее”. Этот подход меняет не только то, как машины учатся, но и само определение интеллекта. **Старое поколение: традиционное машинное обучение** Чтобы понять появление RL, рассмотрим два основных вида традиционного машинного обучения: - *Обучение с учителем:* алгоритмы учатся на размеченных данных, например, на тысячах фотографий кошек и собак, чтобы делать предсказания или генерировать выводы. Это лежит в основе приложений от анализа рентгеновских снимков до текстогенерации в ChatGPT, которая предсказывает следующее слово на основе огромных текстовых данных. Однако этот метод требует огромных объемов размеченных данных и значительных вычислительных ресурсов. - *Обучение без учителя:* этот метод обнаруживает закономерности без размеченных данных, например, группирует песни по мелодии или сегментирует отклики клиентов по теме. Он более экономичен в данных, но испытывает трудности при сложных контекстуальных оценках того, что является “правильным”. Оба метода прекрасно работают в своих сферах и зачастую комбинируются, но дают сбои, когда данных мало или цели неясны — в этом помогает RL. **Что такое обучение с подкреплением?** Обучение с подкреплением учится через практику и пробует разные подходы, руководствуясь только наградами или штрафами, полученными за взаимодействие с окружающей средой. Оно не следует заранее заданным сценариям, а выясняет решения методом trial and error. В 2015 году исследователи Google продемонстрировали агента, обученного с помощью RL, который освоил игры Atari, используя только пиксели экрана и показатели счета. Он научился побеждать в таких играх, как Space Invaders и Q*bert, зачастую совершая неожиданные ходы. Спустя год, применяя схожие методы, AI от Google победил чемпиона мира по игре Го — это был прорыв, о котором говорили десятилетиями. RL отлично справляется с задачами без явных инструкций, требуя лишь цели и метрики успеха, а не огромных размеченных данных. **Почему обучение с подкреплением меняет игру** Преимущества RL включают: - *Эффективность:* в отличие от обучения с учителем, основанного на огромных дата-центрах, RL обучается на опыте, требует меньше данных и ресурсов. - *Креативность:* агенты RL свободно исследуют пространство решений и часто находят пути, которые обходят человека. Необычные стратегии AI Atari намекают на применение в логистике и разработке лекарств. - *Гибкость:* навыки, приобретённые в одном контексте, легко адаптируются к другим, что полезно для роботов, перемещающихся по лабиринтам или играющих в разные игры. **Звёздный прорыв DeepSeek** Пока OpenAI остаётся закрытой организацией, NVIDIA выступает публичным лидером в развитии генеративного ИИ.

За два года её рыночная стоимость выросла с 200 миллиардов до свыше 2 триллионов долларов, поставляя критически важное оборудование для гигантов ИИ. Роль NVIDIA часто сравнивают с легендарным партнерством “Wintel” между Intel и Microsoft. Однако в январе 2025 года DeepSeek показала крупную языковую модель, обученную методом reinforcement learning, которая по потенциалу конкурирует с ChatGPT, но при этом требует значительно меньших вычислительных затрат. Объявление вызвало падение акций NVIDIA более чем на 10 %, уничтожив более 500 миллиардов долларов рыночной стоимости и поставив под сомнение необходимость ресурсов. Исследования DeepSeek быстро привлекли внимание: их публикация “DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning” был процитирована более 500 раз за 2025 год и стала самой часто цитируемой работой по RL этого года. В ней показывается, что обучение с подкреплением помогает достигать высокой производительности без чрезмерных вычислительных затрат. **Глубокий смысл** Значение обучения с подкреплением — не только техническое, оно философское. Его проба ошибок отражает человеческое обучение и вызывает глубокие вопросы: если машины смогут воспроизвести этот процесс, что по-настоящему определяет интеллект?Если они обнаруживают закономерности, недоступные человеку, чему мы можем научиться о нашем мире? Эксперт по ИИ Эндрю Энг отметил в дискуссии с Тоби Уолшем в UNSW Sydney: «Моя кандидатская диссертация была о reinforcement learning…и моя команда работала над роботом». Его ранние исследования сейчас дают плоды. Возможные применения RL огромны — от более эффективных энергетических сетей и персонализированного обучения до умных роботов. Однако его автономный характер требует осторожности и этического контроля. Например, агент RL, которому поручили снизить трафик, может перенаправлять машины в тихие районы, улучшая поток, но создавая локальные неудобства. Поэтому прозрачность и этика станут важнейшими аспектами. Если всё сделать правильно, обучение с подкреплением может открыть эпоху, когда машины не только имитируют человеческий интеллект, но и создают новые горизонты для инноваций. Далеко не в видеологической придатки, обучение с подкреплением — ключ к развитию ИИ. В поиске более умного и при этом ресурсоэкономичного интеллекта ведёт именно оно.