Существует беспокойство среди экспертов, что мы, возможно, достигли пика искусственного интеллекта в связи с быстрыми прогрессами в технологии генеративного искусственного интеллекта в последние годы. Ричард Сочер, бывший главный ученый в Salesforce и генеральный директор поисковика, работающего на основе искусственного интеллекта You. com, считает, что есть еще место для улучшений. Во время подкаста для Harvard Business Review Сочер объяснил, что мы можем усовершенствовать большие языковые модели (LLM), заставляя их реагировать на конкретные промпт-запросы в коде. На данный момент LLM только предсказывают следующий токен на основе предшествующих токенов. Токены являются наименьшими единицами значимых данных в системах искусственного интеллекта. Несмотря на их впечатляющую способность понимать чтение и программировать, модели искусственного интеллекта все еще имеют тенденцию к генерации фактических ошибок, явление, известное как галлюцинация. Это особенно проблематично при ответе на сложные математические вопросы. Сочер привел пример вопроса, с которым большая языковая модель могла бы столкнуться: «Если бы я дал ребенку 5000 долларов при рождении для инвестирования в безоткатный индексный фонд акций, с определенной годовой ставкой доходности, сколько денег у них было бы в возрасте от двух до пяти лет?» Он объяснил, что большая языковая модель сгенерирует текст на основе похожих вопросов, с которыми она уже сталкивалась ранее, не вовлекаясь в тщательное мышление и не выполняя вычислений.

Однако, если мы "заставим" модель интерпретировать вопрос как компьютерный код и дать ответ на основе этого кода, мы скорее получим точный ответ. Сочер не предоставил конкретных деталей процесса, но упомянул, что в You. com им удается переводить вопросы на Python. В целом, программирование приведет к значительным улучшениям моделей искусственного интеллекта в следующие годы. Комментарии Сочера появляются в контексте растущего количества больших языковых моделей, которые не могут превзойти GPT-4 от OpenAI. Gemini, который считается "самой мощной моделью искусственного интеллекта от Google", лишь незначительно превосходит GPT-4 важных показателях, таких как MMLU, который измеряет знания и навыки решения проблем моделей искусственного интеллекта. Несмотря на то, что обычным подходом являлось масштабирование этих моделей путем предоставления большего количества данных и вычислительной мощности, Сочер предлагает, что такой подход может привести в тупик. Он считает, что есть предел полезности дополнительных данных для обучения моделей.