Лідери штучного інтелекту переоцінюють інтенсивне використання даних для тренування великих мовних моделей, адже традиційні моделі, які масштабуються лінійно разом з даними, можливо, досягли своїх меж. Індустрія тепер підтримує менші, більш ефективні моделі та інноваційні методи тренування. Протягом багатьох років компанії, такі як OpenAI, Meta та Google, збирали величезні набори даних, вважаючи, що більше даних веде до створення розумніших моделей. Однак традиційна мудрість піддається перегляду. Дослідження показують, що трансформери, нейронні мережі за цими моделями, масштабуються відповідно до обсягу даних і обчислювальної потужності, яку вони отримують. Алекс Войка, консультант в Університеті штучного інтелекту імені Мохамеда бін Зайда, пояснив, що традиційні моделі трансформерів слідують цій лінійній залежності. Проте керівники починають бачити обмеження цього підходу і досліджують нові способи вдосконалення технології. Великі інвестиції в штучний інтелект залежали від віри в те, що це масштабування продовжиться, а генеральний директор Scale AI Олександр Ванг описує це як "найбільше питання в індустрії".

Дехто вважає, що поточний метод є спрощеним; Ейдан Гомез, генеральний директор Cohere, стверджує, що просто збільшувати розмір моделі і обчислювальну потужність є і надійним, і найменш інноваційним способом покращення моделей. Гомез підтримує менші, дешевші моделі, здобуваючи підтримку індустрії. Однак існують побоювання, що цей підхід може не досягти штучного загального інтелекту, форми ІІ здатного до людського рівня інтелекту, яку прагнуть розвинути великі компанії ІІ. Великі мовні моделі тренуються для "прогнозування наступного токена" у послідовності, як пояснив Річард Сочер, генеральний директор You. com. Він пропонує покращити моделі, перетворюючи питання в код, тим самим зменшуючи помилки і підвищуючи можливості. Не всі лідери погоджуються, що ІІ досяг своїх меж. Технічний директор Microsoft Кевін Скотт стверджує, що масштабування все ще приносить користь, всупереч деяким переконанням в індустрії. Наприклад, OpenAI прагне вдосконалити існуючі моделі, такі як о1, випущену у вересні, яка все ще використовує техніки прогнозування, але спеціалізується на кількісних завданнях, таких як програмування та математика. Відмінність між о1 і ChatGPT полягає у покращеному часі обробки для формування відповідей у о1. Валід Кадоус, колишній керівник інженерії, порівнює GPT-4 з балакучим другом, який надає багато ідей, тоді як о1 схожа на вдумливого друга, який надає стисливі і точні відповіді.