Az AI vezetői újraértékelik a nagy nyelvi modellek adatintenzív képzését, mivel úgy tűnik, a hagyományos modellek, melyek lineárisan skálázódnak az adatokkal, elérték határaikat. Az ipar most kisebb, hatékonyabb modelleket és innovatív képzési módszereket támogat. Éveken keresztül olyan cégek, mint az OpenAI, a Meta és a Google gyűjtöttek hatalmas adatállományokat azzal a meggyőződéssel, hogy több adat okosabb modelleket eredményez. Azonban ez a hagyományos bölcsesség újragondolásra kerül. Kutatások azt mutatják, hogy a transformerek, ezeknek a modelleknek a mögöttes neurális hálózatai, az adatokkal és számítási kapacitással összhangban skálázódnak. Alex Voica, a Mohamed bin Zayed Mesterséges Intelligencia Egyetem tanácsadója szerint a hagyományos transformer modellek ezt a lineáris kapcsolatot követik. Ám a vezetők kezdik látni ennek a megközelítésnek a korlátait, és új módszereket keresnek a technológia fejlesztésére. Az AI-ba történő nagy beruházások azon a hitel alapultak, hogy ez a skálázás folytatódik, ahogy azt a Scale AI vezérigazgatója, Alexandr Wang a "legnagyobb kérdésnek az iparágban" nevezte.

Néhányan azt állítják, hogy a jelenlegi módszer leegyszerűsített; Aidan Gomez, a Cohere vezérigazgatója szerint a modell méretének és számítási teljesítményének egyszerű növelése a legmegbízhatóbb, de legkevésbé innovatív módja a modellek fejlesztésének. Gomez kisebb, költséghatékony modelleket szorgalmaz, és az ipar támogatását is megnyerte. Azonban aggályok vannak, hogy ez a megközelítés talán nem éri el az általános mesterséges intelligencia szintjét, azaz az emberi szintű intelligenciával rendelkező AI-t, amelyet a nagy AI cégek fejleszteni kívánnak. A nagy nyelvi modelleket arra képezik, hogy "jósolják meg a következő tokent" egy szekvenciában, ahogy Richard Socher, a You. com vezérigazgatója magyarázza. Azt javasolja, hogy a modellek javítását az kérdések kóddá alakításával érhetjük el, így csökkentve a hibákat és növelve a képességeket. Nem minden vezető ért egyet abban, hogy az AI elérte a falat. Kevin Scott, a Microsoft CTO-ja szerint a skálázás még mindig nyújt eredményeket, ellentétben néhány iparági vélekedéssel. Az OpenAI például igyekszik fejleszteni meglévő modelleket, mint az o1, amelyet szeptemberben bocsátottak ki, és még mindig jóslási technikákat használ, de kimondottan kvantitatív feladatokra, mint például a kódolás és a matematika. Az o1 és a ChatGPT közötti különbség az o1 javított feldolgozási idejében rejlik a válaszok generálásakor. Waleed Kadous, egy korábbi mérnöki vezető, a GPT-4-et egy beszédes baráthoz hasonlítja, aki sok ötletet ad, míg az o1 olyan, mint egy elgondolkodtató barát, aki tömör, pontos válaszokat nyújt.