Tehisintellekti juhid hindavad uuesti üle andmemahukaid treeningmeetodeid suurekeelsete mudelite jaoks, kuna traditsioonilised mudelid, mis skaleeruvad lineaarse andmemahuga, võivad olla jõudnud oma piirideni. Tööstus toetab nüüd väiksemaid, tõhusamaid mudeleid ja uuenduslikke treeningmeetodeid. Aastaid on ettevõtted nagu OpenAI, Meta ja Google kogunud tohutuid andmekogumeid, eeldades, et rohkem andmeid toob kaasa targemad mudelid. Kuid see tavaline arusaam on ümber mõtestamisel. Uuringud viitavad sellele, et trafo mudelid, need närvivõrgud, mis asuvad nende mudelite taga, skaleeruvad vastavalt saadud andmetele ja arvutusvõimsusele. Alex Voica, konsultant Mohamed bin Zayed Tehisintellekti Ülikoolis, selgitas, et traditsioonilised trafo mudelid järgivad seda lineaarset seost. Ent juhid hakkavad selles lähenemisviisis piiranguid nägema ja uurivad uusi viise tehnoloogia edendamiseks. Suurte investeeringute tegemine tehisintellekti on sõltunud usust, et see skaleerimine jätkub, nagu kirjeldas Scale AI tegevjuht Alexandr Wang, nimetades seda tööstuse "suurimaks küsimuseks".

Mõned väidavad, et praegune meetod on liiga lihtsustatud; Aidan Gomez, Cohere tegevjuht, väidab, et lihtsalt mudelite suuruse ja arvutusvõimsuse suurendamine on nii kõige usaldusväärsem kui ka kõige vähem uuenduslik viis mudelite parandamiseks. Gomez propageerib väiksemaid, kulutõhusamaid mudeleid, saades tööstuses toetust. Ent siiski on muret, et see lähenemisviis ei pruugi saavutada üldkaupse tehisintellekti, tehisintellekti vormi, mis suudaks saavutada inimtasemel intelligentsuse, mille poole suured tehisintellekti ettevõtted püüdlevad. Suured keelemudelid on koolitatud järgmise "tähise" prognoosimiseks jadas, nagu selgitas Richard Socher, You. com tegevjuht. Ta soovitab mudeleid täiustada, muutes küsimused koodiks, et seeläbi vähendada vigu ja tõhustada võimekust. Mitte kõik juhid ei nõustu, et tehisintellekt on jõudnud tupikusse. Microsofti tehnoloogiajuht Kevin Scott väidab, et skaleerimine toob siiski kasu, vastupidiselt mõnele tööstuse uskumusele. Näiteks OpenAI on püüdnud täiustada olemasolevaid mudeleid, nagu o1, mis avaldati septembris ja kasutab endiselt ennustustehnikaid, kuid on spetsialiseerunud kvantitatiivsetele ülesannetele, nagu kodeerimine ja matemaatika. Erinevus o1 ja ChatGPT vahel seisneb o1 parendatud töötlemisajas vastuste genereerimisel. Waleed Kadous, endine insenerijuht, võrdleb GPT-4 jutuka sõbraga, kes pakub palju ideid, samas kui o1 sarnaneb mõtlikule sõbrale, kes edastab lühikesi, täpseid vastuseid.