Lideri u oblasti veštačke inteligencije preispituju metode obuke velikih jezičkih modela koji zavise od velikih količina podataka, jer se tradicionalni modeli, koji linearno skaliraju s podacima, možda približavaju svojim granicama. Industrija sada podržava manje, efikasnije modele i inovativne metode obuke. Godinama su kompanije poput OpenAI, Meta i Googlea prikupljale ogromne baze podataka, verujući da više podataka rezultira pametnijim modelima. Međutim, konvencionalna mudrost se preispituje. Istraživanja ukazuju na to da transformatori, neuronske mreže iza ovih modela, skaliraju u skladu sa podacima i računalnom snagom koju dobijaju. Aleks Voika, konsultant na Univerzitetu Mohamed bin Zayed za veštačku inteligenciju, objasnio je da tradicionalni modeli transformatora slede ovu linearnu vezu. Ali rukovodioci počinju da uviđaju ograničenja ovog pristupa i istražuju nove načine za unapređenje tehnologije. Velike investicije u veštačku inteligenciju oslanjale su se na verovanje da će se ovo skaliranje nastaviti, a Aleksandr Vang, direktor Scale AI-a, opisuje to kao "najveće pitanje u industriji".

Neki tvrde da je trenutna metoda pojednostavljena; Aidan Gomez, direktor Cohere-a, tvrdi da je prosto povećanje veličine modela i računalne moći i najpouzdaniji i najmanje inovativan način unapređenja modela. Gomez promoviše manje, troškovno-efikasne modele, prikupljajući podršku industrije. Međutim, i dalje postoje zabrinutosti da ovaj pristup možda neće postići veštačku opštu inteligenciju, oblik AI-a sposoban za inteligenciju na nivou čoveka, što je cilj najvećih AI kompanija. Veliki jezički modeli obučeni su da "predviđaju sledeći token" u sekvenci, kako objašnjava Ričard Sočer, direktor You. com-a. On predlaže poboljšanje modela tako što će ih naučiti da pretvaraju pitanja u kod, čime se smanjuju greške i unapređuju sposobnosti. Nisu svi lideri saglasni da je AI dostigla zid. Tehnički direktor Microsofta Kevin Skot tvrdi da skaliranje i dalje donosi rezultate, uprkos nekim verovanjima u industriji. OpenAI, na primer, nastoji da unapredi postojeće modele poput o1, koji je objavljen u septembru, a koji i dalje koristi tehnike predviđanja, ali je specijalizovan za kvantitativne zadatke poput kodiranja i matematike. Razlika između o1 i ChatGPT je u o1-ovom poboljšanom vremenu obrade za generisanje odgovora. Valid Kadous, bivši inženjerski rukovodilac, poredi GPT-4 s pričljivim prijateljem koji daje mnogo ideja, dok je o1 kao pažljiv prijatelj koji pruža sažete, precizne odgovore.