AI-ledere revurderer dataintensiv opplæring for store språkmodeller, da tradisjonelle modeller, som skalerer lineært med data, kan ha nådd sine grenser. Industrien støtter nå mindre, mer effektive modeller og innovative treningsmetoder. I årevis har selskaper som OpenAI, Meta og Google samlet massive datasett, med antakelsen om at mer data gir smartere modeller. Imidlertid blir den konvensjonelle visdommen vurdert på nytt. Forskning indikerer at transformatorer, de nevrale nettverkene bak disse modellene, skalerer i samsvar med data og beregningskraften de mottar. Alex Voica, en konsulent ved Mohamed bin Zayed University of Artificial Intelligence, forklarte at tradisjonelle transformator modeller følger dette lineære forholdet. Men ledere begynner å se begrensninger i denne tilnærmingen og utforsker nye måter å fremme teknologien på. Store investeringer i AI har avhengig av troen på at denne skaleringen ville fortsette, med Scale AI-sjef Alexandr Wang som beskriver det som det "største spørsmålet i industrien. " Noen argumenterer for at den nåværende metoden er forenklet; Aidan Gomez, CEO for Cohere, hevder at det å bare øke modellstørrelse og beregning er både den mest pålitelige og minst innovative måten å forbedre modeller på. Gomez fremmer mindre, kostnadseffektive modeller, og får støtte fra industrien.

Imidlertid gjenstår bekymringer om at denne tilnærmingen kanskje ikke oppnår kunstig generell intelligens, en form for AI i stand til menneskenivå intelligens, som store AI-selskaper ønsker å utvikle. Store språkmodeller trenes til å "forutsi neste token" i en sekvens, som forklart av Richard Socher, CEO for You. com. Han foreslår å forbedre modeller ved å få dem til å konvertere spørsmål til kode, og dermed redusere feil og forbedre evner. Ikke alle ledere er enige om at AI har møtt en grense. Microsofts CTO Kevin Scott hevder at skalering fortsatt gir avkastning, i motsetning til noen industribehov. OpenAI, for eksempel, har søkt å forbedre eksisterende modeller som o1, utgitt i september, som fortsatt bruker prediksjonsteknikker, men er spesialisert for kvantitative oppgaver som koding og matematikk. Forskjellen mellom o1 og ChatGPT ligger i o1s forbedrede prosesseringstid for å generere svar. Waleed Kadous, en tidligere ingeniørleder, sammenligner GPT-4 med en snakkesalig venn som gir mange ideer, mens o1 er som en tenksom venn som leverer konsise, nøyaktige svar.