AI liderleri, geleneksel modellerin verilerle doğrusal olarak ölçeklendiği veri yoğun eğitim yöntemlerini yeniden değerlendiriyor, çünkü bu modeller sınırlarına ulaşmış olabilir. Sektör artık daha küçük, daha verimli modelleri ve yenilikçi eğitim yöntemlerini destekliyor. Yıllardır OpenAI, Meta ve Google gibi şirketler, daha fazla verinin daha akıllı modeller ürettiği varsayımıyla devasa veri setleri topladı. Ancak geleneksel düşünce gözden geçiriliyor. Araştırmalar, bu modellerin arkasındaki nöral ağlar olan transformerin, aldıkları veri ve hesaplama gücüne göre ölçeklendiğini gösteriyor. Mohamed bin Zayed Yapay Zeka Üniversitesi'nden danışman Alex Voica, geleneksel transformer modellerinin bu doğrusal ilişkiyi izlediğini açıkladı. Ancak yöneticiler bu yaklaşımın sınırlamalarını görmeye başlıyor ve teknolojiyi ilerletmenin yeni yollarını araştırıyorlar. AI'ye yapılan büyük yatırımlar, bu ölçeklenmenin devam edeceği inancına dayanıyordu ve Scale AI CEO'su Alexandr Wang, bunu sektörün "en büyük sorusu" olarak tanımladı.

Bazıları, mevcut yöntemin basit olduğunu savunuyor; Cohere CEO'su Aidan Gomez, model boyutunu ve hesaplamayı artırmanın hem en güvenilir hem de en az yenilikçi yol olduğunu iddia ediyor. Gomez, daha küçük, maliyet etkin modelleri destekliyor ve sektörden destek topluyor. Ancak, bu yaklaşımın insan seviyesinde zeka kapasitesine sahip yapay genel zekayı (AGI) başarmayabileceği konusunda endişeler var, ki büyük AI şirketleri bu tür bir yapay zeka geliştirmeyi hedefliyor. Büyük dil modelleri, bir dizideki "bir sonraki token'ı tahmin etme" üzerine eğitilir, bu durumu You. com CEO'su Richard Socher açıklıyor. O, modelleri geliştirmek için soruları koda dönüştürmelerini sağlayarak hataları azaltmayı ve yetenekleri artırmayı öneriyor. Tüm liderler, AI'nin bir duvara çarptığı konusunda hemfikir değil. Microsoft'un CTO'su Kevin Scott, aksine ölçeklemenin hâlâ getiri sağladığını savunuyor. Örneğin, OpenAI, Eylül ayında piyasaya sürülen o1 gibi mevcut modelleri geliştirmeye çalışıyor, bu model tahmin tekniklerini kullanmaya devam ediyor ancak kodlama ve matematik gibi nicel görevler için uzmanlaşmış durumda. o1 ile ChatGPT arasındaki fark, o1'in cevapları üretme süresindeki geliştirmede yatıyor. Eski mühendislik lideri Waleed Kadous, GPT-4'ü pek çok fikir sunan konuşkan bir arkadaşa benzetirken, o1'i düşünceli ve özlü, doğru yanıtlar veren bir arkadaş olarak karşılaştırıyor.