Elon Musk, diğer AI uzmanlarıyla birlikte, yapay zeka modellerini eğitmek için kullanılabilecek gerçek dünya verilerinin azaldığını kabul etti. X platformundaki bir canlı yayında Stagwell başkanı Mark Penn ile yaptığı tartışmada, Musk “AI eğitimi için kullanılan insanların birikmiş bilgi toplamını esasen tükettik” diyerek, bu tükenmenin geçen yıl gerçekleştiğini belirtti. AI şirketi xAI’yi yöneten Musk, eski OpenAI baş bilimcisi Ilya Sutskever’in Aralık ayında NeurIPS makine öğrenimi konferansında bu konuya değindiği görüşlerini yineledi. Sutskever, AI endüstrisinin "veri zirvesi"ne ulaştığını belirterek, eğitim verisi sıkıntısının mevcut model geliştirme uygulamalarında bir değişikliği gerektireceğini öngördü. Musk, yapay zeka tarafından üretilen sentetik verilerin ilerlemenin yolu olduğunu önererek, “Gerçek dünya verilerini desteklemenin tek yolu, AI’nin kendisinin [eğitim verisi] oluşturduğu sentetik verilerle olur. Sentetik veri ile, [AI] kendini değerlendirecek ve kendi kendine öğrenmeye katılacak” dedi. Microsoft, Meta, OpenAI ve Anthropic gibi birçok şirket, temel yapay zeka modellerini eğitmek için zaten sentetik verileri kullanıyor.

Gartner'a göre, 2024 yılında AI ve analiz projeleri için kullanılan verilerin %60'ı sentetik olarak üretilecek. Microsoft’un yakın zamanda açık kaynak olarak yayınladığı Phi-4, hem sentetik hem de gerçek dünya verileri kullanılarak eğitildi; Google’ın Gemma modelleri de aynı şekilde. Anthropic, oldukça yetenekli Claude 3. 5 Sonnet sisteminde sentetik verilerden faydalandı ve Meta, en yeni Llama modeli serisini AI tarafından üretilen verilerle ince ayarladı. Sentetik veriler üzerinde modellenmiş eğitimler, maliyet avantajları da sunar. AI startup’ı Writer, büyük ölçüde sentetik kaynaklara dayanan Palmyra X 004 modelinin geliştirilmesinin sadece 700. 000 dolara mal olduğunu, OpenAI’nin benzer boyuttaki bir modeli için tahminen 4. 6 milyon dolara kıyasla ifade etmektedir.