Elon Musk coincideix amb altres experts en intel·ligència artificial que hi ha una escassetat de dades del món real per entrenar models d'IA. Durant una discussió transmesa en directe amb el president de Stagwell, Mark Penn, a X, Musk va comentar: "Pràcticament hem esgotat la suma acumulada del coneixement humà en l'entrenament d'IA", assenyalant que aquest esgotament va tenir lloc l'any passat. Musk, que dirigeix l'empresa d'IA xAI, va reiterar els sentiments de l'antic científic en cap d'OpenAI, Ilya Sutskever, qui va abordar aquest problema a la conferència de mineria d'aprenentatge automàtic NeurIPS al desembre. Sutskever va mencionar que la indústria de l'IA havia arribat al seu "pic de dades", predient que l'escassetat de dades per entrenar necessitaria un canvi en les pràctiques actuals de desenvolupament de models. Musk va suggerir que les dades sintètiques, generades per la mateixa IA, són el camí a seguir, dient: "L'única manera de suplementar [les dades del món real] és amb dades sintètiques, on l'IA crea [dades d'entrenament]. Amb dades sintètiques, [la IA] s'avaluarà a ella mateixa i es dedicarà a l'autoaprenentatge. " Moltes empreses, incloent Microsoft, Meta, OpenAI i Anthropic, ja estan incorporant dades sintètiques per entrenar els seus models principals d'IA.

Segons Gartner, el 60% de les dades utilitzades per a projectes d'IA i analítica el 2024 seran generades sintèticament. El Phi-4 de Microsoft, recentment publicat com a codi obert, es va entrenar utilitzant tant dades sintètiques com del món real, igual que els models Gemma de Google. Anthropic també va utilitzar dades sintètiques per al seu sistema Claude 3. 5 Sonnet altament capaç, i Meta va ajustar la seva última sèrie de models Llama amb dades generades per IA. Entrenar models amb dades sintètiques també ofereix beneficis de costos. L'empresa emergent d'IA Writer afirma que el seu model Palmyra X 004, construït en gran mesura amb fonts sintètiques, va costar només 700. 000 dòlars per desenvolupar, en comparació amb els 4, 6 milions de dòlars estimats per a un model de mida similar d'OpenAI.