Elon Musk се согласува со други експерти за вештачка интелигенција дека има недостиг на реални податоци за тренирање на AI модели. За време на дискусија во живо со претседателот на Stagwell, Марк Пен на X, Маск забележа: „Ние во суштина ја искористивме збирната сума на човековото знаење во AI тренирањето, “ забележувајќи дека оваа истрошеност се случи лани. Маск, кој ја води AI компанијата xAI, ги повтори ставовите на поранешниот главен научник на OpenAI, Илија Сутскевер, кој ја разгледа оваа тема на конференцијата за машинско учење NeurIPS во декември. Сутскевер спомена дека AI индустријата има достигнато „врв на податоци, “ предвидувајќи дека недостатокот на податоци за тренирање ќе бара промена во актуелните практики за развој на модели. Маск предложи дека синтетичките податоци, генерирани од самата вештачка интелигенција, се начинот напред, велејќи: „Единствениот начин да се надополнат [реалните податоци] е со синтетички податоци, каде AI сам создава [подаци за тренирање]. Со синтетички податоци, [AI] ќе се оценува и ќе се ангажира во самостојно учење. “ Многу компании, вклучувајќи ги Microsoft, Meta, OpenAI, и Anthropic, веќе инкорпорираат синтетички податоци за тренирање на нивните примарни AI модели.

Според Gartner, 60% од податоците користени за AI и аналитички проекти во 2024 ќе бидат синтетички генерирани. Microsoft неодамна го објави изворниот код на Phi-4, кој беше трениран со употреба на синтетички и реални податоци, исто како и Google’s Gemma модели. Anthropic исто така го користеше синтетичките податоци за нивниот многу способен систем Claude 3. 5 Sonnet, а Meta ги финесира нивната најнова Llama серија модели со податоци генерирани од AI. Тренирањето на модели на синтетички податоци нуди и финансиски предности. Стартапот за вештачка интелигенција Writer тврди дека нивниот модел Palmyra X 004, главно изграден на синтетички извори, чинеше само 700. 000 долари за развој, во споредба со проценетите 4. 6 милиони долари за модел од слична големина од OpenAI.