Elon Musk er enig med andre AI-eksperter om at det er en knapphet på virkelige data igjen for å trene AI-modeller. Under en direktesendt diskusjon med Stagwell-formann Mark Penn på X sa Musk: “Vi har i hovedsak brukt opp den kumulative summen av menneskelig kunnskap i AI-trening, " og bemerket at denne uttømmingen skjedde i fjor. Musk, som driver AI-selskapet xAI, gjentok følelser fra tidligere OpenAI sjefsvitenskapsmann Ilya Sutskever, som tok opp dette problemet på NeurIPS maskinlæringskonferanse i desember. Sutskever nevnte at AI-industrien hadde nådd «datatoppen» og spådde at mangelen på treningsdata vil nødvendiggjøre en endring i dagens modellutviklingspraksis. Musk foreslo at syntetiske data, generert av AI selv, er veien videre, og sa: “Den eneste måten å supplere [virkelige data] er med syntetiske data, der AI skaper [treningsdata]. Med syntetiske data vil [AI] evaluere seg selv og engasjere seg i selvlæring. ” Mange selskaper, inkludert Microsoft, Meta, OpenAI og Anthropic, inkorporerer allerede syntetiske data for å trene sine primære AI-modeller.

Ifølge Gartner vil 60% av dataene brukt til AI og analyseprosjekter i 2024 være syntetisk generert. Microsofts nylig åpen kildekode-tilgjengelige Phi-4 ble trent ved bruk av både syntetiske og virkelige data, det samme gjaldt Googles Gemma-modeller. Anthropic brukte også syntetiske data for sitt høyt utviklede Claude 3. 5 Sonnet-system, og Meta finjusterte sin nyeste Llama-serie av modeller med AI-genererte data. Å trene modeller på syntetiske data gir også kostnadsfordeler. AI-startupen Writer hevder at deres Palmyra X 004-modell, i stor grad bygget på syntetiske kilder, kostet bare $700, 000 å utvikle, sammenlignet med de estimerte $4. 6 millioner for en modell av lignende størrelse fra OpenAI.