Elon Musk anakubaliana na wataalamu wengine wa AI kwamba kuna upungufu wa data ya ulimwengu halisi iliyobaki kwa mafunzo ya mifano ya AI. Wakati wa majadiliano yaliyosambazwa moja kwa moja na mwenyekiti wa Stagwell, Mark Penn, kwenye X, Musk alisema, “Tumetumia kwa kiasi kikubwa jumla ya maarifa ya binadamu katika mafunzo ya AI, ” akibainisha kwamba upungufu huu ulitokea mwaka jana. Musk, ambaye anaendesha kampuni ya AI xAI, alikubaliana na maoni ya aliyekuwa mwanasayansi mkuu wa OpenAI, Ilya Sutskever, ambaye alizungumzia suala hili katika mkutano wa mashine ya kujifunza NeurIPS mwezi Desemba. Sutskever alitaja kwamba sekta ya AI imefikia “kikomo cha data, ” akitabiri kuwa upungufu wa data za mafunzo utahitaji mabadiliko katika mazoea ya sasa ya maendeleo ya modeli. Musk alipendekeza kwamba data ya sintetiki, inayozalishwa na AI yenyewe, ndiyo njia ya mbele, akisema, “Njia pekee ya kuongeza [data ya ulimwengu halisi] ni kwa data ya sintetiki, ambapo AI inaunda [data ya mafunzo]. Kwa data ya sintetiki, [AI] itajipa daraja na kujifunza yenyewe. ” Makampuni mengi, ikiwemo Microsoft, Meta, OpenAI, na Anthropic, tayari yanatumia data ya sintetiki kufundisha mifano yao mikuu ya AI.

Kulingana na Gartner, 60% ya data inayotumika kwa miradi ya AI na uchambuzi mwaka 2024 itakuwa imetengenezwa kisintetiki. Phi-4 ya Microsoft iliyotolewa hadharani hivi karibuni ilifundishwa kwa kutumia data kubwa ya sintetiki na ya ulimwengu halisi, kama ilivyokuwa kwa mifano ya Google Gemma. Anthropic pia ilitumia data ya sintetiki kwa mfumo wake wenye uwezo mkubwa wa Claude 3. 5 Sonnet, na Meta ilirekebisha mfululizo wake wa Llama kwa data iliyozalishwa na AI. Mafunzo ya mifano kwa kutumia data ya sintetiki pia yanafaida za gharama. Kampuni ya AI Writer inadai modeli yake ya Palmyra X 004, iliyojengwa kwa kiasi kikubwa kutoka vyanzo vya sintetiki, iligharimu dola 700, 000 pekee kuendelezwa, ikilinganishwa na dola milioni 4. 6 zilizokadiriwa kwa modeli ya ukubwa sawa kutoka OpenAI.