La indústria de la intel·ligència artificial podria haver arribat al "pic de dades", segons Ilya Sutskever, cofundador d'OpenAI, indicant una possible desacceleració en els avenços de la IA a causa de l'esgotament de dades útils d'internet. Això podria afectar el creixement futur dels models de IA, que depenen en gran mesura del preentrenament amb dades abundants. Malgrat això, molts experts en IA estan explorant maneres de superar aquest problema. Un enfocament prometedor és la tècnica de "càlcul en temps de prova" o "càlcul en temps d'inferència", que millora les capacitats de raonament de la IA descomposant consultes complexes en tasques més petites i processant cada una per separat abans de continuar. Aquest mètode permet als models de IA generar resultats de més qualitat, especialment en tasques amb respostes clares com els problemes de matemàtiques. Els resultats d'aquests models de raonament podrien convertir-se en noves dades d'entrenament, formant un bucle iteratiu per a la millora dels models.

Aquest concepte ha estat recolzat per investigacions de Google DeepMind, que preveu que aquests resultats millorin els grans models de llenguatge (LLMs) fins i tot després d'arribar al mur de pic de dades. OpenAI i laboratoris similars de IA han començat a desplegar models que utilitzen aquesta tècnica, com l'"o1" d'OpenAI, que mostra un rendiment superior en alguns criteris de referència. El CEO de Microsoft, Satya Nadella, ha qualificat aquesta estratègia com una llei d'escala essencial per avançar en els models de IA, ja que proporciona una manera de superar les limitacions de dades alimentant els resultats dels models en els processos d'entrenament. L'efectivitat del càlcul en temps de prova serà avaluada més a fons cap al 2025. Encara que investigadors com Charlie Snell són optimistes, reconeixen els desafiaments per generalitzar la tècnica a tasques sense respostes definitives, com la redacció d'assajos. No obstant això, hi ha optimisme que les dades sintètiques generades mitjançant aquest mètode podrien superar la qualitat de les dades existents a internet, potencialment ajudant a entrenar models de IA futurs. Ja hi ha especulacions que suggereixen que empreses com DeepSeek han utilitzat els resultats de l'o1 d'OpenAI per millorar els seus models, com el seu últim "DeepSeek V3". Mentre la indústria navega per aquestes estratègies, el potencial d'utilitzar el càlcul en temps de prova per superar les limitacions de dades és prometedor amb precaució però encara sota exploració.