AI-industrien kan ha nådd "peak data, " ifølge OpenAI-medgründer Ilya Sutskever, noe som signaliserer en potensiell nedgang i AI-fremskritt på grunn av uttømmingen av nyttig data fra internett. Dette kan påvirke fremtidig vekst av AI-modeller, som er sterkt avhengige av å forhåndstrene med rikelig data. Til tross for dette, utforsker mange AI-eksperter måter å omgå dette problemet på. En lovende tilnærming er "test-time" eller "inference-time compute"-teknikken, som forbedrer AI-ens resonnementsevner ved å dele opp komplekse forespørsler i mindre oppgaver og behandle hver for seg før fremgang. Denne metoden gjør det mulig for AI-modeller å generere høyere kvalitet på resultater, spesielt i oppgaver med entydige svar som matematikkproblemer. Resultatene fra disse resoneringsmodellene kan bli nye treningsdata, og danne en iterativ sløyfe for modellforbedring.

Dette konseptet ble støttet av forskning fra Google DeepMind, som ser for seg at disse resultatene kan forbedre store språkmodeller (LLMs) selv etter å ha nådd peak-data-veggen. OpenAI og lignende AI-laboratorier har begynt å implementere modeller som bruker denne teknikken, som OpenAIs "o1, " som viser overlegne resultater i visse benchmarks. Microsofts CEO Satya Nadella har omtalt denne strategien som en essensiell skaleringslov for utvikling av AI-modeller, da den gir en måte å omgå databegrensninger ved å mate modellresultater tilbake i treningsprosessene. Effektiviteten av test-time compute vil bli mer grundig evaluert innen 2025. Mens forskere som Charlie Snell er håpefulle, erkjenner de utfordringer med å generalisere teknikken til oppgaver uten definitive svar, som essay-skriving. Likevel er det optimisme for at syntetisk data generert gjennom denne metoden kan overgå eksisterende kvalitetsdata på internett, noe som potensielt kan hjelpe i trening av fremtidige AI-modeller. Allerede spekulerer noen i at selskaper som DeepSeek har brukt resultater fra OpenAIs o1 for å forbedre modellene sine, som deres nyeste "DeepSeek V3. " Etter hvert som industrien navigerer disse strategiene, er potensialet for å bruke test-time compute til å overvinne databegrensninger forsiktig lovende, men fortsatt under utforskning.