Google's AI forskningslaboratorium, DeepMind, har offentliggjort nye resultater om træning af AI-modeller, der hævder at øge både hastighed og energieffektivitet markant. Ifølge deres forskning er deres JEST-træningsmetode op til 13 gange mere effektiv og 10 gange mere energieffektiv end andre teknikker, hvilket resulterer i meget bedre ydeevne. Dette kommer på et kritisk tidspunkt, hvor AI-datacentre har en stigende miljøpåvirkning. Traditionelle AI-træningsmetoder fokuserer på individuelle datapunkter, mens JEST tager en anden tilgang ved at træne baseret på hele batcher. Det indebærer at skabe en mindre model, der evaluerer datakvalitet fra kilder af høj kvalitet og rangerer batcher derefter. Denne evaluering sammenlignes derefter med et større datasæt af lavere kvalitet, og JEST-modellen bestemmer de mest egnede batcher til træning. Resultaterne fra den mindre model bruges derefter til at træne en større model. Forskningsrapporten, der er tilgængelig for mere detaljeret information, forklarer studiets processer og fremtidige perspektiver. DeepMind lægger vægt på vigtigheden af at styre dataudvælgelsesprocessen mod kuraterede datasæt af mindre størrelse, hvilket er afgørende for succesen af JEST-metoden. Faktisk hævder forskerne, at deres tilgang overgår state-of-the-art-modeller og kræver væsentligt færre iterationer og færre beregningsressourcer. Grafer, der sammenligner JEST med andre metoder, herunder SigLIP, viser metoden overlegenhed inden for hastighed og FLOPS-effektivitet. Det er vigtigt at bemærke, at denne systems effektivitet i høj grad afhænger af kvaliteten af træningsdataene. Uden et kurateret datasæt af højeste kvalitet mister JEST-metoden sin effektivitet. Som et resultat kan det være mere udfordrende at implementere JEST for amatør AI-udviklere, da der sandsynligvis kræves ekspertfærdigheder inden for forskning for at kuratere de indledende træningsdata af høj kvalitet. Tidspunktet for JEST-forskningen er tydeligt, da teknologiindustrien og regeringer over hele verden begynder at tackle de enorme energikrav fra kunstig intelligens.

Energien forbrugt af AI-arbejdsbelastninger i 2023 svarede til cirka 4, 3 GW, hvilket næsten matcher Cyperns årlige elforbrug. Desuden synes energiforbruget at være stigende hurtigt, da en enkelt ChatGPT-forespørgsel bruger ti gange mere strøm end en Google-søgning. Ifølge Arms CEO kan AI forbruge en fjerdedel af hele det amerikanske elnet i 2030. Det er usikkert, om de store aktører inden for AI-feltet vil vedtage JEST-metoderne. Træning af GPT-4o skulle angiveligt have kostet 100 millioner dollars, og fremtidige større modeller kan nærme sig milliard-dollar mærket. Som følge heraf søger virksomheder sandsynligvis måder at reducere omkostningerne på. Nogle tror, at JEST-metoder kan opretholde høj træningsproduktivitet og samtidig minimere strømforbruget, hvilket gavner både den økonomiske side af AI og miljøet. Det er dog mere sandsynligt, at virksomheder vil stræbe efter at maksimere strømudnyttelsen og udnytte JEST-metoderne for at opnå hyper-hurtig træningsoutput. Kampen mellem omkostningsbesparelser og skalerbarhed forbliver at se.