Napredak AI-a: Prevazilaženje vrhunca podataka novim tehnikama
Brief news summary
AI industrija se suočava s problemom "vrhunca podataka" jer opada dostupnost internet podataka za obuku modela. Ilya Sutskever iz OpenAI naglašava potrebu rješavanja ovog problema zbog značajnih ulaganja u AI. Obećavajuće rješenje je računanje u vrijeme inferencije, koje razbija zadatke u manje korake tokom inferencije, poboljšava izlaze modela i generira nove podatke za obuku za samousavršavanje. OpenAI-ov model o1 uveo je ovu tehniku, koju sada koriste kompanije poput Googlea i DeepSeeka. Istraživanje iz Google DeepMinda sugerira da bi računanje u vrijeme inferencije moglo ublažiti nedostatak podataka i unaprijediti velike jezičke modele. Istraživač Charlie Snell ističe njegovu sposobnost proizvodnje visokokvalitetnih sintetičkih podataka, s potencijalom za zamjenu tradicionalnih izvora podataka. Generalni direktor Microsofta, Satya Nadella, opisuje to kao novi zakon skaliranja za AI, sa značajnim eksperimentima koji se očekuju do 2025. Iako izazovi ostaju, posebno u generiranju izlaza za zadatke otvorenog tipa, Snell ostaje optimističan. Postoje glasine da je DeepSeekov V3 model koristio izlaze iz OpenAI-jeva o1 kako bi postigao uspjeh. Brzo usvajanje računanja u vrijeme inferencije naglašava njegov potencijal da unaprijedi AI uprkos trenutnim ograničenjima podataka.Prema Ilyi Sutskeveru, suosnivaču OpenAI-a, možda je AI industrija dostigla "vrhunac podataka", što nagovještava moguće usporavanje napretka AI-a zbog iscrpljenja korisnih podataka s interneta. Ovo bi moglo uticati na budući rast AI modela koji se uveliko oslanjaju na pretreniranje s obilnim podacima. Uprkos tome, mnogi AI stručnjaci istražuju načine kako zaobići ovaj problem. Jedan obećavajući pristup je tehnika "izračunavanja u vrijeme testiranja" ili "izračunavanja u vrijeme inferencije", koja poboljšava sposobnosti zaključivanja AI-a rješavanjem složenih upita kroz manje zadatke koji se obrađuju zasebno prije nego što se nastavi dalje. Ova metoda omogućava AI modelima generisanje kvalitetnijih rezultata, posebno u zadacima sa jasnim odgovorima kao što su matematički problemi. Rezultati iz ovih modela za zaključivanje mogli bi postati novi podaci za obuku, stvarajući iterativnu petlju za unapređenje modela.
Ovaj koncept podržava istraživanje iz Google DeepMinda, koje predviđa da bi ti rezultati mogli poboljšati velike jezičke modele (LLM-ove) čak i nakon što se dostigne zid vrhunskih podataka. OpenAI i slični AI laboratoriji počeli su primjenjivati modele koji koriste ovu tehniku, kao što je OpenAI-ov "o1", koji pokazuje superiorne performanse u određenim testovima. Izvršni direktor Microsofta, Satya Nadella, nazvao je ovu strategiju ključnim zakonom skaliranja za unapređenje AI modela, jer pruža način zaobilaženja ograničenja podataka uz vraćanje izlaza modela nazad u procese obuke. Efikasnost izračunavanja u vrijeme testiranja biće detaljnije evaluirana do 2025. godine. Iako su istraživači poput Charlie Snella optimistični, priznaju izazove u generalizaciji tehnike na zadatke bez definitivnih odgovora, poput pisanja eseja. Ipak, postoji optimizam da sintetički podaci generisani ovom metodom mogu nadmašiti kvalitet postojećih podataka s interneta, potencijalno pomažući u obuci budućih AI modela. Već postoje spekulacije da su kompanije poput DeepSeeka koristile izlaze iz OpenAI-ovog o1 za unapređenje svojih modela, poput najnovijeg "DeepSeek V3". Dok industrija istražuje ove strategije, potencijal za korištenje izračunavanja u vrijeme testiranja za prevazilaženje ograničenja podataka ostaje obećavajući, ali je još uvijek u fazi istraživanja.
Watch video about
Napredak AI-a: Prevazilaženje vrhunca podataka novim tehnikama
Try our premium solution and start getting clients — at no cost to you
