Preispitivanje obuke s velikim količinama podataka: Budućnost AI modela
Brief news summary
Lideri u industriji umjetne inteligencije preispituju tešku ovisnost o velikim skupovima podataka za obuku jezičkih modela. Kompanije poput OpenAI, Meta i Googlea tradicionalno su vjerovale da više podataka poboljšava performanse, posebno s transformatorskim arhitekturama. Međutim, sve su veće zabrinutosti da bi ova strategija mogla donijeti smanjujuće povrate, što potiče istraživanje alternativnih metoda. Alexandr Wang iz Scale AI ističe probleme s pretjeranim fokusiranjem na zakone skaliranja. Aidan Gomez, direktor Coherea, kritikuje neefikasnosti trenutnog pristupa, zagovarajući manje, isplativije modele. Neki stručnjaci sumnjaju u to mogu li postojeće tehnike postići opštu umjetnu inteligenciju. Richard Socher predlaže nov način za poboljšanje tačnosti modela pretvaranjem pitanja u kod. Uprkos zabrinutostima, neki ostaju optimistični glede skaliranja. Glavni tehnološki direktor Microsofta, Kevin Scott, nudi drugačiju perspektivu, a OpenAI nastavlja s inovacijama. U septembru je OpenAI predstavio o1 model, koji se ističe u kvantitativnim zadacima i nadmašuje ChatGPT. Prema Waleedu Kadousu, dok GPT-4 pruža brze odgovore, o1 model nudi dublju analizu, omogućavajući korisnicima poboljšane interpretativne sposobnosti.Lideri u oblasti umjetne inteligencije preispituju obuku velikih jezičkih modela koja zahtijeva puno podataka, jer su tradicionalni modeli, koji linearno skaliraju s podacima, možda dostigli svoje granice. Industrija sada podržava manje, efikasnije modele i inovativne metode obuke. Godinama su kompanije poput OpenAI, Meta i Google prikupljale masivne skupove podataka, pretpostavljajući da više podataka rezultira pametnijim modelima. Međutim, konvencionalna mudrost se preispituje. Istraživanja pokazuju da transformatori, neuronske mreže iza ovih modela, skaliraju u skladu s podacima i računalnom snagom koju primaju. Alex Voica, konsultant na Univerzitetu umjetne inteligencije Mohamed bin Zayed, objasnio je da tradicionalni transformatori slijede ovu linearnu vezu. No, rukovodioci sve više primjećuju ograničenja ovog pristupa i istražuju nove načine za unapređenje tehnologije. Velika ulaganja u AI zasnivala su se na vjerovanju da će ovaj rast nastaviti, a CEO Scale AI, Alexandr Wang, opisuje to kao "najveće pitanje u industriji".
Neki tvrde da je trenutna metoda pojednostavljena; Aidan Gomez, CEO Cohere, ističe da samo povećanje veličine modela i računarske snage predstavlja i najpouzdaniji i najmanje inovativan način unapređenja modela. Gomez promoviše manje, isplative modele, s podrškom industrije. Međutim, zabrinutosti ostaju da ovaj pristup možda neće postići opštu umjetnu inteligenciju, oblik AI sposoban za ljudski nivo inteligencije, što je cilj velikih AI kompanija. Veliki jezički modeli obučeni su da "predviđaju sljedeći token" u nizu, kako objašnjava Richard Socher, CEO You. com. On predlaže poboljšanje modela tako što će pretvarati pitanja u kod, čime bi se smanjile greške i poboljšale sposobnosti. Ne slažu se svi lideri da je AI dostigao granicu. CTO Microsofta Kevin Scott tvrdi da skaliranje i dalje pruža povrate, suprotno nekim stavovima u industriji. OpenAI, na primjer, nastoji unaprijediti postojeće modele poput o1, objavljenog u septembru, koji još uvijek koristi tehnike predviđanja, ali je specijaliziran za kvantitativne zadatke poput kodiranja i matematike. Razlika između o1 i ChatGPT leži u poboljšanom vremenu obrade za generisanje odgovora kod o1. Waleed Kadous, bivši inženjerski vođa, poredi GPT-4 s pričljivim prijateljem koji daje mnoge ideje, dok je o1 kao promišljeni prijatelj koji pruža sažete, tačne odgovore.
Watch video about
Preispitivanje obuke s velikim količinama podataka: Budućnost AI modela
Try our premium solution and start getting clients — at no cost to you
