Istraživanje umjetne inteligencije otežano zbog ograničene računske snage univerziteta.
Brief news summary
Globalna anketa objavljena na arXiv-u otkriva značajnu frustraciju među univerzitetskim naučnicima zbog ograničenih računarskih resursa za AI istraživanja, posebno za velike jezičke modele (LLM-ove). Visoki troškovi neophodnih GPU-ova ograničavaju pristup akademicima u poređenju s tehnološkim kompanijama s većim budžetima, čime se širi jaz između industrije i akademije, kako je primijetio Apoorv Khandelwal sa Univerziteta Brown. Anketa, koja je uključila 50 naučnika iz 35 institucija, pokazala je da je 66% nezadovoljno računarskim resursima, navodeći duge čekanja na GPU-ove i regionalne razlike, poput onih na Bliskom Istoku. Samo 10% ispitanika imalo je pristup NVIDIA H100 GPU-ovima, što predstavlja izazov za pretreniranje LLM-ova i potencijalno usporava akademski napredak. Iako su istraživači razvili efikasne ali spore metode za ublažavanje ovih problema, naglašavaju hitnu potrebu za snažnim akademskim istraživačkim okruženjem, ključnim za tehnološki napredak bez pritisaka industrije.Univerzitetski naučnici suočavaju se s frustracijom zbog ograničene računske snage za istraživanje umjetne inteligencije (AI), kako pokazuje svjetska anketa. Studija, objavljena na arXiv 30. oktobra, ističe da akademici često nemaju pristup naprednim računalnim sistemima, što utiče na njihovu sposobnost razvoja velikih jezičnih modela (LLM) i provođenja AI istraživanja. Univerziteti se često bore s nabavkom moćnih grafičkih procesora (GPU), ključnih za obuku AI modela, ali skupih. Velike tehnološke kompanije, za razliku, posjeduju veće budžete da nabave hiljade GPU-ova. Apoorv Khandelwal sa Univerziteta Brown i koautor studije napominje da, dok industrijski giganti možda posjeduju opsežne GPU resurse, akademici često imaju samo nekoliko, stvarajući veliki jaz između industrijskih i akademskih mogućnosti. Tim Khandelwala anketirao je 50 naučnika iz 35 institucija, otkrivši da je 66% ispitanika ocenilo svoje zadovoljstvo dostupnom računalnom snagom kao 3 ili manje od 5, ukazujući na kašnjenja u pristupu GPU-ima i značajne razlike globalno, kao što je na Bliskom istoku.
Ograničen pristup odvraća mnoge od angažovanja u skupom pretpretiranju LLM-a. Koautorica Ellie Pavlick naglašava važnost konkurentnog akademskog okruženja za dugoročni tehnološki rast, suprotstavljajući ga komercijalnom pritisku u industrijskom istraživanju. Uprkos tim ograničenjima, istraživači su ispitali načine na koje akademici mogu maksimalno iskoristiti manje moćni hardver tako što će pretpretirati LLM-e sa 1 do 8 GPU-ova. To zahtijeva usvajanje efikasnih metoda koje, iako duže traju, omogućavaju uspješno treniranje modela uprkos ograničenim resursima. Ji-Ung Lee sa Univerziteta Saarland u Njemačkoj smatra ovaj pristup obećavajućim, napomenuvši da se čak i male kompanije suočavaju sa sličnim izazovima pristupa. Ova studija naglašava važnost rješavanja razlika u resursima kako bi se poboljšalo AI istraživanje u akademskoj zajednici.
Watch video about
Istraživanje umjetne inteligencije otežano zbog ograničene računske snage univerziteta.
Try our premium solution and start getting clients — at no cost to you
