વિશ્વવિદ્યાલયની મર્યાદિત કોમ્પ્યુટિંગ શક્તિથી AI સંશોધન અવરોધિત
Brief news summary
arXiv પર પ્રકાશિત વૈશ્વિક સર્વે દર્શાવે છે કે યુનિવર્સિટી વૈજ્ઞાાનિકો AI સંશોધન માટે, ખાસ કરીને મોટાં ભાષાકીય મોડલ્સ (LLMs) માટે સીમિત કોમ્પ્યુટિંગ સ્ત્રોતોથી ખરાબ રીતથી ભારે પરેશાન છે. મહત્વપૂર્ણ GPUs ના ઊંચા ખર્ચાને કારણે, પ્રસિદ્ધ ટેક કંપનીઓની સરખામણીએ મોટાં બજેટ ધરાવતી, અકાદમિકસ માટે પોહચ અઘરી છે, જેમ કે બ્રાઉન યુનિવર્સિટીના અપૂર્વ ખંડેલવાલ દ્વારા નોંધવામાં આવ્યું છે. 35 સંસ્થાઓમાંથી 50 વૈજ્ઞાાનિકોને શામેલ કરેલા સર્વેએ આપેલ છે કે 66% કોમ્પ્યુટિંગ સ્ત્રોતોથી અસંતોષ વ્યક્ત કરે છે, લાંબા GPU ની રાહ અને પ્રદેશીય અસમાનતા જેમ કે મધ્યપૂર્વમાં. માત્ર 10% પ્રતિભાવદાતાઓ પાસે NVIDIA ના H100 GPUs નો પ્રવેશ હતો, LLMs ના પૂર્વ-પ્રશિક્ષણ માટે પડકાર ઉભા કરી રહ્યા છે અને સંભાવનાના પ્રકારે અકાદમિક સુધારા અવરોધિત કરી રહ્યો છે. સંશોધકો આ સમસ્યાઓને ઉત્તેજીત કરવા માટે કાર્યક્ષમ પરંતુ ધીમા ઉપાયો શોધી કાઢ્યા છે તેમ છતાં તેઓ આ બાબતે ઉદ્યોગના દબાણ વિના તકનીકી વિકાસ માટે અત્યંત મહત્વપૂર્ણ શાક્તિશાળી અકાદમિક સંશોધન વાતાવરણની તાત્કાલિક જરૂરિયાત ઉપર ભાર મૂકે છે.વિશ્વવ્યાપી સર્વેक्षण પરથી ખુલ્લું થયું છે કે આર્ટિફિશિયલ ઇન્ટેલિજન્સ (AI) સંશોધન માટે મર્યાદિત કમ્પ્યુટિંગ શક્તિને કારણે યુનિવર્સિટી વિજ્ઞાનીઓ નિરાશાનો સામનો કરી રહ્યાં છે. 30 ઓક્ટોબરે arXiv પર જાહેર કરાયેલા અભ્યાસમાં ઉજાગર થયું છે કે એકેડેમિક્સને ઘણી વાર અદ્યતન કમ્પ્યુટિંગ સિસ્ટમ્સ સુધીનો પ્રાપ્તિ અભાવ હોય છે, જે તેમના મોટા ભાષા મોડેલ્સ (LLMs) વિકસાવવા અને AI સંશોધન કરવા પર અસર કરે છે. યુનિવર્સિટીઓને સામાન્યતઃ શક્તિશાળી ગ્રાફિક્સ પ્રોસેસિંગ યુનિટ્સ (GPUs) મેળવા માટે સંઘર્ષ કરવો પડે છે, જે AI મોડેલ ટ્રેનિંગ માટે જરૂરી છે પરંતુ ખર્ચાળ છે. બીજી તરફ, મોટી ટેક ફર્મો પાસે હજારો GPUs મેળવનાર ઊંચા બજેટ હોય છે. બ્રાઉન યુનિવર્સિટીના અપૂર્વ ખાંડેલવાલ અને અભ્યાસના સહલેખક કહે છે કે, ઉદ્યોગની દિગ્ગજ કંપનીઓ પાસે ત્યાં GPU ના વિશાળ સ્ત્રોતો હોઈ શકે છે, જ્યારે શૈક્ષણિક અગ્રણી પાસે ફક્ત થોડાક જ હોઈ શકે છે, જે ઉદ્યોગ અને શૈક્ષણિક ક્ષમતાઓ વચ્ચેનો મોટો ગાળો છે. ખાંડેલવાલની ટીમે 35 સંસ્થાઓમાંથી 50 વિજ્ઞાનીઓને સર્વે કર્યા, જેમાંથી 66% પ્રતિસાદકારોએ ઉપલબ્ધ કમ્પ્યુટિંગ શક્તિતી સાથે પોતાની સંતોષનું રેટિંગ 5 માંથી 3 કે ઓછું આપ્યું, જેમાં GPU ના ઉપયોગમાં વિલંબ અને વૈશ્વિક સ્તરે મોટી અસમાનતા, જેમ કે મધ્ય પૂર્વમાં, નો ઉલ્લેખ તેમણે કર્યો.
મર્યાદિત પહોચ ઘણા લોકોને LLMs ના ખર્ચાળ પૂર્વ-પ્રશિક્ષણને રોકી રાખે છે. સહલેખક એલિ પેવ્લિક લાંબા ગાળાના ટેકનોલોજિકલ વિકાસ માટે સ્પર્ધાત્મક શૈક્ષણિક વાતાવરણના મહત્વને ટાંકીને, ઉદ્યોગ સંશોધનમાં વ્યાપારી દબાણથી તેને તોળે છે. આ મર્યાદાઓ છતાં, સંશોધકોએ તપાસ્યું કે કેવી રીતે શૈક્ષણિક લોકોએ ઓછા શક્તિશાળી હાર્ડવેરનો મહત્તમ ઉપયોગ કરવાની રીતો શોધવામાં આવી છે, જેમ કે 1 થી 8 GPUs સાથે LLMs નું પૂર્વ-પ્રશિક્ષણ. આ કાર્યક્ષમ રીતો અપનાવવી જરૂરી છે, જે વધુ સમયબદ્ધ હોઈ શકે છે, પરંતુ મર્યાદિત સ્ત્રોતો છતાં સફળ મોડેલ ટ્રેનિંગને શક્ય બનાવે છે. જર્મનીના સારલેન્ડ યુનિવર્સિટીના જી-ઉંગ લી આ દૃષ્ટિકોણને આશાસ્પદ માનતા હોય છે, તેઓ ધ્યાન આપે છે કે નાના કંપનીઓ પણ સમાન પહોચની ચોંચવા સમસ્યાઓનો સામનો કરે છે. આ અભ્યાસ હાજર કરેલી સ્ત્રોત અસમાનતાઓને ઉકેલવા માટે महत्वપૂર્ણ ગણાય છે, ખાતરી કરવાની છે કે એકેડેમિયામાં AI સંશોધનને વધારવામાં આવે.
Watch video about
વિશ્વવિદ્યાલયની મર્યાદિત કોમ્પ્યુટિંગ શક્તિથી AI સંશોધન અવરોધિત
Try our premium solution and start getting clients — at no cost to you
