Naukowcy uniwersyteccy napotykają frustrację z powodu ograniczonej mocy obliczeniowej do badań nad sztuczną inteligencją (SI), jak wynika z globalnej ankiety. Badanie, opublikowane na arXiv 30 października, ujawnia, że naukowcy często nie mają dostępu do zaawansowanych systemów komputerowych, co wpływa na ich zdolność do rozwijania dużych modeli językowych (LLM) i prowadzenia badań nad SI. Uniwersytety często mają trudności z pozyskaniem potężnych jednostek przetwarzania grafiki (GPU), które są niezbędne do szkolenia modeli SI, ale kosztowne. W przeciwieństwie do tego, duże firmy technologiczne dysponują większymi budżetami pozwalającymi na zakup tysięcy GPU. Apoorv Khandelwal z Brown University i współautor badania zauważa, że podczas gdy giganci branży mogą mieć rozległe zasoby GPU, naukowcy akademiccy mają jedynie kilka, co tworzy ogromną przepaść pomiędzy zdolnościami przemysłu a akademickimi. Zespół Khandelwala przeprowadził ankietę wśród 50 naukowców z 35 instytucji, odkrywając, że 66% respondentów oceniło swoje zadowolenie z dostępnej mocy obliczeniowej na 3 lub mniej w skali 5-punktowej, wskazując na opóźnienia w dostępie do GPU i znaczne różnice globalne, na przykład na Bliskim Wschodzie.

Ograniczony dostęp zniechęca wielu do angażowania się w kosztowne wstępne szkolenie LLM. Współautorka Ellie Pavlick podkreśla znaczenie konkurencyjnego środowiska akademickiego dla długoterminowego rozwoju technologicznego, w przeciwieństwie do presji komercyjnej w badaniach przemysłowych. Pomimo tych ograniczeń, badacze analizowali sposoby, w jakie akademicy mogą maksymalizować mniej wydajny sprzęt, wstępnie trenując LLM przy użyciu 1 do 8 GPU. Wymaga to stosowania efektywnych metod, które mimo iż dłuższe, pozwalają na pomyślne szkolenie modeli przy ograniczonych zasobach. Ji-Ung Lee z Uniwersytetu Saary w Niemczech uznaje to podejście za obiecujące, zauważając, że nawet małe firmy napotykają podobne problemy z dostępem. To badanie podkreśla znaczenie zajęcia się dysproporcjami w zasobach, aby zwiększyć badania nad SI w świecie akademickim.