Науковці університетів стикаються з труднощами через обмежену обчислювальну потужність для досліджень у сфері штучного інтелекту (ШІ), про що свідчить глобальне опитування. Дослідження, опубліковане на arXiv 30 жовтня, підкреслює, що науковці часто не мають доступу до передових обчислювальних систем, що впливає на їхню здатність розвивати великі мовні моделі (LLM) і проводити дослідження ШІ. Університети часто мають труднощі з придбанням потужних графічних процесорів (GPU), необхідних для навчання моделей ШІ, але які є дорогими. Великі технологічні компанії, навпаки, мають більші бюджети для придбання тисяч GPU. Апурв Кхандельвал з Університету Брауна та співавтор дослідження зазначає, що, хоча промислові гіганти можуть мати великі GPU ресурси, вчені можуть мати лише декілька одиниць, що створює великий розрив між можливостями промисловості та академічними установами. Команда Кхандельвала опитала 50 науковців із 35 установ, з'ясувавши, що 66% респондентів оцінили своє задоволення доступною обчислювальною потужністю як 3 або менше з 5, вказуючи на затримки в доступі до GPU та великі розбіжності в глобальному масштабі, зокрема на Близькому Сході.

Обмежений доступ відлякує багатьох від участі в дорогому переднавчанні LLM. Співавтор Еллі Павлик наголошує на важливості конкурентного академічного середовища для довгострокового технологічного зростання, протиставляючи його комерційному тиску в дослідженнях промисловості. Попри ці обмеження, дослідники дослідили способи, якими науковці можуть максимально використати менш потужне обладнання, переднавчивши LLM з 1 до 8 GPU. Це вимагає запровадження ефективних методів, які, хоча й триваліші, дозволили успішно проводити навчання моделей навіть за обмежених ресурсів. Джі-Унг Лі з Університету Саарланда в Німеччині вважає цей підхід перспективним, зазначаючи, що навіть малі компанії стикаються з подібними проблемами з доступом. Це дослідження підкреслює важливість вирішення проблем нерівності ресурсів для покращення досліджень ШІ в академічному середовищі.