Les scientifiques universitaires rencontrent des frustrations en raison de la puissance informatique limitée pour la recherche en intelligence artificielle (IA), comme le révèle une enquête mondiale. L'étude, partagée sur arXiv le 30 octobre, souligne que les universitaires manquent souvent d'accès à des systèmes informatiques avancés, ce qui affecte leur capacité à développer de grands modèles de langage (LLM) et à mener des recherches en IA. Les universités éprouvent fréquemment des difficultés à acquérir de puissantes unités de traitement graphique (GPU), essentielles pour l'entraînement des modèles d'IA mais coûteuses. En revanche, les grandes entreprises technologiques disposent de budgets plus élevés pour acquérir des milliers de GPU. Apoorv Khandelwal de l'Université Brown et co-auteur de l'étude note que bien que les géants de l'industrie puissent avoir des ressources GPU étendues, les universitaires peuvent n'en avoir qu'une poignée, créant un vaste fossé entre les capacités industrielles et académiques. L'équipe de Khandelwal a interrogé 50 scientifiques de 35 institutions, trouvant que 66% des répondants évaluaient leur satisfaction avec la puissance informatique disponible à 3 ou moins sur 5, citant des retards d'accès aux GPU et des disparités significatives à l'échelle mondiale, comme au Moyen-Orient.

L'accès limité dissuade beaucoup de s'engager dans le pré-entraînement coûteux des LLMs. La co-auteure Ellie Pavlick souligne l'importance d'un environnement académique compétitif pour la croissance technologique à long terme, par contraste avec la pression commerciale dans la recherche industrielle. Malgré ces limitations, les chercheurs ont examiné comment les universitaires pourraient optimiser du matériel moins puissant en pré-entrainant des LLM avec 1 à 8 GPU. Cela nécessite l'adoption de méthodes efficaces qui, bien que plus longues, ont permis un entraînement de modèles réussi malgré des ressources limitées. Ji-Ung Lee de l'Université de la Sarre en Allemagne trouve cette approche prometteuse, notant que même les petites entreprises font face à des défis d'accès similaires. Cette étude souligne l'importance de résoudre les disparités de ressources pour améliorer la recherche en IA dans le domaine académique.