Le lundi, une équipe d'ingénieurs et de dirigeants de Databricks, une entreprise spécialisée dans la science des données et l'IA, a tenu une réunion virtuelle via Zoom pour vérifier si leurs efforts visant à créer un modèle de langage en intelligence artificielle exceptionnel avaient porté leurs fruits. Leur projet, nommé DBRX, a été développé sur plusieurs mois et a coûté environ 10 millions de dollars. Similaire dans sa conception à ChatGPT d'OpenAI, les véritables capacités de DBRX ne seraient révélées qu'après les tests finaux. Finalement, Jonathan Frankle, l'architecte en chef de réseau neuronal chez Databricks et chef de l'équipe DBRX, a partagé la bonne nouvelle avec ses collègues. "Nous avons dépassé toutes les attentes", a-t-il déclaré. L'équipe a répondu par des acclamations, des cris de joie et des emojis d'applaudissements. Frankle, qui évite généralement la caféine, s'est accordé quelques gorgées de latte glacé après une nuit blanche à compiler les résultats. Databricks a l'intention de publier DBRX sous une licence open-source, permettant ainsi à d'autres de construire sur leur travail. Frankle a présenté des données démontrant la supériorité de DBRX par rapport à d'autres modèles open-source dans diverses évaluations, notamment la réponse à des questions de culture générale, la compréhension de lectures, la résolution de problèmes logiques et la génération de code. DBRX a surpassé Meta's Llama 2's et Mistral's Mixtral's, deux des modèles d'IA open-source les plus populaires. "Oui !" s'est exclamé Ali Ghodsi, le PDG de Databricks, en voyant les résultats. Frankle a ajouté qu'ils avaient également dépassé le modèle d'IA Grok d'Elon Musk, récemment rendu open-source par son entreprise, xAI. Il a plaisanté en mentionnant que recevoir un tweet désagréable de Musk serait considéré comme un succès. À la surprise de tous, DBRX rivalisait de près avec GPT-4, le modèle fermé d'OpenAI qui alimente ChatGPT et est largement considéré comme le summum de l'intelligence artificielle.

Frankle rayonnait et déclarait qu'ils avaient établi une nouvelle norme de pointe pour les modèles open-source de grande envergure (LLMs). En open-sourçant DBRX, Databricks rejoint le mouvement qui remet en question l'approche secrète des grandes entreprises du domaine de l'IA générative. OpenAI et Google gardent jalousement le code source de leurs modèles GPT-4 et Gemini, tandis que des concurrents comme Meta ont choisi de publier leurs modèles, estimant que cela favorisera l'innovation et l'accessibilité à plus de chercheurs, d'entrepreneurs, de startups et d'entreprises établies. Databricks vise non seulement à partager son modèle open-source, mais également à divulguer le processus de création de celui-ci. Meta n'a pas fourni tous les détails sur la création de son modèle Llama 2. Databricks prévoit de publier un article de blog détaillant leur travail et a même invité WIRED à observer leurs ingénieurs prendre des décisions cruciales lors du processus de formation de DBRX, qui a coûté plusieurs millions de dollars. Cela donne un aperçu de la complexité de la construction des modèles d'IA de pointe, mais aussi du potentiel de réduction des coûts grâce aux récents progrès réalisés dans ce domaine. Associé à la disponibilité de modèles open-source tels que DBRX, cela suggère que le développement de l'IA continuera à un rythme rapide. Ali Farhadi, le PDG de l'Institut Allen pour l'IA, a souligné l'importance d'une plus grande transparence dans la construction et l'entraînement des modèles d'IA. Alors que les entreprises cherchent de plus en plus à prendre l'avantage sur leurs concurrents, le domaine est devenu plus secret. Farhadi estime que l'ouverture est cruciale, en particulier lorsqu'il existe des inquiétudes quant aux risques associés aux modèles d'IA avancés. Il a exprimé son appréciation pour tous les efforts en faveur de la transparence et a également déclaré s'attendre à ce qu'une part importante du marché adopte des modèles ouverts. "Nous avons besoin de plus de cela", a-t-il conclu.