Plus tôt cette année, Ilya Sutskever, cofondateur d'OpenAI et ancien scientifique en chef, a attiré l'attention après avoir quitté l'entreprise pour fonder son propre laboratoire d'IA, Safe Superintelligence Inc. Bien qu'il soit resté discret depuis son départ, il a fait une rare apparition publique à la conférence sur les systèmes de traitement de l'information neuronale (NeurIPS) à Vancouver vendredi. Sur scène, Sutskever a déclaré : "Le pré-entraînement tel que nous le connaissons prendra fin sans aucun doute. " Cela fait référence à la phase initiale du développement de modèles d'IA, où un grand modèle linguistique apprend à partir de vastes quantités de données non étiquetées, généralement issues d'internet, de livres et d'autres matériaux. "Nous avons atteint le pic des données, et il n'y en aura plus. " Sutskever a remarqué que bien que les données actuelles puissent encore faire progresser le développement de l'IA, l'industrie épuise les nouvelles sources de données. Cette limitation nécessitera finalement un changement dans la manière dont les modèles sont entraînés. Il a comparé la situation aux combustibles fossiles, notant que, comme le pétrole, internet contient une quantité limitée de contenu généré par les humains. Il a prédit que les modèles de prochaine génération seront "agissants d'une manière réelle. " Bien que Sutskever n'ait pas défini ce terme durant son discours, il se réfère généralement à des systèmes d'IA autonomes capables d'accomplir des tâches, de prendre des décisions et d'interagir avec des logiciels de manière indépendante. En plus d'être "agissants", Sutskever a suggéré que les futurs systèmes d'IA auront des capacités de raisonnement. Contrairement à l'IA actuelle, qui repose principalement sur la reconnaissance de motifs, les futurs systèmes seront capables de traiter l'information étape par étape d'une manière plus proche de la pensée humaine. Il a noté : "Plus un système raisonne, plus il devient imprévisible, " comparant les systèmes à raisonnement évolué à l'IA avancée aux échecs, qui peut être imprévisible même pour les meilleurs joueurs humains. "Ils comprendront les choses à partir de données limitées, " a-t-il ajouté. "Ils ne seront pas confus. " Durant son intervention, Sutskever a comparé l'échelle de l'IA à la biologie évolutive, soulignant des recherches montrant des différences dans les ratios masse cérébrale/corporelle entre les espèces.

Il a noté que bien que la plupart des mammifères partagent un modèle de mise à l'échelle, les hominidés (ancêtres humains) affichent une pente distincte sur les échelles logarithmiques. Il a suggéré que l'IA pourrait de même découvrir de nouvelles approches de mise à l'échelle au-delà des méthodes de pré-entraînement actuelles. Après son discours, un membre de l'audience a demandé comment créer des mécanismes d'incitation pour développer une IA qui lui accorde des libertés similaires à celles dont jouissent les humains. Sutskever a réfléchi au fait que bien que ce soient des questions importantes, il n'a pas la confiance nécessaire pour y répondre de manière complète, car cela pourrait nécessiter une "structure gouvernementale de haut en bas. " Lorsque le membre du public a proposé la cryptomonnaie, la salle a ri. "Je ne pense pas être la bonne personne pour commenter la cryptomonnaie, " a déclaré Sutskever. "Mais il y a une chance que ce que vous décrivez se produise. Dans un certain sens, ce n'est pas une mauvaise issue si vous avez des IA qui veulent coexister avec nous et avoir des droits. Peut-être que cela ira bien. . . Je pense que les choses sont incroyablement imprévisibles. J'hésite à commenter mais j'encourage la spéculation. " Si vous travaillez chez OpenAI et souhaitez en discuter davantage, veuillez me contacter en toute sécurité sur Signal @kylie. 01 ou par e-mail à kylie@theverge. com.