Le groupe de recherche DeepMind de Google travaille sur le développement d'un agent d'intelligence artificielle appelé SIMA (Scalable, Instructable, Multiworld Agent) qui est formé non seulement pour gagner dans des jeux spécifiques, mais pour répondre aux commandes en langage naturel dans n'importe quel environnement 3D générique. L'objectif est de créer des agents d'intelligence artificielle qui peuvent être instruits et interagir, en agissant comme des partenaires crédibles dans des situations de jeu coopératif. SIMA a été formé sur neuf jeux différents en monde ouvert, en mettant l'accent sur les jeux en 3D contrôlés à la première ou à la troisième personne.

L'agent est conçu pour fonctionner avec des jeux en temps réel et n'utilise que les pixels affichés à l'écran comme entrée, imitant l'approche que les humains utilisent pour jouer aux jeux vidéo depuis des décennies. En utilisant des séquences vidéo de jeu humain et des descriptions de langage naturel associées comme données d'entraînement, SIMA vise à apprendre à comprendre et à répondre aux instructions dans une variété d'environnements de jeu.