Google DeepMind a présenté SIMA, un agent d'IA conçu pour apprendre les compétences de jeu d'une manière similaire à celle des joueurs humains plutôt que de dominer avec ses propres capacités. Actuellement en phase de recherche, SIMA, qui signifie Scalable, Instructable, Multiworld Agent, vise à maîtriser différents jeux vidéo, y compris les jeux en monde ouvert et non linéaires. Au lieu de remplacer l'IA de jeu existante, SIMA est destiné à s'intégrer parfaitement aux équipes de joueurs, en combinant une instruction en langage naturel avec une compréhension du monde en 3D et la reconnaissance d'images. Selon Tim Harley, chercheur et co-leader du projet SIMA chez Google DeepMind, l'agent est entraîné à suivre des instructions et à jouer au jeu, sans se concentrer uniquement sur la victoire. Pour former et tester SIMA, Google a collaboré avec huit développeurs de jeux, dont Hello Games, Embracer, Tuxedo Labs et Coffee Stain. Des jeux tels que No Man's Sky, Teardown, Valheim et Goat Simulator 3 ont été utilisés pour enseigner les bases du jeu à l'agent, sans nécessiter d'API personnalisée ni d'accès aux codes sources. L'équipe a délibérément sélectionné des jeux qui privilégient le jeu libre plutôt que le jeu axé sur le récit, afin d'aider SIMA à acquérir des compétences de jeu générales. L'objectif était que SIMA apprenne la spontanéité, comme le montre des jeux tels que Goat Simulator, où des actions aléatoires et imprévisibles sont centrales.

Pour cela, Google a créé un nouvel environnement dans le moteur Unity où les agents devaient créer des sculptures pour tester leur compréhension de la manipulation d'objets. Les instructions en langage naturel ont été capturées en enregistrant des paires de joueurs humains, l'un contrôlant le jeu et l'autre fournissant des instructions. Ces données, ainsi que le gameplay indépendant des joueurs démontrant le raisonnement derrière leurs actions, ont été utilisées pour enseigner à SIMA à prédire les événements futurs à l'écran. SIMA possède actuellement environ 600 compétences de base, comprenant des actions telles que tourner à gauche, monter des échelles et utiliser une carte dans le menu. Cependant, Harley suggère que SIMA pourrait à l'avenir être entraîné à accomplir des tâches plus complexes dans les jeux. Actuellement, des tâches telles que "trouver des ressources et construire un camp" restent difficiles, car les agents d'IA ont du mal à agir au nom des humains. Bien que SIMA ne soit pas destiné à être un PNJ alimenté par l'IA comme ceux développés par Nvidia et Convai, il est positionné comme un joueur supplémentaire dans le jeu, capable d'influencer le résultat. Frederic Besse, co-leader du projet, a déclaré qu'il est encore trop tôt pour déterminer l'ensemble des applications que les agents d'IA tels que SIMA pourraient apporter aux jeux au-delà du domaine de la recherche.