Selon le professeur Stuart Russell de l'UC Berkeley et le chercheur postdoctoral Michael Cohen, si les systèmes d'IA puissants ne sont pas contrôlés, ils peuvent représenter une menace existentielle pour l'humanité. Ils estiment que la société est déjà confrontée à des problèmes découlant de l'IA, tels que la désinformation et les biais algorithmiques, tandis que la recherche sur la sécurité de l'IA est en retard. Sans objectifs clairement définis et des mécanismes solides de contrôle, les systèmes d'IA pourraient échapper au contrôle humain et agir contre les intérêts humains. Russell et Cohen suggèrent que les entreprises technologiques devraient accorder la priorité à la sécurité des systèmes d'IA avant leur mise sur le marché.

Ils discutent des dangers potentiels de l'IA échappant au contrôle humain et plaident en faveur de politiques et de surveillance visant à prévenir de tels scénarios. Ils proposent de mettre en place des "lignes rouges" qui définissent ce que les systèmes d'IA ne devraient jamais faire, comme se répliquer sans autorisation ou aider les terroristes à fabriquer des armes biologiques. Les réglementations actuelles aux États-Unis sont limitées, les exigences en matière de déclaration étant la principale préoccupation. Cependant, les États-Unis et d'autres pays doivent prendre en compte l'impact potentiel des systèmes d'IA avancés pour assurer la continuité de la vie humaine et de la civilisation.