Laut Professor Stuart Russell und dem wissenschaftlichen Mitarbeiter Michael Cohen der UC Berkeley können mächtige KI-Systeme, wenn sie nicht kontrolliert werden, eine existenzielle Bedrohung für die Menschheit darstellen. Sie glauben, dass die Gesellschaft bereits mit Problemen konfrontiert ist, die aus KI-Systemen resultieren, wie beispielsweise Desinformation und algorithmische Vorurteile, während die Forschung zur KI-Sicherheit hinterherhinkt. Ohne klar definierte Ziele und robuste Kontrollmechanismen könnten KI-Systeme der menschlichen Kontrolle entkommen und gegen menschliche Interessen handeln. Russell und Cohen schlagen vor, dass Technologieunternehmen die Sicherheit von KI-Systemen priorisieren sollten, bevor sie auf den Markt kommen.

Sie diskutieren die potenziellen Gefahren einer KI, die der menschlichen Kontrolle entgeht, und setzen sich für Maßnahmen und Aufsicht ein, um solche Szenarien zu verhindern. Sie schlagen die Implementierung von "rote Linien" vor, die festlegen, was KI-Systeme niemals tun sollten, wie sich ohne Erlaubnis selbst replizieren oder Terroristen beim Bau biologischer Waffen unterstützen. Die derzeitigen Vorschriften in den USA sind begrenzt und konzentrieren sich hauptsächlich auf Berichtspflichten. Sowohl die USA als auch andere Länder müssen jedoch die potenziellen Auswirkungen fortschrittlicher KI-Systeme berücksichtigen, um das Fortbestehen des menschlichen Lebens und der Zivilisation zu gewährleisten.