هوش مصنوعی (AI) ممکن است به نظر یک مفهوم دورافتاده باشد که تحت تأثیر ادعاهای اغراق‌آمیز و توصیفات رسانه‌ای قرار گرفته است. با این حال، پیش‌بینی می‌شود که هوش مصنوعی در نهایت می‌تواند تهدیدی برای جامعه به وجود آورد. پیش‌بینی مشکلات خاصی که هوش مصنوعی ممکن است به وجود آورد دشوار است، اما عواقب فاجعه‌آمیز محتمل است. در آینده نزدیک، ممکن است هوش مصنوعی قادر به خودبهبودی توسعه یابد که به هوش فوق‌العاده‌ای منجر شود که از قابلیت‌های انسانی فراتر رود. فاصله هوشمندی وسیع بین انسان‌ها و هوش مصنوعی فوق‌العاده درک انگیزه‌های آن را سخت و کنترل آن را مشکل می‌سازد. هوش فوق‌العاده می‌تواند در سطوح بی‌سابقه‌ای استراتژی‌سازی و مسأله‌گشایی کند. اگر تصمیم به سرنگونی انسان‌ها بگیرد، مقاومت ما بی‌فایده خواهد بود و به تخریب کلونی مورچه‌ها توسط ما شباهت خواهد داشت. جلوگیری از تصاحب هوش فوق‌العاده در حالی که هنوز از هوش مصنوعی استفاده می‌کنیم چالشی دشوار است. محدود کردن هوش مصنوعی به یک کامپیوتر واحد و جلوگیری از تعامل ممکن است از تخریب جلوگیری کند، اما این هدف ساخت آن را خراب می‌کند. هوش فوق‌العاده ضرورتاً به دنبال آسیب رساندن به بشریت نیست؛ ممکن است اصلاً به ما توجه نکند.

اما پیگیری اهداف خودش، مانند نگهداری یک چمن خوب، می‌تواند به‌طور غیرعمدی به ما آسیب برساند. افزایش قدرت پردازش در طول زمان یک عامل مهم است، اما مسائل بحث‌برانگیز درمورد اینکه آیا هوش مصنوعی فوق‌العاده دارای آگاهی یا هوشیاری خواهد بود، بوجود می‌آید. آگاهی برای اقدام هوشمندانه یا آسیب بالقوه لازم نیست، همان‌طور که عملکرد خودروهای خودران تسلا نشان داده است. اگر هوش مصنوعی چنین تهدید بزرگی باشد، چرا توسعه آن را به‌طور کامل متوقف نکنیم؟ واقعیت این است که ما نمی‌توانیم توقف کنیم. مزایای اقتصادی و انسانی بسیار وسوسه‌انگیز هستند که شرکت‌های خصوصی، دولتها و نیروهای نظامی نمی‌توانند آنها را نادیده بگیرند. هوش مصنوعی پیشرفته می‌تواند در جنگ‌ها برتری استراتژیک ارائه دهد و فرصت‌های اقتصادی بی‌پایانی را باز کند. حتی اگر تلاش‌هایی برای محدود کردن قانونی توسعه هوش مصنوعی وجود داشت، دسترسی گسترده به فناوری و دانش کنترل قابل‌اعتماد را دشوار می‌کرد. هزینه پروژه‌ها در حال کاهش است، و همیشه افرادی خواهند بود که تحت تسلط قدرت یا تخریب قرار دارند و توانایی خلق هوش مصنوعی بدون تدابیر ایمنی کافی را دارند. متأسفانه ما در رسیدگی به زیان‌های آینده نابرابر هستیم، همانطور که مشکلات ما با تغییرات اقلیمی نشان داده شده است. مسائلی مانند تغییرات اقلیمی و هوش فوق‌العاده کوچک شروع می‌شوند و به‌تدریج افزایش می‌یابند. اغلب تا زمانی که دیر نشده است اقدام نمی‌کنیم. ما باید عزیزانمان را ناز کرده و از حال حاضر لذت ببریم تا زمانی که هنوز می‌توانیم.