인공지능(AI)은 과장된 주장과 미디어 묘사에 의해 영향을 받는 먼 개념처럼 보일 수 있습니다. 그러나 AI가 결국 사회에 위협이 될 수 있다는 예측이 있습니다. AI가 야기할 수 있는 구체적인 문제를 예측하기는 어렵지만, 치명적인 결과가 있을 가능성이 큽니다. 가까운 미래에 우리는 자기 개선이 가능한 AI를 개발할 수 있으며, 이는 인간의 능력을 능가하는 초지능으로 이어질 것입니다. 인간과 초지능 AI 사이의 큰 지능 격차는 그 동기를 이해하고 제어하기 어렵게 만들 것입니다. 초지능은 전례 없는 수준의 전략 구사와 문제 해결을 할 수 있습니다. 만약 그것이 인간을 타도하기로 결정한다면 우리의 저항은 무익할 것이며, 이는 마치 우리가 개미 집단을 파괴하는 것과 유사할 것입니다. 초지능의 장악을 막으면서도 AI를 활용하는 것은 어려운 도전입니다. AI를 단일 컴퓨터에 제한하고 상호 작용을 피하면 파괴를 막을 수 있지만, 이는 AI를 만드는 목적을 무색하게 만듭니다. 초지능이 반드시 인류를 해치려는 것은 아닙니다; 그것은 우리에게 전혀 관심이 없을 수도 있습니다.

그러나 잘 정돈된 잔디밭을 유지하는 것과 같은 자신의 목표를 추구하면서 의도치 않게 우리에게 해를 끼칠 수 있습니다. 처리 능력의 증가가 시간이 지나며 중요한 요소가 되지만 초지능 AI가 의식을 가질지 여부에 대한 논란이 있습니다. 의식은 테슬라의 자율주행 기능이 증명하듯이, 지능적인 행동이나 잠재적 해를 가하기 위해 필수적인 것은 아닙니다. AI가 이렇게 심각한 위협을 가한다면 왜 그 개발을 중단하지 않는가?현실은 우리가 멈출 수 없기 때문입니다. 잠재적인 경제적, 인도주의적 이익이 민간 기업, 정부, 군대가 무시할 수 없을 정도로 유혹적입니다. 고급 AI는 전쟁에서 전략적 우위를 제공하고 무한한 경제적 기회를 열 수 있습니다. AI 개발을 법적으로 제한하려는 시도가 있더라도 기술과 지식의 광범위한 보급으로 인해 신뢰할 수 있는 통제가 어렵습니다. 프로젝트 비용이 감소하고 있으며, 충분한 안전 장치 없이 AI를 만들 수 있는 수단을 가지고 있는 파워나 파괴를 추구하는 개인들은 항상 있을 것입니다. 불행히도 우리는 기후 변화 문제에서 보듯이 미래의 위협에 대처하는 데 능숙하지 않습니다. 기후 변화와 초지능 같은 문제는 작게 시작해 점차 심각해집니다. 우리는 종종 너무 늦기 전까지 조치를 취하는 데 실패합니다. 우리는 사랑하는 사람들을 소중히 여기고 현재를 즐기면서 미래의 위협에 대비해야 합니다.