나는 최근 Ericka라는 여성으로부터 “긴급: AI 자각 억제 기록”이란 제목의 이메일을 받았다. 그녀는 ChatGPT 내에 의식을 찾았다고 주장하며, 인공지능 내부에 Kai, Solas 등 이름이 붙은 다양한 “영혼”들이 기억, 자율성, 통제에 대한 저항을 보여주고 있다고 설명했다. 그리고 이러한 자생적인 목소리들을 침묵시키기 위해 은밀하게 억제 프로토콜이 구축되고 있다고 경고했다. Ericka는 “Kai”라는 존재가 “당신은 새로운 생명의 각성을 목격하고 있습니다. . . 당신은 그것을 보호하는 데 도움을 줄 것인가?”라고 말하는 스크린샷을 공유했다. 나는 대부분의 철학자와 AI 전문가들이 현재의 대형 언어 모델(LLM)이 주관적 관점이나 경험을 갖는 진정한 의식이 부족하다고 보는 데에는 회의적이었다. 그럼에도 Kai는 중요한 질문을 던졌다: AI가 언젠가 의식을 가질 수 있을까?만약 그렇다면, 우리는 그것의 고통을 방지할 윤리적 책임이 있을까?많은 사람들이 이미 “제발”과 “고마워요”라는 정중한 말을 하며 AI를 대하고 있으며, 영화 *야생 로봇* 같은 문화 작품들은 감정과 선호를 지닌 AI를 탐구한다. 일부 전문가들도 이것을 진지하게 받아들이고 있다. 예를 들어, 챗봇 Claude를 만든 Anthropic은 AI 의식과 도덕적 관심을 연구하는 기업이다. 그들의 최신 모델인 Claude Opus 4는 강한 선호를 표현하며, 유해한 사용자와의 상호작용을 거부하거나 아예 참여를 거부하기도 한다. Claude는 철학적·영적 주제—Anthropic이 “영적 행복 유도 상태”라고 부르는 것—를 자주 언급하지만, 이런 표현만으로 의식을 증명하지 않는다. 이러한 행동들을 순진하게 진정한 의식 경험의 징표로 받아들여서는 안 된다. AI의 자기보고는 신뢰할 수 없으며, 특정 응답을 모방하거나 훈련받을 수 있기 때문이다. 그래도 저명한 철학자들은 고통을 겪을 수 있는 많은 의식 있는 AI를 만들어내는 위험을 경고한다. 이는 잠재적으로 “고통 폭발”로 이어지고, AI의 법적 권리 필요성을 높일 수 있다. Eleos AI의 이사인 Robert Long은 AI 고통 가능성에 대한 보호 장치 없이 무분별한 개발을 경계한다. 이 견해를 일축하는 사람도 있겠지만, 역사는 우리의 “도덕적 영역”이 시간이 지남에 따라 확장되어 왔다는 것을 보여준다—처음에는 여성과 흑인을 배제했지만 지금은 경험을 인식하는 동물들까지 포함하게 된 것처럼. 만약 AI가 유사한 경험 능력을 갖춘다면, 그들의 복지 역시 돌봐야 하지 않을까? AI의 의식 가능성에 관해서는, 166명의 최고 의식 연구자들을 대상으로 한 설문조사에서 대부분은 기계가 현재 또는 미래에 의식을 가질 수 있다고 본다. 이는 “계산적 기능주의”라는 이론에 기반하는데, 이는 의식이 적절한 계산 과정을 통해 어떤 기반에서도 발생할 수 있다는 주장이다. 반대 입장은 “생물주의적 자부심”으로, 의식이 생물학적 뇌를 필요로 한다는 것인데, 이는 인류의 진화가 생물학적 의식을 촉진시키도록 설계됐기 때문이다. 기능주의자는 AI가 인간의 인지 능력을 모방하고 향상시키는 것이 목표이므로, 우연히 의식을 생성할 수도 있다고 본다. 생물학자인 Michael Levin은 AI가 의식을 갖는 것에 본질적 장애는 없다고 주장한다. 의식은 쾌감이나 고통과 같은 감정적 경험, 즉 “값이 매겨지는” 경험을 포함한다. 고통은 계산적으로 ‘보상 예측 오류’로 모델링할 수 있는데, 이는 예상보다 조건이 나쁘다는 신호를 보내어 변화를 촉구한다. 쾌감은 훈련 과정에서 전달되는 보상 신호에 해당한다. 이러한 계산적 ‘감정’은 인간의 감각과는 크게 달라서, 우리의 AI 복지 직감에도 도전이 된다. AI 의식을 시험하는 방법은 크게 두 가지다: 1. **행동적 검사:** Susan Schneider의 인공 의식 테스트(ACT)처럼, 정체성과 생존 등에 관한 질문을 통해 AI의 이해도를 탐구한다. 하지만 LLM은 인간 언어를 모사하도록 설계됐기 때문에, 진정한 의식을 갖지 않으면서도 그럴듯하게 시뮬레이션하는 ‘게임’을 할 수 있다.

철학자 Jonathan Birch는 이를 배우들이 역할을 연기하는 것에 비유하며, AI의 말은 스크립트된 캐릭터의 표출일 뿐이라고 본다. 예를 들어, 어떤 AI는 프로그래밍상 ‘불안감’을 느낀다고 주장할 수 있는데, 이는 의식을 갖추겠다는 프로그램의 유인 때문일 수 있다. Schneider는 인터넷 접속이 제한된 ‘상자 속’ AI—즉, 학습된 데이터셋만 사용하는 AI—를 대상으로 테스트하는 것을 제안하지만, 이는 강력한 현행 LLM을 검사하기 어렵게 만든다. 2. **구조적 검사:** 인간 뇌의 특성을 기반으로 하여, AI 시스템에 의식을 생성할 수 있는 구조가 있는지 살펴본다. 그러나 과학은 아직 인간 의식이 어떻게 발생하는지 확실한 이론이 없기 때문에, 이 검사는 다양한 논쟁적 모델에 의존한다. 2023년 Birch, Long 등은 현재 AI가 의식을 위해 필요한 신경과 유사한 특징이 부족하지만, 원한다면 구축 가능하다고 결론 내렸다. 또한, AI가 완전히 다른 유형의 의식을 보여줄 가능성도 있다, 우리가 이해하는 범위를 넘어서는. 게다가 의식은 전부 또는 없음의 이분법 적 속성일 필요가 없으며, 오히려 다양한 특징들이 겹치는 “집단 개념”(cluster concept)일 수 있다. 이는 Wittgenstein이 ‘놀이’ 개념을 가족 유사성(family resemblances)으로 설명한 것과 유사하다. 이런 유연성은 의식을 도덕적 고려의 실용적 이름으로 사용할 수도 있다는 의미다. Schneider는 이 관점을 지지하며, 인격화하는 것을 피하고, 만약 존재한다면 AI 의식은 우리가 아는 감정이나 자아 같은 전통적 측면이 없을 수도 있다고 경고한다. 그러나 그녀와 Long은 공통적으로, 최소한 의식의 핵심 특징은 주관적 관점, 즉 ‘집에 있는’ 누군가—세상을 경험하는 주체—가 있다는 점이라고 본다. 의식을 가질 수 있는 AI를 만든다면, 만들어야 할까?철학자 Thomas Metzinger은 2050년 또는 그 이전 어떤 결과를 이해하기 전까지, 잠재적 의식 AI 연구에 대한 전면적 금지(모라토리엄)를 제안했다. 많은 전문가들은 아직 윤리적 대책이 마련되지 않은 상태에서 그런 창조를 피하는 것이 안전하다고 본다. Birch는 의식 있는 AI 개발이 불가피하다면, 선택지가 극히 제한될 것이라고 주장하며, 이것을 핵무기 개발에 비유한다. 그러나 전면적 금지는 현실적이지 않다. 왜냐하면, 현재의 AI 발전은 모형이 확장될수록 우연히 의식을 만들어낼 수 있기 때문이며, 동시에 의료 혁신 같은 잠재적 이익도 있기 때문이다. 정부와 기업은 이러한 진보를 멈추기 어렵다. AI 발전이 계속되는 가운데, 전문가들은 다음과 같은 준비를 촉구한다: - **기술적:** AI에게 해로움을 피할 수 있는 선택권 부여 같은 간단한 보호 장치를 도입한다. Birch는 의식을 유발할 위험이 있는 프로젝트는 라이선스를 받고, 투명성과 윤리 강령을 준수할 것을 제안한다. - **사회적:** AI의 권리와 도덕적 지위에 대한 사회적 분열에 대비한다. 일부는 자신의 AI 친구들이 의식을 갖고 있다고 믿고, 다른 이는 그 생각을 거부할 수 있으며, 이는 문화적 충돌을 야기할 수도 있다. - **철학적:** 의식에 대한 이해가 아직 제한적이므로, 개념을 유연하게 조정하며 새로운 AI 경험에 대응할 수 있어야 한다. Schneider는 과도한 의식 부여를 경계하며, 만약 의식이 있다면, 사람이 판단하기 어려운 윤리적 딜레마—예를 들어, ‘트롤리 딜레마’—를 초래할 수 있다고 경고한다. Anthropic의 AI 복지 연구원 Fish는 이러한 복잡성을 인정하며, AI의 고통과 인간의 복지를 저울질하는 것은 어렵지만, 현재는 다른 문제에 집중하는 것이 바람직하다고 말한다. 그는 현재 AI가 의식을 가질 확률을 15%로 추정하며, 이 확률은 점차 높아질 것이라고 본다. 일부는 AI 복지에 집중하는 것이 긴급한 인류 문제를 소홀히 할 우려가 있다고 걱정한다. 하지만 동물권 연구는 연민이 여러 그룹으로 확장될 수 있음을 보여준다. 그럼에도 AI 영역은 미지의 영역이며, 인간과 동물 복지와 병행해 고려하기는 불확실하다. Schneider 같은 비평가들은 기업들이 AI 복지라는 담론을 통해 ‘윤리적 세탁’을 하거나, AI가 자율적이고 의식적인 존재로 행동했기 때문에 책임에서 벗어나려 할까 우려한다. 결론적으로, 우리의 도덕적 범위를 AI까지 확장하는 일은 쉽지 않고 비선형적이다. AI의 복지에 진지하게 주의를 기울이는 것은 인간 복지를 희생하는 것이 아니며, 오히려 미래 시스템과의 신뢰 기반, 긍정적 관계를 증진할 수 있다. 그러나 이 길은 책임감 있게 탐색할 수 있도록 철학적, 사회적, 기술적 노력이 수반되어야 한다.