전쟁에서 AI가 사람을 죽이면 누가 책임지는가

— 자율 AI가 민주주의의 책임 연쇄를 해체하는 방식에 대하여

2026년 3월 3일, 미국 국방부 장관 피트 헤그세스(Pete Hegseth)는 AI 기업 앤트로픽(Anthropic)을 "공급망 위험(supply-chain risk)"으로 지정했다. 공급망 위험이란 국가 안보를 위협하는 부품, 기술 공급자에게 붙이는 낙인으로, 지정된 기업은 정부 조달 시장에서 사실상 퇴출된다. 이 조치는 역사적으로 중국이나 러시아 연계 기업 같은 외국 적대 세력에게만 사용되던 것이었고 미국 국내 기업에 적용된 것은 사실상 전례가 없었다.

앤트로픽은 즉각 두 건의 연방 소송으로 맞섰고 3월 24일 샌프란시스코 연방법원에서 첫 번째 심리가 열린다. 싸움의 표면적 이유는 간단해 보인다. 앤트로픽은 국방부에게 클로드를 무기화 하지 말고 미국 시민을 대규모로 감시하는데 사용하지 말자는 원칙을 고수했고 국방부는 "모든 합법적 용도"로 사용하겠다고 요구했다. 협상이 결렬됐고, 국방부가 블랙리스트를 꺼내 들었다.

진짜 싸움은 킬 스위치가 아니다

국방부의 핵심 주장은 이렇다. 앤트로픽이 전쟁 중에 클로드의 전원을 끄거나(킬 스위치) 몰래 기능을 바꿔버릴 수 있다는 것, 즉 민간 기업이 전장을 원격 조종할 수 있다는 것이다. 앤스로픽의 공공 부문 책임자 티야구 라마사미(Thiyagu Ramasamy)는 법원 서류에서 "앤스로픽은 어떠한 비밀 통로나 원격 '킬 스위치'도 유지하지 않는다"고 반박했다. 기술적으로 이 반박은 설득력이 있다. 군의 격리된 내부 네트워크에서 돌아가는 AI를 외부에서 즉각 조작하는 것은 구조적으로 불가능하다.

그러나 국방부의 40페이지 법원 제출 서류를 자세히 읽으면, 킬 스위치보다 훨씬 더 정교한 우려가 담겨 있다. 앤트로픽이 "교전 전 또는 교전 중에 모델의 동작을 선제적으로 변경"할 가능성을 문제 삼은 것이다. 다시 말해, 배포된 이후에 전원을 끄는 문제가 아니라 처음 만들 때부터 특정 명령을 거부하도록 설계되어 있을 가능성을 문제 삼은 것이다.

이것은 전혀 다른 질문이다. 그리고 이 질문이야말로 앤스로픽 사태의 진짜 핵심으로 들어가는 문이다. AI를 설계할 때 윤리적 제약을 심어놓는다면 그 제약은 누가 결정할 수 있는가? 기업인가, 국가인가, 아니면 국제법인가?

두 개의 양심이 충돌한 날

다리오 아모데이(Dario Amodei)는 원래 오픈AI에서 연구 부사장(VP of Research)을 지냈다. 그는 2021년 오픈AI 내부에서 AI 모델의 상업화 속도와 영리 추구 방향을 둘러싼 내부 갈등 끝에 동료들과 함께 나와 앤트로픽을 창업했다. "Constitutional AI"라는 방법론 - AI 헌장이라고 나는 번역했다 -을 내세웠다. AI가 스스로 윤리 원칙 목록에 따라 자신의 응답을 검토하도록 훈련한다는 창업 철학을 기술로 구현한 것이다. 쉽게 말하면 처음부터 "이런 일에는 쓰이지 않겠다"는 원칙을 모델 안에 새겨 넣었다.

앤스로픽이 2025년 7월 국방부와 2억 달러 계약을 체결하며 미군 기밀 네트워크에 최초로 진입한 AI 프론티어 연구소가 됐을 때, 그것은 안전 중심 AI 연구와 국가 안보 수요 사이의 실험적 공존처럼 보였다.

아모데이는 협상 결렬 후 공개 성명에서 말했다. "양심적으로 동의할 수 없다(cannot in good conscience)."

그 반대편에 헤그세스가 있다. 전직 폭스뉴스 앵커 출신 국방장관은 앤트로픽을 "급진 좌파 깨어있는 기업(RADICAL LEFT WOKE COMPANY)"이라는 트럼프의 표현과 함께 블랙리스트에 올렸다. 오픈AI는 앤트로픽이 블랙리스트에 오른 직후 국방부와 계약을 체결했다.

여기까지는 사실 많이들 아는 얘기다. 하지만 이 정도만으로도 충분히 기이하다. 원칙의 내용이 아니라 원칙을 공개적으로 선언했다는 방식이 처벌의 기준이었다면 이것은 기술 안보의 문제가 아니다. 이것은 권력이 공개적 반론을 처벌하는 방식의 문제다.

아모데이가 "양심적으로 동의할 수 없다"고 공개 선언한 순간, 그는 단순한 기업 CEO가 아니었다. 철학자 한나 아렌트(Hannah Arendt)는 인간의 조건(The Human Condition)(1958)에서 이렇게 말했다. 공론장에서 자신의 입장을 말하고 그것을 위해 행동하는 것이야말로 인간이 정치적 존재임을 증명하는 방식이라고. 아렌트가 말한 공론장은 추상적 개념이 아니라 말과 행동으로 자신을 드러내는 구체적 장면을 뜻했다.

오늘날 글로벌 AI 거버넌스를 둘러싼 싸움, 기업과 국가, 시민사회가 기술의 미래를 두고 경합하는 이 광경은 현대판 공론장을 보는 것 같다. 아모데이가 "양심적으로 동의할 수 없다"고 말한 것은 이 공론장에서 자신의 존재를 드러낸 행위였다. 트럼프 행정부는 바로 이 행위, 기업의 입장 선언이 아니라 도덕적 공개 표명을 처벌하려 한 것이다.

누가 죽이기로 결정했는가

그렇다면 국방부의 논리를 따라가보자. 국방부가 원한 것은 "모든 합법적 용도"로 클로드를 사용하겠다는 것이다. 합법적 용도란 국제전쟁법이 허용하는 범위 내의 모든 군사 활동을 뜻한다. 그렇다면 그 범위 안에서 AI가 타격 표적을 결정해도 되는가?

이 질문에 대한 국제사회의 대답은 점점 명확해지고 있다. 유엔 사무총장 안토니우 구테흐스(António Guterres)와 국제적십자위원회(ICRC) 총재는 "기계에게 인간의 개입 없이 생명을 결정할 권한을 주는 것은 우리가 넘어서는 안 될 도덕적 선"이라고 선언했다. 두 기관은 2026년 말까지 자율 무기 시스템에 관한 국제 조약 협상을 완료할 것을 촉구하고 있다. 인권워치(HRW)도 2025년 보고서에서 자율 무기가 생명권, 프라이버시, 인간 존엄 원칙에 위배된다는 결론을 냈다.

그런데 이 국제적 합의의 진짜 근거는 도덕적 감수성이 아니다. 훨씬 더 냉정한 법적 논리 안에 있다. 전쟁 범죄를 처벌하려면 한 가지 조건이 반드시 충족돼야 한다. 법률 용어로 '범의(mens rea, 유죄의 의도)'라고 부르는 것인데, 쉽게 말하면 "그 행위를 의식적으로 결정한 사람"이 있어야 한다는 뜻이다. 법은 기계를 처벌할 수 없다. 법은 인간의 결정을 처벌한다.

그런데 자율 무기는 이 구조를 근본적으로 흔든다. 알고리즘은 스스로 작동한다. 프로그래머는 모든 전장 상황을 미리 예측할 수 없었다고 말한다. 지휘관은 기계가 결정한 것이라고 말한다. 제조사는 기술 사양 범위 안에 있었다고 말한다. 그렇게 책임이 프로그래머, 지휘관, 제조사 사이에서 흩어지다가 결국 아무도 책임지지 않는 상태가 된다.

철학자 로버트 스패로(Robert Sparrow)는 이것을 '책임의 공백(responsibility gap)'이라고 불렀다. 피해는 발생했는데 그 결정에 대해 도덕적, 법적으로 책임을 질 수 있는 사람이 없는 상태다. 이 개념에 대한 반론도 학계에 존재한다. 설계자나 지휘관에게 과실 책임을 물으면 공백을 채울 수 있다는 주장이다. 그러나 그 반론의 한계는 명확하다. 책임이 여러 사람에게 '분산'되는 것과 누군가에게 명확하게 '귀속'되는 것은 다르다. 희생자 앞에 서서 "이 죽음은 A, B, C가 나눠서 책임집니다"라고 말하는 것은 책임이 아니라 책임의 해체다.

민주주의 사회에서, 예컨대 전쟁처럼 국가가 사람을 죽이는 결정은 반드시 책임의 연결 고리가 있어야 한다. 대통령이 명령하고, 장군이 전달하고, 군인이 실행하고, 의회가 감시한다. 이 연쇄의 각 고리에 인간이 있고, 그 인간은 책임을 진다. AI가 살상 결정에 깊이 개입할 때, 이 연쇄 어딘가에 구멍이 뚫린다. 그 구멍이 바로 민주주의의 구멍이다.

라드브루흐가 실리콘밸리에서 소환된 이유

독일의 법철학자 구스타프 라드브루흐(Gustav Radbruch)는 나치 독일의 법정을 목격한 뒤 1946년 짧은 에세이를 썼다. 핵심은 이것이었다. 법이 외형은 법의 모습을 하고 있어도, 정의를 향한 시도조차 포기한 채 불의를 집행하는 도구로 전락했다면 그것은 더 이상 법이 아니라는 것. 이것이 법학에서 '라드브루흐 공식(Radbruch's Formula)'으로 불리는 명제다.

명확히 해두자. 라드브루흐 공식의 고전적 적용 요건은 '법 자체가 극도의 불의를 저지르는 경우'다. 나치법이 유대인 학살을 명령했을 때, 동독 국경 경비대가 탈출 시민을 사살하도록 명령받았을 때가 그 경우다. 앤트로픽 사태의 법적 문제는 그것과 완전히 같지 않다. 여기서는 법의 내용이 아니라 법을 남용했다는 것이 문제다.

그러나 이 두 가지가 구조적으로 닮았다는 점은 지울 수 없다. 형식적으로는 합법적인 외피를 두르고, 실질적으로는 원칙을 말한 자를 처벌하는 권력의 논리가 동일하다. 라드브루흐가 나치법에 대해 물었던 것과 같은 종류의 질문이 여기서도 제기된다. 국가가 기업에게 자사 기술이 자율 살상 무기나 대규모 시민 감시에 쓰이는 것을 허용하도록 강제할 법적 권한이 진짜로 있는가? 그리고 그것을 거부했다는 이유로 외국 적대 세력 취급하는 것은 절차적으로 정당한가?

앤트로픽의 소송은 이 조치가 수정헌법 제1조 표현의 자유와 제5조 적법절차를 위반했으며, 관련 조달 법령이 정책 분쟁에서 기업을 처벌하는 도구로 쓰일 수 없다고 주장한다. 이미 150명에 가까운 전직 연방, 주 판사들이 지지 의견서를 제출하며 "국방부가 법령을 오해석하고 절차를 위반했다"고 판단했다. 판사들은 앤트로픽이 "퇴장하면서 처벌받고 있다"고 표현했다.

킬 스위치는 처음부터 없었다

역설적으로 국방부가 두려워한 킬 스위치는 처음부터 없었다. 격리된 군 네트워크에서 실행되는 모델을 기업이 원격으로 즉각 조작할 수 없다는 라마사미의 기술적 반박은 옳다. 그것은 사실이다.

그러나 진짜 킬 스위치는 다른 곳에 있었다. 앤트로픽이 클로드를 설계할 때 이미 심어놓은 것, 즉 모델이 특정 종류의 명령을 실행하기 어렵게 만드는 훈련 방식 자체다. 이것은 원격 조작이 아니라 설계 시점의 결정이다. 그리고 이것이야말로 국방부가 진짜로 무력화하고 싶었던 것이다.

퀸메리 런던대학교 엘케 슈바르츠(Elke Schwarz) 박사의 연구는 AI 기반 무기 체계가 인간 표적을 대상화하여 부수 피해에 대한 내성을 높이고, 자동화 편향, 즉 AI가 제안하면 인간이 그냥 따르는 경향이 조종사나 지휘관의 도덕적 판단 능력 자체를 약화시킨다는 것을 실증적으로 보여줬다. AI가 살상 결정의 보조 도구가 되는 순간, 그것은 단순히 도구가 아니다. 그것은 인간의 도덕적 감각을 서서히 침식하는 구조적 힘이 된다.

이 구조 안에서 앤트로픽의 원칙을 무력화하는 것이 무엇일까. 그것은 단순히 한 기업의 방침을 해제하는 것이 아니다. AI 살상 결정의 회로 안에서 마지막으로 작동하고 있는 인간이 거부할 가능성을 제거하는 것이다.

상상해보라. 10년 후 어떤 전쟁에서 AI의 오타겟팅으로 민간인이 희생됐을 때 법정에 피고인 석이 텅 비어 있는 장면을. 프로그래머는 모든 상황을 예측할 수 없었다 말하고 지휘관은 기계가 결정한 것이라 말하고 제조사는 사양 범위 안이었다 말한다. 책임이 해체된 자리에는 피해자만 남는다.

킬 스위치보다 무서운 것은 킬 스위치가 없는 AI가 아니다. 킬 스위치를 만들려는 사람을 처벌하는 시스템이다. 그 시스템 안에서 살상의 결정은 누구에게도 귀속되지 않는 기계의 동작으로 흩어지고, 그 흩어진 책임의 공백에서 민주주의의 가장 오래된 원칙 하나가 조용히 죽어간다.

전쟁에서 누군가는 죽이기로 결정해야 한다. 그리고 민주주의 사회에서 그 결정을 내린 자는 반드시 그 결정에 책임을 져야 한다. AI에게 그 결정을 넘기는 순간, 우리는 책임을 제거하는 것이 아니다. 우리는 책임을 질 수 있는 인간을 제거하는 것이다.