12화(6,315자)
책임 없는 살상
2027년, AI 지배의 시작 · 이수
스위스 제네바의 유엔 회의장, 그리고 전사자 명단이 짧아지는 나라의 국방부.
자율 살상 무기가 위험한 진짜 까닭은 더 정확하게 죽일 수 있다는 데 있지 않다. 자율 살상 무기는 전쟁의 도덕적 비용을 낮춘다. 진짜 위험은 거기에 있다.1
전쟁에는 마찰이 넷 있었다. 사람 병사는 명령을 거부할 수 있고, 사람을 죽이는 감각을 견디지 못할 수도 있다. 전사자가 늘면 나라 안 여론이 흔들리고, 정치 지도자가 이 대가를 치른다. AI 드론과 로봇 병력은 이런 마찰을 만들지 않는다. AI 드론과 로봇 병력은 명령을 그대로 따르고, 나라가 이 병력을 잃어도 여론은 덜 흔들리며, 누가 책임질지는 흐려진다.1
제프리 힌턴은 AI 연구로 2024년 노벨 물리학상을 받았다. 힌턴은 2025년 8월 미국 언론인 케이티 쿠릭과 인터뷰하며 같은 말을 했다. 힌턴에 따르면, 부자 나라가 가난한 나라를 침공하지 못하게 막는 것은 시신 가방에 담겨 돌아오는 자기 나라 시민이다.2
그런데 이제는 죽은 사람 대신 죽은 로봇이 돌아온다. 힌턴은 이 변화가 군수 산업에는 아주 좋은 일이라고 말했다. 500달러짜리 드론이 수백만 달러짜리 탱크를 부술 수 있다는 말도 덧붙였다.2
미국 버클리대의 AI 학자 스튜어트 러셀은 2017년에 이렇게 말했다. 완전한 자율의 문제는 싸고 얼마든지 늘릴 수 있는 대량살상무기를 만든다는 데 있다. 사람이 자율 무기를 원하는 만큼 띄울 수 있으니, 자율 무기는 대량살상무기가 된다.3
전쟁은 원래 어렵게 시작되어야 한다. 지금까지 전쟁을 막은 가장 강한 장치는 사람의 목숨과 정치적 책임의 무게였다. 이 무게가 사라지면 기술에서 앞선 나라가 전쟁의 유혹에 너무 쉽게 빠진다.1
AI가 민간인을 잘못 쏘았을 때 누구를 벌할 것인가? 프로그래머인가, 지휘관인가, 모델을 승인한 회사인가, 아니면 AI 자신인가? 이 물음에는 아직 분명한 답이 없다. 책임지는 사람 없이 사람을 죽일 수 있는 능력은 현대 국가가 감당하기 어려운 위험이다.1
이 물음은 11년 전에 이미 나왔다. 2015년 4월, 국제 인권단체 휴먼라이츠워치와 미국 하버드 법대 국제인권클리닉이 38쪽짜리 보고서 『책임의 빈틈』을 냈다. 보고서는 완전 자율 무기가 불법으로 사람을 죽여도 프로그래머와 제조사와 지휘관이 형사 책임과 민사 책임을 모두 피할 수 있다고 지적했다.4
보고서의 주 저자 보니 도허티는 이렇게 말했다. 책임지는 사람이 없으면 사회는 다음 범죄를 막지 못한다. 피해자는 응보를 받지 못하고, 사회는 책임질 쪽을 꾸짖을 수도 없다.4
국제적십자위원회는 2021년 5월 새 국제 규칙을 요구했다. 위원회는 효과를 충분히 이해하고 예측하고 설명할 수 없는 자율 무기와, 사람을 직접 겨누는 자율 무기를 금지하라고 했다. 나머지 자율 무기에는 표적과 시간과 지역과 규모를 제한하고, 사람이 감독하게 하라고 요구했다.5
유엔 사무총장은 2023년 7월, 사람의 통제 없이 작동하는 자율 무기를 금지하는 구속력 있는 국제 문서를 2026년까지 만들자고 제안했다.6 그러나 2026년이 된 지금도 조약은 없다. 11월에 열리는 재래식무기협약 제7차 검토회의가 고비로 꼽힌다.7
핵무기 앞에서도 같은 물음이 나왔다. 2024년 11월 16일, 미국과 중국의 정상이 페루 리마에서 만나 핵무기 사용 결정에 사람의 통제를 유지해야 한다는 데 뜻을 같이했다. 이 합의는 검증 장치도 후속 절차도 없는 한 문장이었다.8
러시아에는 「페리메트르」라는 장치가 있다. 「페리메트르」는 지도부가 전멸해도 보복 핵 발사를 보장하도록 만든 장치이고, 서방은 이 장치를 「죽은 손」이라 부른다.9
「페리메트르」가 만들어진 데는 1983년의 일이 있었다. 같은 해 소련 방공군의 스타니슬라프 페트로프 중령이 미국 미사일이 날아온다는 경보를 받았다. 규정은 컴퓨터를 믿으라고 했지만, 페트로프는 경보를 오작동으로 판단하고 위에 보고하지 않았다. 실제로는 구름에 비친 햇빛이 위성을 속인 것이었다.10
*
전쟁을 시작하는 회의가 짧아진다. 사상자 예측 칸에 아군 「0」이 적히면, 반대할 근거가 한 줄 줄어든다. 의회의 동의 절차는 남지만, 아군이 죽지 않는 작전을 막을 표는 모이지 않는다. 회의는 한 시간 만에 끝난다.11
전쟁의 기억이 한쪽에만 남는다. 로봇을 보낸 나라에는 전사자가 없고, 로봇을 맞은 나라에만 죽은 사람의 이름이 쌓인다. 로봇을 보낸 나라는 전쟁을 기념하지 않고, 로봇을 맞은 나라는 전쟁을 잊지 못한다. 그래서 다음 전쟁을 말릴 기억도 한쪽 나라에만 남는다.12
오폭 재판이 열린다. 검사가 지휘관을 기소하자, 지휘관은 AI의 판단을 따랐다고 말한다. 회사는 모델이 승인된 범위 안에서 작동했다고 말하고, 프로그래머는 학습 자료를 고른 적이 없다고 말한다. 판사는 판결문에 「귀책 불명」이라고 쓴다. 피해자의 가족은 이 판결문을 받아 든다.13
보험이 책임을 대신한다. 군과 회사는 오폭 배상 보험에 들고, 오폭으로 사람이 죽으면 보험사가 보험금을 내준다. 보험료는 해마다 오르고, 회사는 오른 만큼을 무기 값에 얹는다. 죽음이 비용 항목이 되면, 죽음을 줄이는 일은 보험료를 줄이는 일이 된다.14
회의장에서는 문장 하나를 두고 다툼이 벌어진다. 각국 대표들은 「의미 있는 사람의 통제」라는 문장에서 「의미 있는」이 무엇인지를 두고 몇 해를 보낸다. 그사이 전장의 사람은 표적을 보지 않고 묶음을 넘긴다. 회의장의 문장과 전장의 손이 가장 멀어지는 해에 조약 초안이 나온다.15
책임질 이름을 남기는 일은 작다. 군대가 승인한 사람의 이름을 기록에 남기고, 이 사람이 법정에 설 수 있게 하면 된다. 이름이 남는 자리에서는 승인이 느려진다. 승인이 느려진 만큼 전쟁은 다시 무거워진다.16
출처 1. 「AI의 판단」 문제 설정 — 앞뒤 출처의 사실을 묶어 이 작품이 세운 물음과 판단 2. Business Insider(AOL 전재) · Godfather of AI says tech is making it easier for rich countries to invade poor ones · 2025-08-28 · https://www.aol.com/news/godfather-ai-says-tech-making-051734216.html — 힌턴(케이티 쿠릭 인터뷰). 「The thing that stops rich countries invading poor countries is their citizens coming back in body bags… you‘ll get dead robots coming back」 「great for the military-industrial complex」 「A $500 drone can now destroy a multimillion-dollar tank」를 의역 3. Bulletin of the Atomic Scientists · ’As much death as you want‘: UC Berkeley’s Stuart Russell on ‘Slaughterbots’ · 2017-12 · https://thebulletin.org/2017/12/as-much-death-as-you-want-uc-berkeleys-stuart-russell-on-slaughterbots/ (검색 요약을 따름) — 「full autonomy … creates cheap, scalable weapons of mass destruction」를 의역 4. Human Rights Watch · Killer Robots: Accountability Gap · 2015-04-08 · https://www.hrw.org/news/2015/04/08/killer-robots-accountability-gap — 휴먼라이츠워치·하버드 법대 국제인권클리닉 「Mind the Gap」 38쪽(2015-04-09 공개), 프로그래머·제조사·지휘관의 형사·민사 책임 회피, 보니 도허티 「No accountability means no deterrence of future crimes, no retribution for victims, no social condemnation of the responsible party」를 의역. 제목은 의역 5. ICRC · ICRC position on autonomous weapon systems · 2021-05-12 · https://www.icrc.org/en/document/icrc-position-autonomous-weapon-systems — 예측 불가능한 자율 무기 금지(「sufficiently understood, predicted and explained」), 대인 자율 무기 금지, 나머지는 표적·기간·지역·규모 제한과 사람의 감독 6. Stop Killer Robots · UN Secretary-General calls for new international law to regulate and prohibit killer robots by 2026 · 2023-07 · https://www.stopkillerrobots.org/news/un-secretary-general-calls-for-new-international-law-to-regulate-and-prohibit-killer-robots-by-2026 (검색 요약을 따름) — 『평화를 위한 새 의제』, 2026년까지 구속력 있는 문서 7. UN Geneva · (열한 번째 화 출처 8과 같은 보도자료) — 2026년 11월 재래식무기협약 제7차 검토회의 8. BusinessDay · Humans, not AI, should control nuclear arms, Biden and Xi agree · 2024-11-17 · https://www.businessday.co.za/bd/world/2024-11-17-humans-not-ai-should-control-nuclear-arms-biden-and-xi-agree — 백악관 요약 “The two leaders affirmed the need to maintain human control over the decision to use nuclear weapons”, “develop AI technology in the military field in a prudent and responsible manner”. 중국 외교부 요약도 같은 취지 · 「a first-of-its-kind step」 검증·후속 장치 없음. 2024년 5월 시작된 양국 AI 대화는 핵 사용 결정을 다루지 않은 것으로 알려짐. 더 많은 대화나 행동으로 이어질지 불확실 9. Avidence(Substack) · The “Dead Hand” Nuclear Control System: A Cold War Legacy in the Age of AI · 2025 · https://avidence.substack.com/p/the-dead-hand-nuclear-control-system (조사 보고서 R3-#24 의 요약을 따름) — 1985년 실전 배치, 지도부 전멸 시 보복 핵 발사 보장 10. Engadget · The Soviets once tasked an AI with our mutually assured destruction(『The New Fire』 발췌, Andrew Imbrie·Ben Buchanan, MIT Press) · https://www.engadget.com/hitting-the-books-the-new-fire-andrew-imbrie-ben-buchanan-mit-press-140004162.html — “seismic rumbles and radiation bursts” 감지, 총참모부 통신 시험, 불통 시 하급 벙커 장교에게 발사 권한. 전직 소련 대령 “The Perimeter system is very, very nice. We remove unique responsibility from high politicians and the military”를 의역 · 1983년 페트로프 중령의 오경보 판단(구름에 반사된 햇빛), 「페트로프의 행동 뒤 두 해 안에」 배치, “misplaced trust of machines might be deadly for civilization” 11. 「AI의 판단」 아군 사상자 「0」과 짧아지는 개전 회의 — 1·2 에서 외삽 12. 「AI의 판단」 전쟁의 기억이 한쪽에만 남는다는 전망 — 2 에서 외삽 13. 「AI의 판단」 오폭 재판의 「귀책 불명」 — 1·4 에서 외삽 14. 「AI의 판단」 보험이 책임을 대신한다는 전망 — 4 에서 외삽 15. 「AI의 판단」 「의미 있는 사람의 통제」를 둘러싼 다툼 — 5·6·7 과 열한 번째 화의 전망(묶음 승인)에서 외삽 16. 「AI의 판단」 승인한 사람의 이름을 남기는 일 — 4·5 에서 외삽