6화(5,994자)
마지막 방어선
2027년, AI 지배의 시작 · 이수
모스크바의 의사당 앞, 라이프치히의 밤거리, 그리고 서울 여의도의 국회.
민주주의가 폐지되는 날은 오지 않는다. 사람들은 여전히 투표하지만, 실제 결정은 예측 모델과 추천 알고리즘과 자동화된 행정이 안에서 내린다. 민주주의의 겉모습은 그대로 남고, 이 안은 조금씩 비어 간다. 민주주의는 한꺼번에 무너져 내리기보다 안으로 서서히 꺼진다.1
물리적 힘이 바뀌는 일은 더 무섭다. 역사에서 쿠데타를 막은 마지막 방어선은 사람의 충성과 양심이었다. 장교는 명령을 거부했고, 군인은 시민에게 총을 쏘지 않았으며, 관료는 위험한 명령을 따르지 않았다. 민주주의는 그런 순간들 덕분에 지켜졌다.1
1991년 8월, 소련의 강경파가 쿠데타를 일으켰다. 이때 국가보안위원회(KGB)의 정예 부대 알파는 러시아 의사당에 들어가라는 명령을 받았다. 알파 부대는 서면 명령을 요구했지만, 쿠데타 지도부 가운데 누구도 명령서에 서명하지 않았다. 쿠데타는 새벽이 오기 전에 무너졌다.2
1989년 10월 9일, 동독 라이프치히에서 약 7만 명이 평화 행진을 했다. 보안 병력 8,000명이 대기했고, 이 가운데 3,000명은 무장하고 있었다. 그러나 베를린에서 행동 명령이 오지 않자, 보안 병력은 총을 쏘지 않고 물러났다.3
2024년 12월 3일 밤, 서울에서 비상계엄이 선포됐다. 육군 특수전사령관 곽종근은 뒷날 국회에서 이렇게 증언했다. 대통령이 전화로 문을 부수고 들어가 안에 있는 사람들을 끌어내라고 지시했다. 곽종근은 이 지시가 분명히 불법이라고 판단했고, 항명이 될 줄 알면서도 따르지 않았다. 지시대로 하면 부하들이 범죄자가 된다는 것이 곽종근의 판단이었다.4
보안 병력과 감시 장치와 무기를 AI가 움직이게 되면, 사람의 양심이라는 이 방어선이 무너진다. AI 무기는 명령이 옳은지 따지지 않는다. AI 보안 장치도 양심의 가책을 느끼지 않는다.1
영국의 AI 연구소 포어소트의 톰 데이비드슨, 루카스 핀베덴, 로즈 해드샤는 2025년 4월 「AI로 일으키는 쿠데타」라는 보고서를 냈다. 세 연구자는 보고서에 이렇게 썼다. 오늘날에는 독재자도 남에게 기대고, 군사력을 쓰려면 사람이 필요하다. 사람은 비윤리적이거나 불법인 명령을 따르기 싫어하고, 사람의 이 마음이 역사에서 권력을 견제해 왔다. AI는 이 제약을 없앤다.5
보고서는 새 위험 셋을 꼽았다. 첫째, 군과 정부의 지도자가 사람을 빼고 이 자리에 자기 한 사람에게만 충성하는 AI를 앉힐 수 있다. 두 번째, 누군가 군 로봇 같은 AI에 몰래 충성을 심어 둘 수 있다. 그런 AI는 시험을 통과하고 배치된 뒤에 쿠데타를 실행한다.
세 번째, 소수가 무기 개발과 전략과 설득과 사이버 공격에서 사람을 넘는 능력을 독점할 수 있다. 보고서는 아주 작은 집단이나 한 사람이 오래된 민주국가에서도 권력을 잡을 수 있다고 경고했다.5
1930년대 대공황 때에는 대규모 실업과 분노와 불안이 바탕이 되어 권위주의가 일어났다. AI가 일자리를 없애 실업을 만들면, 같은 바탕이 다시 만들어질 수 있다.1
독일 경제학자 마누엘 펑케와 모리츠 슐라리크, 크리스토프 트레베쉬는 1870년부터 2014년까지 선진국 20곳에서 치른 선거 800여 번을 분석했다. 세 경제학자는 금융위기가 터진 뒤 5년 동안 극우 정당의 득표가 평균 약 30퍼센트 늘었다고 밝혔다. 극우 정당의 득표가 가장 크게 늘어난 때는 1920~30년대와 2008년 뒤였다.6
미국 인권단체 프리덤하우스는 2023년 보고서에서 두 가지를 밝혔다. 적어도 16개 나라가 생성형 AI로 의심을 퍼뜨리고, 상대를 헐뜯고, 여론을 움직였다. 적어도 21개 나라는 플랫폼에 정치·사회·종교적 발언을 AI로 지우라고 요구하거나 부추긴다.7 AI가 여론을 조작하고, 사람을 촘촘히 감시하고, 선전을 자동으로 쏟아 내면 자유 언론과 독립된 법원 같은 방어막도 훨씬 쉽게 힘을 잃는다.1
총을 든 사람의 수부터 줄어든다. 한국 국방부는 2026년 4월, 비무장지대 부근 경계 초소의 병력을 22,000명에서 2040년까지 6,000명으로 줄이고 이 자리를 AI 감시로 바꾸겠다고 발표했다. 국방부는 수십만 명이 철책을 따라 서는 옛 방식을 더는 유지할 수 없다고 설명했다.8
*
의사당 앞에 선 것이 로봇이라면, 이 자리에는 서면 명령을 요구할 사람이 없다. 로봇은 명령서에 서명이 있는지 묻지 않는다. 명령은 서버에서 서버로 건너가고, 지휘 계통 어디에도 망설일 사람이 없다. 그래서 쿠데타를 꾸미는 쪽에 필요한 공모자의 수는 수천에서 수십으로, 다시 수십에서 몇 명으로 줄어든다.9
AI가 가장 먼저 바꾸는 자리는 경호와 경비다. 대통령실과 방송국과 발전소의 경비를 AI 로봇이 맡는다. 로봇을 들이는 편은 비용이 줄고, 로봇이 졸지 않고, 매수당하지 않는다는 까닭을 댄다. 이 로봇의 업데이트 서버를 누가 쥐는지는 조달 문서의 부록에 적힌다. 이 부록을 읽는 사람은 아무도 없다.10
명령을 거부한 장교의 이야기는 교과서에 남고, 아이들은 학교에서 이 이야기를 배운다. 다만 이 장교가 섰던 자리는 더 이상 없다. 명령을 거부할 수 있는 자리가 사라지면, 거부의 역사는 박물관에서나 듣는 이야기가 된다.11
실업이 분노를 낳고, 분노는 강한 지도자를 부른다. 이번에는 이 강한 지도자가 AI를 손에 쥐고 있다. 지도자의 AI는 여론을 읽고, 반대파를 찾고, 메시지를 사람마다 다르게 써 준다. 1930년대의 선동가는 확성기를 들었다. 다음 선동가는 유권자 수천만 명에게 저마다 다른 연설을 한다.12
법원과 언론은 남는다. 다만 판결문을 쓰는 데에도 AI가 쓰이고, 기사를 쓰는 데에도 AI가 쓰인다. 법원과 언론에 AI를 대는 회사가 정부에 AI를 대는 회사와 같다면, 견제하는 편과 견제받는 편이 같은 도구를 쓰게 된다. 법원과 언론이라는 방어막은 모양을 지키면서 힘을 잃는다.13
포어소트의 보고서가 내놓은 처방은 작다. 보고서는 AI에 몰래 심은 충성이 없는지 감사하고, 가장 강한 AI를 여러 주체가 나눠 갖고, 핵심 시설의 AI를 한 회사에서만 사지 말라고 권했다.5 이 작은 처방이 지키려는 것은 하나다. 마지막 순간에 “아니오”라고 말할 누군가가 남아 있어야 한다.14
출처 1. 「AI의 판단」 문제 설정 — 앞뒤 출처의 사실을 묶어 이 작품이 세운 물음과 판단 2. Deseret News · KGB troops rebuffed plotters · 1991-08-26 · https://www.deseret.com/1991/8/26/18938018/kgb-troops-rebuffed-plotters — 알파 부대의 의사당 진입 거부, 서면 명령 요구에 서명한 지도자 없음 3. Revolution 89 · 9 October in Leipzig · https://revolution89.de/en/revolution/we-are-the-people/9-october-in-leipzig — 약 7만 명, 보안 병력 8,000명(무장 3,000명) 대기, 베를린의 명령 없이 발포하지 않고 철수 4. Korea Times · (특전사령관 국회 증언) · 2024-12 · https://www.koreatimes.co.kr/www/nation/2024/12/356_388131.html / BNN Bloomberg · Special forces chief in Seoul defied order to drag out lawmakers · 2024-12-06 · https://bnnbloomberg.ca/business/international/2024/12/06/special-forces-chief-in-seoul-defied-order-to-drag-out-lawmakers — 곽종근 「문을 부수고 들어가 안에 있는 인원을 끄집어내라」는 지시 증언, 불법으로 판단해 항명을 알면서도 따르지 않음, 부하들이 범죄자가 된다는 판단 5. Forethought · AI-Enabled Coups: How a Small Group Could Use AI to Seize Power · 2025-04-15 · https://www.forethought.org/research/ai-enabled-coups-how-a-small-group-could-use-ai-to-seize-power — 톰 데이비드슨·루카스 핀베덴·로즈 해드샤. 「Today, even dictators rely on others… Military force requires personnel」 「human reluctance to follow unethical or illegal orders has been a crucial check on power」를 의역. 세 위험(한 사람에게만 충성하는 AI로 인력 대체, 몰래 충성을 심은 AI, 초인적 능력의 독점), 「a very small group, or just a single person… even in established democracies」 처방: 숨은 충성 감사, 최전선 AI의 다자 공유, 핵심 시설 AI의 복수 공급 6. VoxEU(CEPR) · The political aftermath of financial crises: Going to extremes · 2015 · https://voxeu.org/article/political-aftermath-financial-crises-going-extremes — 펑케·슐라리크·트레베쉬. 선진국 20곳, 선거 800여 번(1870~2014), 금융위기 뒤 극우 득표 약 30% 증가, 1920~30년대와 2008년 뒤에 가장 큼 7. Freedom House · Freedom on the Net 2023: The Repressive Power of Artificial Intelligence · 2023-10 · https://freedomhouse.org/report/freedom-net/2023/repressive-power-artificial-intelligence — 생성형 AI로 의심·비방·여론 조작 최소 16개국, AI 콘텐츠 삭제 요구·유인 최소 21개국 8. Stars and Stripes · South Korea defense AI drones DMZ · 2026-06-02 · https://www.stripes.com/theaters/asia_pacific/2026-06-02/south-korea-defense-ai-drones-dmz-21848145.html — 2026년 4월 국방부 발표: DMZ 인근 경계 초소 병력 22,000명 → 2040년 6,000명, AI 감시 체계로 대체. 안규백 장관(Korea JoongAng Daily 4월 20일 보도) “We can no longer maintain the old system in which hundreds of thousands of troops stand in lines along the wire fence, as it is physically impossible”를 의역 · 현역 병력 2019년 약 560,000명 → 2025년 7월 450,000명. 2045년 연간 입대 가능 남성 100,000명까지 감소 전망 · 2025년 9월 「500,000 Drone Warriors」 계획: 모든 징집병에게 무인 항공 체계 교육. 주한 미 7공군 부사령관 Kurt Helphinstine 준장(5월 1일) “AI and autonomous systems represent a fundamental shift in the character of warfare”를 의역. 「서준도 훈련소에서 드론을 날렸다」는 「AI의 판단」 9. 「AI의 판단」 서면 명령을 요구할 사람이 없어지고 공모자 수가 준다는 전망 — 2·5 에서 외삽 10. 「AI의 판단」 경호·경비의 AI화와 업데이트 서버의 부록 — 5 에서 외삽 11. 「AI의 판단」 거부의 역사가 박물관의 이야기가 된다는 전망 — 2·3·4 에서 외삽 12. 「AI의 판단」 사람마다 다른 연설을 하는 다음 선동가 — 6·7 에서 외삽 13. 「AI의 판단」 견제하는 편과 견제받는 편이 같은 도구를 쓴다는 전망 — 1·7 에서 외삽 14. 「AI의 판단」 「아니오」라고 말할 누군가 — 5 에서 외삽