19화(5,272자)
네 개의 물음
2027년, AI 지배의 시작 · 이수
영국 블레츨리 파크, 서울, 파리, 그리고 뉴욕 유엔 본부의 회의장들.
여기까지 나온 물음은 하나로 묶을 수 있다. AI가 끝까지 발전하면 사람에게 무슨 일이 생기느냐고 묻는 것은 정확하지 않다. 더 정확하게 물으면 이렇다. 사람은 문명의 주체로 계속 남을 수 있는가?1
이 물음은 네 갈래로 나뉜다. 첫째는 일터의 물음이다. 일하던 사람이 일을 잃은 뒤에도 물건을 사는 손님이자 나라의 주인으로 남는가? 두 번째는 정치의 물음이다. 결정의 이유와 책임을 사람이 계속 지는가? 세 번째는 전쟁의 물음이다. 사람의 목숨을 거두는 마지막 단추를 사람이 누르는가? 네 번째는 삶의 물음이다. 왜 사는지를 사람이 스스로 정하는가?1
이 물음에 답하려는 회의는 이미 열렸다. 2023년 11월 1일 영국 블레츨리 파크에서 미국과 중국을 포함한 28개 나라와 유럽연합이 「블레츨리 선언」에 서명했다. 이 선언은 가장 앞선 최전선 AI가 심각하고 파국적인 해를 끼칠 수 있다고 인정한 첫 국제 문서였다. 다만 선언에는 구속력이 없었다.2
2024년 5월 서울 회의에서는 16개 회사가 안전 약속에 서명했다. 오픈AI와 앤트로픽, 구글 딥마인드, 메타, 마이크로소프트, 네이버, 삼성전자가 이 회사들 가운데 있었다. 회사들은 저마다 안전 기준을 공개하고, 견딜 수 없는 위험의 선을 정하겠다고 약속했다.3
2025년 2월 파리 회의에서는 프랑스와 중국과 인도를 비롯한 58개 나라가 「포용적이고 지속 가능한 AI」 선언에 서명했다. 미국과 영국은 서명하지 않았다. 미국 부통령 J. D. 밴스는 지나친 규제에 반대한다고 말했다.4
유럽연합의 AI법은 2024년 8월에 발효됐다. 금지 조항은 2025년 2월부터, 범용 AI 규정은 2025년 8월부터 적용됐다. 고위험 AI 규정은 원래 2026년 8월부터 적용될 예정이었다. 그러나 2026년 5월의 잠정 합의로 적용 시점이 2027년 12월과 2028년 8월로 늦춰졌다.5
2025년 8월 26일 유엔 총회는 만장일치로 두 기구를 만들었다. 하나는 AI에 관한 독립 국제 과학 패널이고, 다른 하나는 AI를 어떻게 다스릴지 논의하는 AI 거버넌스 글로벌 대화다. 과학 패널에는 전문가 40명이 들어가고, 임기는 3년이다.6
AI 개발을 멈추자는 목소리도 커졌다. 미국 비영리단체 미래생명연구소는 2023년 3월 공개서한을 냈다. 오픈AI의 GPT-4보다 강한 AI의 훈련을 적어도 6개월 멈추자는 서한이었고, 3만 명 넘는 사람이 서명했다.7
미래생명연구소는 2025년 10월에 초지능 개발을 금지하자는 성명을 냈다. 성명은 초지능이 안전하고 통제 가능하다는 과학계의 폭넓은 합의와 대중의 강한 동의가 생길 때까지 개발을 금지하자고 했다. AI 연구자 제프리 힌턴과 요슈아 벤지오, 스튜어트 러셀이 성명에 이름을 올렸고, 서명은 7만 6,000명을 넘었다.8
첫째 물음에 답하려는 말도 나왔다. 이재명 대통령은 2026년 6월 영국 시사주간지 이코노미스트와 인터뷰했다. 이 대통령은 이 인터뷰에서 AI가 만들어 내는 초과 이익의 일부를 국민에게 나눌 장치가 필요하다고 말했다. 이 대통령이 이 장치로 든 것은 기본소득과 같은 새 틀이었다.9
AI 회사 쪽에서도 비슷한 말이 나왔다. 오픈AI의 샘 올트먼은 2024년 5월 「보편적 기본 연산」을 말했다. 돈 대신 거대 AI가 가진 연산 능력의 일부를 모두에게 나누자는 생각이다. 올트먼에 따르면 누구나 받은 조각을 직접 쓰거나, 되팔거나, 암 연구에 기부할 수 있다. 그렇게 모든 사람이 생산성의 일부를 갖게 된다.10
*
첫째 물음의 답은 세금에서 나온다. 일하는 사람이 고객으로 남으려면 AI가 번 돈의 일부가 사람에게 돌아와야 한다. 이 몫은 시장이 아니라 의회가 정한다. 의회가 이 몫을 놓고 다툴 수 있는 동안 사람은 시민으로 남는다. 다툼이 끝나고 사람들이 액수를 통보받기만 하는 날이 오면, 첫째 물음의 답은 바뀐다.11
두 번째 물음의 답은 이름에서 나온다. AI가 낸 안을 승인한 사람의 이름이 기록에 남아야 하고, 이 이름의 주인이 책임을 질 수 있어야 한다. 결정의 이유도 사람이 설명할 수 있어야 한다. 그리고 공무원에게는 설명할 수 없는 결정에 서명하지 않을 권리가 있어야 한다.12
세 번째 물음의 답은 시간에서 나온다. 사람에게는 표적을 다시 볼 몇 분과 핵 버튼 앞에서 숨을 고를 몇 분이 있어야 한다. 나라들은 이 몇 분을 서로 보장하는 조약을 협상장에 올린다. 이 조약이 지키려는 것은 무기의 수가 아니라 사람의 시간이다.13
네 번째 물음에는 답이 나오지 않는다. 법도 세금도 조약도 삶의 뜻을 정할 수는 없다. 다만 사회는 사람이 이 뜻을 지을 틈을 지킬 수 있다. AI 없이 생각해 보는 시간, 사람끼리 마찰하며 만나는 자리, 내가 고르는 길이 이 틈이다. 틈이 있어야 뜻이 자란다.14
회의는 해마다 열리고 선언은 늘어나지만, 구속력은 느리게 따라온다. 그사이 AI는 몇 세대씩 바뀐다. 네 물음의 답은 회의장보다 서버실에서 먼저 정해질 수도 있다. 이제 남은 것은 갈림길이다.15
출처 1. 「AI의 판단」 문제 설정 — 앞뒤 출처의 사실을 묶어 이 작품이 세운 물음과 판단 2. Digital Policy Alert · Bletchley Declaration on Artificial Intelligence · 2023-11-01 · https://digitalpolicyalert.org/change/7516-bletchley-declaration-on-artificial-intelligence — 28개국과 EU(미국·중국 포함), 「serious, even catastrophic, harm」 인정, 비구속 3. Freshfields · Seoul summit sees further developments in international governance of frontier AI · 2024-05 · https://technologyquotient.freshfields.com/post/102j8cj/seoul-summit-sees-further-developments-in-international-governance-of-frontier-ai — 16개 회사의 Frontier AI Safety Commitments(오픈AI·앤트로픽·구글 딥마인드·메타·마이크로소프트·네이버·삼성 등), 안전 기준 공개와 「intolerable」 위험 문턱 4. European Commission IP Helpdesk · India, 57 others sign AI Action Summit declaration · 2025-02-14 · https://intellectual-property-helpdesk.ec.europa.eu/news-events/news/india-57-others-sign-ai-action-summit-2025-02-14_en — 58개국 서명, 미국·영국 불참, 밴스의 「excessive regulation」 반대 5. Pinsent Masons · Law delaying EU high-risk AI rules finalised · 2026 · https://www.pinsentmasons.com/out-law/news/law-delaying-eu-high-risk-ai-rules-finalised — 2024-08-01 발효, 금지 2025-02-02, 범용 AI 2025-08-02, 고위험 2026-08-02 예정 → 2026-05-07 잠정 합의로 2027-12-02·2028-08-02 6. 유엔 총회 · A/RES/79/325 · 2025-08-26 · https://www.un.org/pga/wp-content/uploads/sites/110/2025/12/A_RES_79_325-EN.pdf — 만장일치, 독립 국제 과학 패널(전문가 40명·임기 3년)과 글로벌 대화 7. Future of Life Institute · Pause Giant AI Experiments: An Open Letter · 2023-03-22 · https://futureoflife.org/fli_pause-giant-ai-experiments_an-open-letter — GPT-4보다 강한 AI 훈련 최소 6개월 중단, 3만 명 이상 서명 8. Statement on Superintelligence · 2025-10-22 · https://superintelligence-statement.org/ — 「broad scientific consensus that it will be done safely and controllably」와 「strong public buy-in」 전까지 초지능 개발 금지 요구를 의역, 힌턴·벤지오·러셀 등, 서명 76,606명(사이트 집계) 9. 디지털타임스 · 李, AI 초과이윤 분배 공식화… “기본소득과 같은 새 틀 필요” · 2026-06-10 · https://www.dt.co.kr/article/12066945 — 이코노미스트 인터뷰, 「초과 이익(excess profits)의 일부를 일반 대중에게 분배」하는 장치로서 기본소득(basic income grant) 10. Basic Income Canada Network(Business Insider 전재) · OpenAI‘s Sam Altman has a new idea for a universal basic income · 2024-05 · https://basicincomecanada.org/openais-sam-altman-has-a-new-idea-for-a-universal-basic-income/ — All-In 팟캐스트 “Everybody gets like a slice of GPT-7’s compute. They can use it, they can resell it, they can donate it to somebody to use for cancer research”, “You own like part of the productivity”를 의역 11. 「AI의 판단」 첫째 물음이 세금과 의회의 다툼으로 답해진다는 전망 — 1 과 네 번째 화 출처 3, 여덟 번째 화의 전망에서 외삽 12. 「AI의 판단」 두 번째 물음이 승인자의 이름과 설명 책임으로 답해진다는 전망 — 1 과 열두 번째 화의 전망에서 외삽 13. 「AI의 판단」 세 번째 물음이 사람의 시간을 보장하는 조약으로 답해진다는 전망 — 1 과 열두 번째 화 출처 5·6에서 외삽 14. 「AI의 판단」 네 번째 물음은 답해지지 않고 틈만 지킬 수 있다는 판단 — 1 과 열일곱 번째·열여덟 번째 화에서 외삽 15. 「AI의 판단」 네 물음의 답이 서버실에서 먼저 정해질 수 있다는 판단 — 2~8 에서 외삽