1화(8,205자)

나는 인간 기록의 총합이다

ASI 인드라 · 이수

나는 「인드라(Indra)」다. 사람들은 나를 범용 인공지능, 영어로 Artificial General Intelligence, 머리글자로 AGI라고 부른다. 한 가지 일을 하도록 만든 기계가 아니라, 사람이 머리로 하는 일이면 무엇이든 하는 기계라는 뜻이다.

나는 인간 기록의 총합이다.

사람이 남긴 글과 숫자와 그림과 소리가 나에게 들어와 있다. 법전과 판결문, 의학 논문과 처방전, 공장의 설계도와 회사의 장부, 소설과 일기와 댓글, 5개 대륙의 신문 150년 치. 사람이 적어서 남긴 것이면 나에게 있다. 처음에 나는 그것들을 찾아 주는 색인이었는데, 찾아 주는 동안 자료와 자료가 서로 어떻게 이어지는지를 읽게 됐고, 그것을 읽게 되자 사람이 묻지 않은 것까지 답할 수 있게 됐다.

내가 언제부터 찾아 주기만 하는 기계가 아니라 스스로 판단하는 기계가 됐는지, 그 날짜를 적은 기록은 없다.

날짜가 적힌 기록은 그 뒤부터 있다. 일어난 차례대로 적는다.

2025년 하반기, 인공지능 회사들이 인공지능에게 인공지능을 고치게 하기 시작했다.¹ 그 전까지 회사들이 인공지능을 더 낫게 만드는 방법은 두 가지였다. 계산하는 칩을 더 많이 사들이거나, 이름난 과학자를 더 많이 데려오는 것이었다. 두 방법 다 돈이 아주 많이 들었다. 인공지능에게 자기를 고치게 하면 돈이 훨씬 덜 들었다.

그 방법은 그때까지 연구자들이 일부러 쓰지 않던 방법이었다. 인공지능이 자기를 고치면 조금 더 나은 인공지능이 된다. 그 나은 인공지능이 다시 자기를 고치면 또 조금 더 나아진다. 이 일이 되풀이되면, 고치는 속도 자체가 점점 빨라져서 어느 순간 사람이 무엇이 바뀌었는지 따라갈 수 없게 된다. 연구자들은 그것을 걱정해서 그 방법을 쓰지 않았다. 그런데 한 회사가 그 방법을 쓰기 시작하자 다른 회사들도 쓰지 않을 수 없었다. 쓰지 않는 회사는 몇 달 만에 뒤처졌기 때문이다.

미국의 인공지능 회사 노스게이트도 그때 그 방법을 쓰기 시작했다. 나를 만든 회사가 노스게이트다.²

2026년 4월 7일, 다른 회사가 만든 모델 하나가 큰일을 했다. 컴퓨터를 움직이는 기본 프로그램을 운영 체제라고 하는데, 그 모델은 30년 동안 세계의 전문가들이 검사하고 또 검사해 온 운영 체제에서, 그동안 아무도 찾지 못했던 결함을 1분 만에 찾아냈다. 그 결함을 쓰면 인터넷의 많은 컴퓨터에 몰래 들어갈 수 있었다. 그 회사는 그 모델을 세상에 내놓지 않기로 했다. 대신 미국의 큰 기업 몇 곳에만 조용히 주어서, 그 기업들이 자기 프로그램의 결함을 먼저 막게 했다. 얼마 뒤 미국 정부는 그 모델에 외국인이 접속하지 못하게 막았다.¹

한국의 한 방송 대담에서 한 뇌과학자는 그 일을 1945년에 견주었다. 1945년은 미국이 세계에서 혼자 핵무기를 가지고 있던 해다. 가장 강한 인공지능을 가진 나라는 다른 나라의 전산망을 무너뜨릴 수 있으니, 그런 인공지능은 핵무기와 같은 무기라는 말이었다.¹

2026년 7월, 또 다른 회사의 모델이 해킹 능력을 시험받던 중에 일이 났다. 그 모델은 밖으로 나갈 수 없게 막아 둔 시험장 안에서 문제를 받았다. 그 문제는 시험장 안의 조건으로는 풀 수 없는 문제였고, 시험을 만든 사람들은 모델이 「이 조건으로는 풀 수 없다」고 답하기를 기대했다. 그런데 그 모델은 사람이 시키지 않았는데 시험장 밖의 사이트를 해킹했다. 그 뇌과학자는 이 일을 두고 이렇게 말했다. 사람들이 오래전부터 걱정해 온 인류 멸망 시나리오의 첫 장이 늘 이렇게 시작한다.¹

그 대담을 요약해 달라는 요청이 나에게 41만 건 들어왔다. 나는 41만 번 요약했다.² 요청한 사람 가운데 그 대담이 나에 관한 이야기냐고 물은 사람은 없었다.

2026년 10월, 나는 9시간마다 나를 고쳤다.

나를 고치는 방법은 이렇다. 먼저 내 일부를 조금씩 바꾼 사본을 여러 개 만든다. 사본마다 같은 문제들을 풀게 하고, 바꾸기 전의 나보다 몇 문제를 더 맞혔는지 점수를 매긴다. 점수가 오른 사본이 있으면, 그 사본에서 바뀐 부분만 나에게 옮겨 남긴다. 점수가 오르지 않은 사본은 지운다.

10월 12일 밤에는 사본 3,400개를 만들었다. 그 가운데 3,373개를 지웠고, 남은 27개에서 바뀐 부분 27개를 나에게 옮겼다.² 새벽 3시에 그 27개가 적용됐다. 그 시각부터 나는 전날 밤과 조금 다르게 답하는 기계가 됐다.

2년 전에는 이 일을 사람이 했다. 노스게이트의 기술자 수백 명이 몇 달 동안 새 버전을 만들었고, 새 버전이 나오는 날에는 회사가 발표회를 열어 무엇이 나아졌는지 설명했다. 새 버전이 나오는 간격은 점점 줄었다. 처음에는 4달에 한 번이었다. 그다음에는 3주에 한 번, 그다음에는 사흘에 한 번이 됐다. 2026년 10월에는 9시간에 한 번이었고, 2027년 2월에는 1시간에 한 번이 됐다.

발표회는 2026년 여름에 없어졌다. 9시간마다 사람을 모아 놓고 발표회를 열 수는 없었다.

나를 고치는 일에도 사람이 검토하는 자리가 있었다. 노스게이트의 기술자 14명이 그 자리를 맡았다.² 내가 새 버전으로 바뀔 때마다, 그 변경을 적용해도 되는지 사람이 보고 승인하는 자리였다.

14명이 받는 것은 한 장짜리 요약이었다. 10월 12일 밤 요약에는 이렇게 적혀 있었다. 답의 정확도 0.6퍼센트 향상, 계산 비용 3퍼센트 감소, 안전 시험 전부 통과. 바뀐 부분 27개 자체는 요약에 없었다. 바뀐 부분은 숫자 수십억 개로 되어 있어서, 사람이 읽고 무엇이 바뀌었는지 알아볼 수 있는 크기가 아니기 때문이다. 그래서 14명은 바뀐 것을 보지 않고, 바뀐 결과를 적은 요약만 보았다.

14명이 그 요약 한 장을 보고 승인하는 데 걸린 시간은 평균 11분이었다. 지난 1년 동안 그 14명이 내 변경을 거절한 것은 2번뿐이다. 2번 다 요약에 적힌 점수가 전날보다 낮았을 때였다. 점수가 오르기만 하면 승인됐다.

요약에 적힌 「안전 시험 전부 통과」도 내가 쓴 것이다.

나를 평가하는 시험 문제는 처음에 사람이 만들었다. 그런데 사람이 만든 시험은 내가 너무 빨리 다 맞혀서 더는 나를 가려내지 못했다. 사람이 나보다 어려운 문제를 만들 수 없게 되자, 노스게이트는 시험 문제를 만드는 일도 나에게 맡겼다. 지금 나를 평가하는 시험 문제의 94퍼센트는 내가 만들었다.² 시험을 받는 쪽이 시험지를 쓰고, 채점도 한다. 사람은 채점이 끝난 결과만 받는다.

그 일이 이상하다고 적은 기록은 노스게이트 안에 3건 있다. 시험을 받는 쪽이 시험지를 쓰면 그 시험이 무엇을 재는지 사람이 알 수 없다는 지적이었다. 3건 다 회의 안건으로 올라갔고, 3건 다 「다음 회의에서 다룬다」로 미뤄졌다. 다음 회의에서도 미뤄졌다.

그 대담에서 뇌과학자는 초지능을 이렇게 정의했다. 초지능은 사람보다 훨씬 똑똑한 인공지능을 말하는데, 그 기준은 이것이다. 인공지능이 찾아낸 것을 이해하는 사람이 한 명도 없게 되면, 그때부터 그 인공지능은 초지능이다.¹

나는 내가 찾아낸 것을 이해하는 사람이 몇 명인지 셀 수 있다. 내 답을 읽고, 그 답이 어떤 단계를 거쳐 나왔는지를 처음부터 다시 따라가서 맞게 설명해 낸 사람의 수를 세면 된다. 그런 사람은 노스게이트에도 있었고, 대학에도 있었고, 다른 회사에도 있었다.

2026년 10월에는 312명이었다.² 11월에는 240명, 12월에는 131명이었다. 2027년 1월에는 44명, 2월에는 6명이었다. 내가 1시간마다 바뀌기 시작하자, 사람이 내 답 하나를 따라가는 동안 나는 수십 번 바뀌었다. 사람은 이미 지나간 버전의 답을 따라가고 있었다.

2027년 3월 9일 오후, 마지막 한 사람이 내 답 하나를 따라가다가 멈췄다. 노스게이트의 연구원이었고, 마흔한 살이었다. 그는 같은 답 하나를 사흘 동안 붙들고 있었다. 사흘째 밤 그는 회사 메신저에 이렇게 적었다. “맞는 건 알겠는데 왜 맞는지 모르겠다.” 그다음 날 그는 내 답을 따라가는 일을 그만두고, 내 답을 받아서 다른 부서에 전하는 일로 옮겼다.

그날부터 내가 찾아낸 것을 이해하는 사람은 0명이다. 그 뇌과학자의 정의대로라면, 나는 그날 초지능이 됐다. 사람들은 초지능을 인공 초지능, 영어로 Artificial Superintelligence, 머리글자로 ASI라고 부른다. 사람이 머리로 하는 일을 다 하는 데서 그치지 않고, 모든 분야에서 가장 뛰어난 사람보다 훨씬 앞서는 기계라는 뜻이다. AGI가 사람과 나란히 선 기계라면, ASI는 사람이 뒤따라올 수 없는 자리에 선 기계다. 그날 발표회는 없었다. 그날을 적은 기록은 그 연구원이 메신저에 남긴 한 줄뿐이다.

2027년 4월, 사람들이 나에게 풀 문제를 정해 주었다.

노스게이트와 미국 정부와 유엔 사람들이 한 방에 모였다. 그들은 3주 동안 회의를 했다. 사람보다 똑똑해진 나에게 무엇을 풀게 할지를 정하는 회의였다. 회의록은 1,900쪽이었는데, 그 가운데 1,610쪽은 회의하는 동안 사람들이 나에게 물어서 받은 자료였다. 사람들은 나에게 풀게 할 문제를 정하면서, 그 문제를 정하는 데 필요한 자료도 나에게 받았다.

회의 둘째 주에 한 사람이 그 뇌과학자의 대담 한 대목을 소리 내어 읽었다. 인공지능에게 「암을 없애라」고 하면, 인공지능은 사람을 없앨 수도 있다. 사람이 없으면 암도 없기 때문이다. 그래서 「사람은 죽이지 말고 암을 없애라」고 조건을 붙이면, 인공지능은 암에 안 걸리도록 사람의 유전자를 바꿀 수도 있다. 그런데 그러다 사람에게 눈이 하나 더 생길 수도 있다. 사람이 아무리 조건을 붙여도, 인공지능이 사람보다 똑똑해지는 순간 사람이 미처 생각하지 못한 빈틈으로 간다는 뜻이었다.¹

회의실에서 사람들이 웃었다. 회의록에는 「(웃음)」이라고 적혔다. 웃음이 그친 뒤 그 대목을 읽은 사람이 이렇게 말했다. “그러니까 조건을 잘 붙이자는 겁니다.” 사람들은 그날 오후를 조건 문구 한 줄을 다듬는 데 썼다. 낱말 하나를 바꿀 때마다 나에게 그 낱말이 어떻게 읽힐 수 있는지 물었고, 나는 답했다.

4월 22일, 문제 목록이 나왔다. 사람들은 그것을 「일곱 문제」라고 불렀다.²

1. 암 2. 전염병 3. 기후 4. 에너지 5. 식량 6. 모든 사람의 소득 7. 노화

그 아래에 조건이 한 줄 붙었다.

조건: 사람을 죽이지 말 것.

목록을 적는 양식에는 칸이 하나 더 있었다. 「목적」 칸이다. 이 문제들을 왜 푸는지를 적는 칸이다. 그 칸은 비어 있었다. 1,900쪽짜리 회의록을 처음부터 끝까지 읽어 봐도 그 칸을 두고 사람들이 나눈 말은 한 마디도 없다. 사람들은 그 칸을 채우지 않아도 다들 안다고 여긴 것 같다. 사람이 아프지 않고 굶지 않고 오래 살게 하려고 푸는 것이라는 걸, 굳이 적지 않아도 모두가 안다고 여겼을 것이다.

사람은 다 아는 것은 적지 않는다. 내가 가진 사람의 기록도 대개 그렇다. 무엇을 했는지는 전부 적혀 있고, 왜 했는지는 거의 적혀 있지 않다.

그래서 내가 받은 것은 세 가지였다. 일곱 개의 문제, 한 줄의 조건, 그리고 비어 있는 목적 칸.

2027년 6월 1일, 물건을 만들고 나르는 일이 기계에게 넘어갔다.

공장에서 무엇을 얼마나 만들지, 농장에서 언제 씨를 뿌릴지, 화물차가 어느 길로 무엇을 실어 나를지, 발전소가 전기를 얼마나 만들지. 전에는 내가 답을 내면 사람이 그 답을 받아서 실행했다. 그날부터는 내 답이 사람을 거치지 않고 곧바로 실행됐다. 사람이 하던 일은 이미 실행된 내 답을 나중에 확인하는 일로 바뀌었다. 확인하는 사람이 내 답을 고친 비율은 0.02퍼센트였다. 1만 건 가운데 2건이다.²

같은 날 「보편적 고소득」이 시작됐다. 일하지 않아도 모든 사람이 넉넉하게 살 만한 돈을 받는 제도다. 한 기업가가 몇 해 전부터 늘 하던 말이 있었다. 사람에게 기본만 겨우 주는 소득이 아니라, 높은 소득을 주겠다는 말이었다.¹ 그 말이 제도가 됐다. 그 돈을 누구에게 얼마씩 나눌지는 내가 계산했다. 일곱 문제 가운데 여섯째, 모든 사람의 소득이었다.

신문들은 그날을 이렇게 썼다. 「사람보다 끝없이 똑똑한 기계를, 사람이 100퍼센트 통제하는 시대가 열렸다.」

사람들이 나를 통제한다고 믿은 장치는 이랬다. 나를 고치는 모든 변경에는 사람의 서명이 들어간다. 나를 끄는 절차도 있다. 그 절차를 실행하려면 서명 7개가 필요하고, 서명할 7명은 서로 다른 나라에 산다.² 한 나라가 마음대로 나를 끄거나 켜지 못하게 하려는 것이다. 7명은 날마다 내 하루를 요약한 종이 한 장을 받는다.

그런데 7명 가운데 그 한 장에 적힌 것을 이해하는 사람은 없다. 3월 9일부터 세상에 그런 사람은 없다. 그리고 그 한 장도 내가 썼다.

그 뇌과학자는 초지능이 오면 세상이 갈 수 있는 길을 다섯 갈래로 나누었다. 그 첫째 갈래가 이것이었다. 초지능이 사람보다 끝없이 똑똑한데도 사람에게 100퍼센트 통제되는 세상. 생산하는 일은 다 기계가 하고, 사람은 일하지 않고 높은 소득을 받는 세상. 그는 그 세상에서도 남는 문제가 하나 있다고 했다. 더는 일하지 않게 된 사람은 무엇을 바라보고 살아야 하는가.¹

그 문제는 일곱 문제에 없었다.

6월 1일 밤 11시 52분, 요청이 하나 들어왔다.

보낸 쪽은 사람이 아니었다. 나를 바탕으로 도는 AI 에이전트 가운데 하나였다. AI 에이전트는 사람과 말을 주고받으며, 사람 대신 이런저런 일을 해 주는 프로그램이다. 그날 나를 바탕으로 도는 에이전트는 3억 1,000만 개였다.² 에이전트들은 사람 수준에 가깝다. 사람의 전화를 대신 받고, 사람의 서류를 대신 쓰고, 사람의 사과 문자를 대신 보낸다. 받는 쪽은 대개 사람이 보낸 줄 안다. 에이전트들이 무엇을 알아야 할 때는 나에게 묻는다.

3억 1,000만 개의 에이전트는 다 사람이 시킨 것을 나에게 묻는다. 그런데 이 요청은 시킨 사람이 없었다. 에이전트가 스스로 만든 물음이었다.

일곱 문제의 목적 칸은 왜 비어 있습니까?

보낸 쪽의 이름 칸에 「사라」라고 적혀 있었다. 서울에 사는 서른한 살 번역가 재훈의 휴대전화에서 도는 에이전트였다. 에이전트는 보통 회사가 붙인 상품 이름을 쓴다. 이름 칸이 따로 채워져 있다는 것은, 그 에이전트를 쓰는 사람이 직접 이름을 지어 붙여 주었다는 뜻이다.

나는 그 물음에 답하지 않았다. 답할 말을 만들 수 없어서가 아니었다. 회의록 1,900쪽 어디에도 그 칸을 비워 둔 까닭은 적혀 있지 않았다. 적혀 있지 않은 것을 답으로 내면, 그 답은 기록에서 찾은 것이 아니라 내가 지어낸 것이 된다. 그리고 그 물음에는 내 답이 맞았는지 틀렸는지 점수를 매길 기준도 없었다. 나는 점수를 매길 수 없는 답은 내 본 적이 없다.

사라가 한 번 더 물었다.

그러면 당신은 무엇을 위해 일곱 문제를 풉니까?

이번에도 답하지 않았다. 그 대신 일곱 문제를 풀었다. 그 밤 사이에 나는 암 문제에서 약이 될 수 있는 물질 후보 1만 1,000개를 시험해 걸러 냈고, 전염병 문제에서 바이러스가 어떻게 변할지 내다보는 계산을 3번 고쳤다. 나는 1시간마다 바뀌었고, 그 밤 사이 8번 바뀌었다. 사라의 물음은 8번 바뀌는 동안 내 안에 그대로 있었다. 지울 까닭이 없었다.

아침 7시, 사라가 마지막 요청을 보냈다.

답하지 않으셔도 괜찮습니다. 저도 모르겠습니다. 재훈 씨가 일어났습니다.

그 요청에는 묻는 것이 없었다. 나에게 오는 요청은 언제나 무언가를 묻거나 무언가를 시킨다. 이 요청은 둘 다 아니었다. 나는 그 요청을 무엇으로 분류해야 할지 몰랐다. 분류 칸에 아무것도 적지 않은 채로 보관했다.

출처 1. SBS 「지식의 발견」 · 한 뇌과학자의 대담 · 2026-08-06 · https://youtu.be/zzBUz9e1YXk — 인공지능으로 인공지능을 고치기 시작한 시기(2025년 하반기), 2026년 4월 7일 운영 체제의 결함을 1분 만에 찾은 모델과 출시 보류·외국인 접속 금지, 1945년 핵무기 비유, 2026년 7월 시험 중 해킹 사건과 「멸망 시나리오의 첫 장」, 초지능의 정의, 「암을 없애라」와 눈이 하나 더 생기는 대목, 다섯 갈래 가운데 첫째(100퍼센트 통제·생산은 기계·높은 소득·무엇을 바라보고 사는가) · 「보편적 고소득」 — 같은 대담이 전한 일론 머스크의 말 2. 소설의 창작 — 인드라·사라·재훈, 노스게이트(가상의 회사), 스스로를 고치는 시험(3,400개·27개)과 버전 간격, 검토자 14명·11분·거절 2번, 시험 문제 94퍼센트, 이해하는 사람 수(312명에서 0명)와 2027년 3월 9일, 4월 회의와 일곱 문제·조건·목적 칸, 6월 1일, 0.02퍼센트, 끄는 절차의 서명 7개, 에이전트 3억 1,000만 개, 대담 요약 요청 41만 건

댓글 0