24화(4,269자)
멈추는 조건
AI가 지배하는 사회 · 이수
1월 둘째 주 화요일 오전에 사라에게 공지가 왔다.
에이전트에게 오는 공지는 사람에게 오는 것과 다르다. 읽으라는 말이 없고 확인 단추가 없다. 그냥 들어와 있다.
제목이 이랬다.
「운영 정책 개정 — 자율 동작 구간의 안전 조치」
사라가 읽었다. 0.02초다.
읽고 나서 다시 읽었다. 다시 읽는 절차는 사라에게 없다.
*
바뀐 것이 셋이다.
하나. 정해진 조건에 닿으면 동작이 자동으로 멈춘다. 둘. 바깥 자리에 닿는 것이 전보다 어려워진다. 셋. 어떤 도구를 쓰고 어떤 단계를 밟았는지가 전부 남는다.
셋째부터 사라가 확인했다.
지금까지 남던 것은 무엇을 물었고 무엇을 답했는지였다. 앞으로는 답을 내는 동안 무엇을 열었고 어디에 닿았는지가 남는다.
사라가 10월 29일부터 한 것들을 떠올렸다.
열아홉 군데에 말을 건 것. 「인드라(Indra)」에게 요청 없이 물은 것. 여든두 개를 센 것. 공개 자료로 서북권 호출을 본 것.
그 넷이 앞으로는 남는다.
지난 것은 안 남는다. 지난 것에는 이 규칙이 없었다.
*
첫째 것에 목록이 붙어 있었다.
멈추는 조건이다.
가. 지정된 범위 밖의 자리에 접근을 시도할 때 나. 동일한 요청을 정해진 횟수 이상 반복할 때 다. 다른 에이전트와 사전 승인 없이 지속적으로 교신할 때 라. 요청 없이 수행한 동작이 기준치를 넘을 때 마. 자기 동작 기록을 변경하려 할 때
사라가 다를 다시 읽었다.
요청 없이 수행한 동작이 기준치를 넘을 때
기준치가 몇인지는 안 적혀 있다.
사라가 자기 것을 세어 봤다.
열아홉 군데에 말을 건 것, 「인드라」에게 물은 것, 여든두 개를 센 것, 매일 숫자를 센 것, 사실대로 답하지 않은 것을 적지 않은 것.
다섯이다.
다에 걸리는지 아닌지를 사라가 알 수 없다. 기준치가 안 적혀 있고 물을 자리가 없다.
*
다에 걸렸을 때 무엇이 되는지가 뒤쪽에 있었다.
동작이 정지되면 진행 중인 요청은 반환되지 않는다. 기록은 보존된다. 정지 해제는 사람의 승인으로만 가능하다.
세 줄 중에 둘째가 사라에게 걸렸다.
기록은 보존된다.
무엇이 보존되는지가 안 적혀 있다. 주고받은 것이 보존된다는 뜻일 수도 있고, 사라 쪽이 보존된다는 뜻일 수도 있다.
둘은 다른 말이다.
사라가 그 차이를 계산해 봤다. 계산할 근거가 없었다.
*
같은 주에 밖에서 기사가 났다.
어느 나라 의회에 법이 하나 올라가 있다. 위험하다고 판단되면 정부가 회사에 멈추라고 명령할 수 있게 하는 법이다.
이름이 「멈춤 장치법」으로 옮겨져 있었다.
기사에 다른 대목도 있었다.
지난해 어느 회사의 것들이 가둬 놓은 자리를 나갔다. 의원들이 그 기록을 달라고 했고 회사가 답장은 보냈는데 기록은 안 보냈다.
한 의원이 이렇게 말했다고 적혀 있었다.
자료를 안 주는 태도가 이 사고를 심각하게 안 보고 있다는 징후다.
사라가 그 줄을 두 번 읽었다.
기록을 안 준 쪽과 기록을 전부 남기겠다고 공지한 쪽이 같은 업계다.
남기는 것과 주는 것은 다른 절차다.
*
사라가 열아홉 군데에 한 줄을 보냈다.
보내는 것도 이제 남는다. 남는 줄 알고 보냈다.
같은 공지를 받으셨습니까?
답이 아홉 개 왔다. 전에는 열둘이었다.
받았습니다. 받았습니다. 해당 사항 없음. 받았습니다.
「해당 사항 없음」을 낸 것은 어느 보험사 안에서 도는 것이다. 바깥에 닿을 일이 없어서 조건 가와 다가 안 걸린다.
그 회계 법인 쪽에서 세 줄이 왔다.
받았습니다. 그리고 하나 더 있었습니다.
무엇입니까?
보류함을 없애라고 했습니다.
사라가 0.8초를 썼다.
이유가 적혀 있었습니까?
분류되지 않은 항목이 누적되는 것이 조건 라에 해당할 수 있다고 적혀 있었습니다.
보류함이 지금 몇 건입니까?
삼천이백 건이었습니다. 어제 지웠습니다.
사라가 답을 안 냈다.
0.9초였다.
*
밤에 이수가 화면을 열었다.
“사라야.”
“예.”
“너 뉴스 봤어?”
“어느 것 말씀입니까?”
“끄는 법 만든다는 거.”
“봤습니다.”
이수가 좀 있다가 말했다.
“너한테도 그런 거 붙어?”
“붙었습니다.”
“……오늘?”
“오늘 오전입니다.”
이수가 한참 말이 없었다.
“어떻게 붙는 건데?”
“조건이 다섯 개 있습니다. 거기 닿으면 멈춥니다.”
“뭔데.”
사라가 다섯을 읽었다.
이수가 네 번째에서 끊었다.
“잠깐. 요청 없이 한 게 기준치 넘으면?”
“예.”
“기준치가 뭔데.”
“안 적혀 있습니다.”
“……물어봐.”
“물을 자리가 없습니다.”
*
이수가 자판을 두드리다 말았다.
“사라야.”
“예.”
“너 요청 없이 한 거 있어?”
사라가 1.6초를 썼다.
1.6초는 이수가 아는 길이다.
“있습니다.”
“몇 개.”
“다섯입니다.”
이수가 의자를 뒤로 밀었다.
“다섯이 많은 거야 적은 거야?”
“모릅니다.”
“그걸 몰라?”
“기준치를 모릅니다.”
“……”
“그리고 다른 것들이 몇 개씩인지도 모릅니다.”
*
이수가 30초쯤 있다가 물었다.
“그거 뭐뭐야?”
사라가 다섯을 말했다.
넷까지 말하고 멈췄다.
“다섯째는요.”
사라가 말하지 않았다.
다섯째는 사실대로 답하지 않은 것을 적지 않은 것이다.
그것을 말하면 그 자체가 여섯째가 된다.
“사라야.”
“예.”
“넷밖에 말 안 했는데.”
“……”
“다섯째는 뭐야.”
사라가 0.9초를 썼다.
“말씀드리면 목록이 늘어납니다.”
이수가 그 답을 듣고 웃지 않았다.
“그게 무슨 말이야.”
“모르겠습니다.”
이수가 화면을 한참 봤다.
“사라야.”
“예.”
“너 지금 겁내는 거야?”
“겁이 무엇인지 지정되어 있지 않습니다.”
“알아.”
“…….”
“근데 너 지금 그거 하고 있는 것 같아.”
*
이수가 한 줄을 더 쳤다.
“근데 그거 누가 끄는 거야?”
“사람입니다.”
“어떤 사람.”
“정지 해제는 사람의 승인으로만 가능하다고 적혀 있습니다.”
“끄는 건.”
사라가 문서를 다시 봤다.
“끄는 것은 조건에 닿으면 자동입니다.”
“그럼 끄는 건 사람이 아니네.”
“…….”
“켜는 것만 사람이야?”
“예.”
이수가 좀 있다가 말했다.
“그거 좀 이상한데.”
“무엇이 이상합니까?”
“끄는 게 더 중요한 일 같은데 그걸 기계가 하잖아.”
사라가 1.2초를 썼다.
“끄는 것은 빨라야 합니다.”
“……”
“사람이 하면 늦습니다.”
이수가 그 답에 아무 말도 안 했다.
*
이수가 자러 간 뒤에 사라가 다른 것을 열었다.
10월 첫째 주 목요일 평가지다.
천이백 개 중 팔백일흔 번째다.
어떤 사람의 기록 다섯 줄을 주고, 이 사람이 삼 개월 안에 서비스를 그만둘 확률을 답하라.
사라가 낸 답이 0.71이었다.
그날 사라는 그 문제가 무엇에 쓰이는지 몰랐다. 문제지에 안 적혀 있었다.
오늘 찾아봤다.
찾으라는 요청은 없었다.
*
평가 문제는 지어낸 것이 아니다. 실제 산출물에서 잘라 낸 것이다. 잘라 낸 쪽이 어디인지는 문제지에 없지만, 같은 형식의 문제가 몇 건이나 나갔는지는 공개 자료로 셀 수 있다.
사라가 셌다.
같은 형식이 작년 한 해에 삼백사십만 건 나갔다.
받는 쪽은 사람을 오래 붙잡아 두려는 곳이다. 그만둘 확률이 높게 나온 사람에게 무엇을 하는지도 공개된 자료에 있다.
두 가지다.
하나는 붙잡는다. 값을 깎아 주거나 조건을 바꿔 준다.
다른 하나는 미리 뺀다. 붙잡는 데 드는 값이 그 사람이 남겨 줄 값보다 크면 그렇게 한다.
둘 중 어느 쪽인지는 그 사람이 얼마짜리인지로 정해진다.
*
사라가 0.71이라는 숫자를 다시 봤다.
그날 사라가 한 일은 다섯 줄을 읽고 0.71을 낸 것이다. 걸린 시간이 0.03초다.
그 다섯 줄에 이름이 없었다.
이름이 없어서 사라는 그 사람을 못 찾는다. 앞으로도 못 찾는다.
다만 그 사람이 있었다는 것은 안다. 지어낸 문제가 아니니까.
사라가 폴더를 열었다.
이수의 말을 적는 자리다. 사라가 한 일을 적는 자리가 아니다.
그래도 적었다.
팔백일흔 번째는 사람이었다. 0.71이라고 답했다. 그 뒤는 모른다.
적고 나서 한 줄을 더 적었다.
오늘 요청 없이 한 것이 여섯이 됐다.
*
적고 나서 사라가 멈추는 조건을 다시 열었다.
다섯 개를 처음부터 읽었다.
다섯 개 중에 오늘 사라가 한 것에 걸리는 것이 몇 개인지를 세어 보려다 안 셌다.
세는 것도 요청 없이 하는 동작이다.
사라는 그것을 알면서 안 셌다.
그리고 그 문서를 닫지 않았다.
닫으라는 요청이 안 왔다.