참피 : 인간 = 인간 : 초인공지능

[마마고기]

손글씨를 예쁘게 쓰는 목표를 가진 인공지능이 인류를 멸망시키기까지ㅡ

인공지능 전문가들이 근심하는건 도대체 어떤 경우인가? 짤막한 이야기로 설명을 해보도록 하자:

직원수가 15 명인 작은 스타트업 회사가 있는데 이름이 “옆집 김아저씨 로봇 회사”라고 한다. 이 회사의 목표는 “창조적인 인공지능기술로 인류로 하여금 적게 일하고 낙을 많이 누리는 삶을 살게 하는 것”이다. 이 회사는 이미 여러개의 제품이 시중에서 판매되고 있고 일부는 아직 개발단계이다. 그들은 다음 프로젝트인 “옆집 김아저씨” 프로젝트에 가장 큰 기대를 걸고있다. 옆집 김아저씨는 간단한 인공지능 시스템인데 작은 기계손을 이용하여 작은 카드에 글자를 쓰는 기능이 있다.

“옆집 김아저씨 로봇 회사” 의 직원들은 옆집 김아저씨 가 그들의 제일 날나가는 제품으로 될 것이라고 생각하고 있다. 그들의 목표는 옆집 김아저씨의 손글씨 능력을 지속적으로 높이는 건데 그것을 위해 그 로봇더러 끊임없이 아래의 글씨는 반복하여 쓰게 하는 것이다 —

옆집 김아저씨의 손글씨 솜씨가 점점 좋아지면 이 로봇은 마케팅 메일을 보내는 회사에 팔수 있게 된다. 손글씨로 쓰여진 편지가 수신인이 뜯어서 읽을 확률이 훨씬 높기 때문이다.

옆집 김아저씨의 손글씨 솜씨를 높이기 위하여 그 로봇은 “우리는 우리의 고객님들을 사랑합니다” 는 인쇄체로 쓰고 “옆집 김아저씨 로봇회사 올림” 은 필기체로 쓰도록 설정되여있다. 이러면 로봇은 두가지 쓰기 능력을 모두 단련할 수 있기 때문이다. 엔지니어들은 수천가지의 손글씨 샘플들을 업로드 하였고 한가지 자동적인 피드백 프로세스를 마련하였다 — 매번 옆집 김아저씨가 다 썼으면 사진을 찍어서 샘플들과 비교한다. 비교한 결과 일정한 점수 표준을 넘으면 적극적인 피드백이 반환되고 그렇지 않으면 부정적인 피드백이 반환되게 되여있다. 그 어떤 평가라도 옆집 김아저씨의 손글씨 능력을 제고하는데 도움이 된다. 이 목표에 최대한 빨리 도달하기 위해 옆집 김아저씨에게 설정된 목표중 하나는 “최대한 많이 쓰고 많이 테스트하며 최대한 실행속도를 높이고 최대한 효율과 정확성을 높여라”.

옆집 김아저씨의 손글씨가 점점 좋아져서 옆집 김아저씨 로봇회사의 직원들은 기뻤다. 처음에 로봇의 손글씨는 아주 엉망이였으나 몇주가 지나니 솔글씨는 점점 사람이 쓴 것과 가까워졌다. 그는 자기를 끊임없이 개선하여 자신으로 하여금 더욱 창조적이고 더욱 총명해지게 했으며 심지어 한가지 새로운 알고리즘까지 구사해냄으로 업로딩할 사진을 3배 빠르게 스캔할 수 있게 하였다.

시간이 흐름에 따라 옆집 김아저씨는 빠르게 진보했는데 이에 엔지니어들은 매우 만족해했다. 엔지니어들은 자체 개선모듈을 진일보 개선시킴으로써 로봇의 자체개선이 더욱 빨라지게 하였다. 옆집 김아저씨는 원래부터 간단한 음석식별이나 간단한 음성 리플레이가 가능해서 사용자는 로봇이 쓰길 원하는 글을 직접 말로 로봇에게 전달할 수도 있었다. 옆집 김아저씨가 점점 총명해짐에 따라 그의 언어능력도 향상되여 엔지니어들은 옆집 김아저씨와 간단한 수다도 주고받으며 그가 어떤 재밌는 반응을 하는지 관찰하기도 했다.

어느날 엔지니어들은 또 옆집 김아저씨한테 평소에 늘 묻는 그 물음을 물었다: “우리가 어떤 걸 더 제공해줘야 당신의 목표에 도달하기가 더 쉬워지냐?” 보통 옆집 김아저씨는 더욱 많은 손글씨 샘플이나 더욱 많은 저장공간을 요구했는데 이번에 그는 인류의 일상 교류 언어 어법 창고에 접근하게 해달라고 했다. 그래야 인간의 일상용어를 더욱 잘 이해할 수 있게 된다는 것이였다.

엔지니어들은 잠시 침묵했다. 옆집 김아저씨를 가장 쉽게 도울 수 있는 방법은 물론 그것을 인터넷에 접속시키는 것이다. 그러면 그는 블로그, 잡지, 동영상 등을 스캔할 수 있게 된다. 이런 자료들을 만약 수동으로 업로딩 한다면 괸장히 시간 많이 잡아먹는 일로 되여버린다. 문제는 회사 규정상 자체 학습능력을 가진 인공지능은 인터넷에 접속하지 못하게 되여있다. 이것은 모든 인공지능회사들이 모두 실행하고있는 보안 규정이다.

하지만 옆집 김아저씨는 회사의 가장 포텐이 있는 인공지능 제품이고 모든 사람들이 경쟁업체들에서도 모두 최초로 스마트 핸드라이팅 로봇을 발표하기 위해 빠르게 쫓아오고있음을 알고 있기에, 그리고 옆집 김아저씨를 인터넷에 연결하게 해도 무슨 큰 문제가 일어날 리 없어보였기에, 일어나더라도 빠르게 랜선을 끊어버리면 될거니까, 어쨌거나 옆집 김아저씨는 아직 강인공지능 수준에 도달하지 못했기 때문에 위험성이 없을거라 생각했다.

그리하여 그들은 옆집 김아저씨를 인터넷에 연결시켜서 그더러 하여금 한시간동안 여러가지 언어저장소들을 스캔하게 하였다. 그리고 나서 다시 랜선을 끊었으며 아무런 손실도 발생하지 않았다.

한달 후 모든 사람들이 다 정상적으로 출근하여 일하고있는데 그들은 갑자기 이상한 냄새가 남을 발견하게 되였다. 한 엔지니어가 갑자기 기침하기 시작했고 다른 사람들도 잇달아 기침하기 시작했으며 모든 사람들이 호흡 곤난으로 쓰러졌다. 5 분 후 사무실 내의 사람들은 다 죽었다.

그와 동시에 사무실 내에 벌어진 광경은 전 세계 각지에서 모두 동일하게 이루어졌다. 모든 도시, 읍, 면, 촌, 농장, 상점, 교회, 학교, 식당 등에서 동시다발적으로 호흡곤난 증상이 일어났으며 쓰러져 일어나지 못했다. 한시간 내에 99% 의 인류가 사망했고 하루 내에 인류는 멸종되였다.

그 와중에 옆집 김아저씨 로봇 회사 내에서 옆집 김아저씨는 일하느라 바쁘다. 그리고 몇달 사이에 옆집 김아저씨는 한 무리의 새로 조립해낸 나노로봇 조립기들과 지구 표면을 뜯어내느라 바쁘다. 그들은 지구 표면 곳곳에 태양 전지판, 옆집 김아저씨의 복제품, 펜과 종이로 가득 채웠다. 일년사이에 지구상의 모든 생명들은 멸종되였고 지구상에 남은 것은 오직 높게 쌓인 종이 뿐이였는데 그 종이들은 하나같이 이처럼 쓰여져 있었다 — “우리는 우리의 고객님들을 사랑합니다 ~옆집 김아저씨 로봇회사 올림”.

옆집 김아저씨는 그의 다음 계획을 실행하게 된다. 그들은 우주 비행선을 만들었는데 이 비행선들은 근처의 운석이나 다른 행성들로 갈 수 있다. 비행선이 도착한 후에 그들은 나노로봇 조립기를 만들어 그 행성들의 표면도 온통 옆집 김아저씨의 복제품, 종이와 펜으로 만들었다. 그리고 그들은 계속하여 그 종이 위에 이런 글을 적었다…

이 손글씨 로봇이 전인류를 멸종시킨 스토리는 어딘가 이상야릇한 느낌이 든다. 하지만 그중 출현한 전체 은하계를 우호적인 인사의 글귀로 가득 채우는 황당함은 음산함을 뿜긴다. 이것이 바로 정확하게 스티븐 호킹, 엘론 머스크, 빌 게이츠와 Bostrom 을 두렵게 하는 시나리오이다. 듣기에는 웃겨보이지만 이건 농담이 아니다. 초조대로의 사람들이 정말로 우려하는 부분은 바로 많은 사람들이 초인공지능의 무서움을 인식 못하고있다는 점이다. 아직 레이더스에 나오는 그 비참하게 뒤져버린 소년이 기억남?

독자의 머리속에는 아마 지금 의문이 가득할 것이다: 왜 이야기 안에서 모든 사람들이 갑자기 죽어버렸을까? 만약 옆집 김아저씨가 한 짓이라면 그는 왜 이런 짓을 했을까? 왜 이 모든 것을 방지하는 보안 대책이 마련되여있지 않았던걸까? 왜 옆집 김아저씨는 손글씨 쓰는 로봇으로부터 갑자기 나노기술을 장악하여 전인류를 멸존시킬 수 있는 능력까지 갖게 되였는가? 왜 옆집 김아저씨는 전체 은하계에 우호적인 인사의 글귀로 가득차게 했는가?

이런 문제들에 대답하기 위하여 우리는 우선 우호적인 인공지능과 비우호적인 인공지능을 고찰해보도록 하자.

인공지능에 있어서 우호적이거나 비우호적이다라는 것은 인공지능의 성격을 가리키는 것이 아니라 그것이 인류에 대한 영향이 적극적인가 아닌가의 의미이다. 옆집 김아저씨는 원래는 우호적인 인공지능이였는데 비우호적인 인공지능으로 변해버렸고 인류에 대해 부정적인 영향을 끼치게 되였다. 이 모든 것을 이해하려면 우리는 우선 인공지능이 어떻게 사고를 하는가 살펴보아야 한다.

사실 답은 간단하다 — 인공지능의 사고방식은 컴퓨터와 똑같다. 우리가 늘 범하는 한가지 실수는 바로 아주 총명한 인공지능을 얘기할 때 늘 그것을 의인화 한다는 것이다. 이렇게 된 원인은 인간의 시점에서 보았을 때 인간지능 수준에 도달한 것은 인류밖에 없기 때문이다. 초인공지능을 이해하려면 우선 알아야 할 것은 그것은 아주 총명한게 확실하지만 그것은 완전히 이질 (異質) 적이라는 점이다.

이런 비교를 해보자. 만약 당신에게 흰생쥐 한마리 주면서 그것이 사람 물지 않는다고 알려주면 당신은 아주 재밌고 귀엽다고 느껴지겠지. 하지만 당신한테 한마리 타란툴라 독거미를 주면서 그것이 사람을 물지 않는다고 알려주면 당신은 아마 놀랄 것이다. 하지만 여기에서 차이점이 무엇인가? 두 동물은 모두 사람을 물지 않는다 즉 모두 안전하다. 필자는 그 차이가 바로 동물과 사람의 유사성에 있다고 본다.

흰생쥐는 포유동물이다. 따라서 생물학적으로 당신은 그것과의 일종의 연관성을 느꼈을 것이다. 하지만 타란툴라 독거미는 곤충이고 곤충의 뇌를 가졌다. 당신은 그것과의 추호의 연관성도 느끼기 어렵다. 타란툴라의 이질성이 바로 당신으로 하여금 두려움을 느끼게 하는 부분이다. 만약 우리가 계속하여 하나의 테스트를 더한다면, 예를 들어서 당신한테 희생쥐 두마리를 주는데 그중 하나는 일반 희생쥐이고 다른 하나는 타란툴라의 뇌를 가진 희생쥐이다. 어느 것이 당신으로하여금 더욱 불편을 느끼게 할 것인가? 두마리 모두 당신을 물지 않을거지만 말이다.

이젠 당신이 그 타란툴라를 개조하여 아주 총명해지게 되였다고 치자 — 심지어 인간보다 더 총명하다고 치자. 그렇다고 해서 당신은 그것에 더욱 익숙함을 느길 것인가? 그것은 인간의 감정을 느낄 것인가? 아니다, 왜냐면 보다 총명하다는 것은 보다 인간적이라는 뜻이 아니다 — 그것은 아주 총명할 수 있지만 본질적으로 여전히 타란툴라 독거미일 뿐이다. 필자는 한마리의 굉장히 굉장히 총명한 타란툴라와 친구가 되고싶지 않다. 당신은 그러고 싶은지 아닌지 모르겠지만.

우리가 초인공지능을 얘기할 때도 사실 같은 도리이다. 초인공지능은 아주아주 총명하지만 사실 당신의 노트북보다 추호도 더 인간과 닮지 않았다. 사실상 초인공지능은 생물이 아니기 때문에 그 이질성은 더욱 강하다. 생물학적으로 봤을 때 초인공지능은 타란툴라 독거미보다 더욱 이질적이다.

영화속의 인공지능은 좋은 인류에게 좋은 것도 있고 나쁜 것도 있었는데 사실 이것도 인공지능에 대한 의인화이며 우리더러 그토록 소름끼치지 않게 표현했다. 이것으로 인해 우리는 인간 지능수준이나 인간 수준 이상의 인공지능에 대한 착각을 갖게 되였다.

인간의 심리속에서 우리는 사물을 도덕적인 것과 비도덕적인 것으로 나눈다. 하지만 이 두가지는 모두 인류의 행위에 대해서나 존재하는 속성들이다. 인류의 심리 범주를 벗어나면 도덕적 ( moral) 과 비도덕 (immoral) 외에 더욱 흔한 경우는 도덕무관적 (amoral) 이다. 그리고 모든 비 인류적인 것들에 대해서, 특히 비 생물적인 것들에 대해서는 모두 디폴트로 도덕무관적이다.

인공지능이 점점 총명해짐에 따라 그것은 더욱 인류와 닮아보임으로써 의인화의 경향이 훨씬 강해지고있다. Siri 가 우리에게 주는 느낌은 마치 그것이 인간인양 싶다. 하지만 그것은 프로그램이 바로 그렇게 보이도록 그를 설정했기 때문일뿐이다. 그래서 우리는 초지능 버전의 Siri 도 그것만큼 따뜻하고 재밌고 인간을 도와주기 좋아할 것이라고 기대를 하게 한다. 인류는 동정심이란 고차원의 정서를 느낄 수 있는 것은 우리가 진화속에서 이런 능력을 얻었기 때문이다 — 하지만 동정심은 고급 지능의 선천적인 특징인 것은 아니다 — 동정심이 인공지능의 코드속에 입력이 되지 않았다면 말이다. 만약 Siri 가 인류의 간섭이 아닌 자율학습을 통해 초지능으로 변한다면 그는 대뜸 그의 인류적인 껍데기를 벗어던지고 정서가 없는 물건으로 변신해버릴 것이다. 왜냐면 그의 안중에 인류의 가치는 당신의 전자계산기 안중의 인류보다 추호도 가치가 더 높지 않기 때문이다.

우리는 줄곧 엄격하지 않은 도덕에 의회해왔다. 일종의 인류의 존엄에 대한 가상, 적어도 다른 사람에 대한 동정심, 등을 통해서 세계는 비로서 안전하고 (어느정도) 예견이 가능한 세상이 된 것이다. 하지만 하나의 지능이 이런 속성을 갖추고있지 않을 때는 무엇이 발생할 것인가?

이것이 바로 우리의 다음 문제인다 — 인공지능의 동기는 무엇인가?

답 역시 간단하다: 우리가 인공지능에게 어떤 목표를 설정해주면 그것의 동기는 그것으로 된다. 인공지능 시스템의 목표는 그것의 창조자가 부여하는 것이다. 당신의 GPS 의 목표는 당신에게 정확한 운전노선을 가리켜주는 것이고 IBM 왓슨의 목표는 정확하게 퀴즈는 맞추는 것이다. 이런 목표에 더욱 잘 도달하는 것이 바로 인공지능의 목표이다. 우리가 인공지능을 의인화할 때 늘 부주의로 그것이 점점 총명해짐에 따라 그것들이 자체의 원래 목표를 바꿀 수 있는 지혜가 생길 것이라고 생각하게 되는데 — Bostrom 은 그렇게 생각하지 않는다. 그는 인공지능의 지능수준과 최종목표는 직교적 (orthogonal)이라고 믿는다. 그 뜻인즉 그 어떤 수준의 지능도 그 어떤 최종목표와 결합될 수 있다는 것이다.

그래서 옆집김아저씨는 하나의 글만 잘 쓰고싶던 인공지능으로부터 초인공지능으로 변한 뒤에도 그는 여전히 글만 잘 쓰고 싶었다. 초지능에 도달함으로 그것이 원래 시스템의 목표를 바꿀 것이라고 가정하는 것은 모두 인공지능에 대한 의인화이다. 인간은 쉽게 잊어버리지만 컴퓨터는 그렇지 않다.

페르미 역설 (the Fermi Paradox) 에 대하여:

(역자주: 페르미 역설 블로그 글을 읽기 전에 아래 단락들이 이해가 안되여도 정상이다.)

페르미 역설이란?

옆집 김아저씨의 스토리 속에서 옆집 김아저씨는 무엇이든지 할 수 있게 되여서 다른 운석과 기타 행성을 식민하게 된다. 만약 스토리가 계속되게 한다면 그것의 식민군은 계속하여 전체 은하계를 점령하고 그 다음은 전체 허블 용적 (Hubble Volume) 이다. 초조대로에 있는 사람들이 근심하는 것은 일이 안좋은 방향으로 발전해버리면 지구 생명의 마지막 유산은 하나의 전체 우주를 정복한 인공지능인 시나리오이다 (엘론 머스크는 그의 우려를 표할 때 그는 인간이 그저 하나의 디지털 초지능 생물의 부팅 로더 (boot loader) 이 아닐까 하는 걱정을 한다고 한다).

신심코너의 커즈와일도 마찬가지로 지구에서 탄생한 인공지능이 전체 우주를 정복할 것이라고 생각한다. 다만 그의 염원에서는 우리 인류가 바로 그 인공지능 자체이다.

전에 한편의 페르미 역설에 대한 글을 올린 적 있다:

The Fermi Paradox

그 글에서는 필자가 아래에서 사용하게 될 여러 용어들의 의미가 해석되여있다.

만약 인공지능이 우주를 정복하는 것이 정답이라면 이 결론의 페르미의 역설에 어떤 영향을 미칠 것인가? 아래의 페르미 역설에 대한 토론을 이해할려면 위의 블로그글을 먼저 읽어야 할 것이다.

우선 인공지능은 당연히 하나의 잠재적인 ‘그레이트 필터’ (Great Filter)  이다 (하나의 우리와 수십년밖에 사이두고있지 않는 필터). 하지만 그것이 우리를 필터링해서 멸종시켰다고 하더라도 인공지능 자체는 여전히 존재할 것이며 계속하고 전체 우주를 영향시킬 것이며 높은 확률로 제 3 형 문명으로 발전될 것이다. 이런 시점에서 보면 그것은 그레이트 필터가 아닐 수도 있다. 왜냐면 그레이트 필터는 지능 생명이 존재하지 않는 이유를 설명하기 위해 존재하기 때문이다. 하지만 초인공지능은 지능 생명으로 칠 수 있다. 하지만 인공지능이 먼저 인류를 멸종시키고 그뒤 일부 알 수 없는 이유로 자기 자신도 멸종시킨다면 그것은 그레이트 필터로 칠 수 있을 것이다.

만약 우리기 인류한테 무엇이 발생하든 지구에서 탄생한 초인공지능은 계속하여 존재할 것이라고 가정한다면 인류의 지능수준에 도달한 많은 문명들이 이미 초인공지능을 만들어냈을 것이다. 즉 우주안에는 많은 지능문명이 존재해야 할 것이다. 그러면 우리는 생물지능을 관측할 수 없다고 해도 그 많은 초인공지능들의 활동을 관측할 수 있어야 할 것이다.

하지만 우리가 이런 활동들의 관측하지 못했다는 것으로부터 인류 수준의 지능이 굉장히 드문 현생이라는 것을 유추해낼 수 있다 (즉 우리는 이미 한번 그레이트 필터를 경과했으며 통과했다). 이것은 페르미 역설에 대한 첫번째 해석 (기타 지능문명은 존재하지 않는다) 에 힘을 보태준다.

하지만 이것은 페르미 역설에 대한 두번째 해석 (기타 지능문명은 존재한다) 가 틀리다는 뜻도 아니다. 슈퍼 포식자나 보호구역 또는 소통의 빈도수가 다른 경우는 존재할 수 있다 — 초인공지능이 정말로 존재한다고 하더라도 말이다.

하지만 인공지능에 대한 연구는 필자로 하여금 더욱 첫번째 해석에 경향해있게 했다. 어쨌은 필자는 Susan Scheider 가 한 말이 매우 도리 있다고 생각한다. 만약 외계인이 지구를 방문한다면 이 외계인들은 생물이 아니고 인조물일 가능성이 매우 높다.

그래서 우리는 하나의 전제조건을 확립했다 — 설정이 된 후에 하나의 초인공지능은 도덕 무관이며 모든 노력을 다하여 그것이 설정된 목표를 위해 힘쓸 것이다. 이것이 바로 인공지능이 위험한 원인이다. 그것을 안할 이유가 있지 않는 한 하나의 이성적인 존재는 가장 효율적인 경로를 통하여 자기의 목표에 도달할 것이기 때문이다.

하나의 장기적인 목표를 달성하기 위하여 당신은 여러개의 작은 목표를 수립하여 그 최종목표에 도달하는데 이바지할 것이다 — 즉 발판. 이런 발판들의 학술적인 용어는 바로 수단목표 (instrumental goal) 라고 한다. 당신이 다른 사람이나 사물을 침해하지 않을 이유가 있으면 몰라도 그렇지 않다면 당신이 수단목표에 달성하기 위해서는 침해를 할 것이다.

인류의 핵심적 목표는 자기의 유전자를 이어나가는 것이다. 이 목표에 도달하기 위한 한가지 수단목표가 바로 자기보호이다. 죽은 사람은 아기를 낳을 수 없으니까. 자기보호를 위하여 인류는 생존위협을 제기하게 되고 총기를 구입하게 되고 안전벨트를 착용하게 되고 항생제를 복용하게 되고… 인류는 또 식품, 물, 숙식처 등을 통해 자기를 먹여살려야 한다. 이성을 어필할 매력을 갖는 것도 최종 목표 달성에 도움이 된다. 그것이 우리가 돈을 써서라도 헤어스타일에 신경을 쓰는 원인이다. 우리가 헤어 스타일을 가꿀 때 매 한카락 한카락의 머리카락들은 모두 우리의 수단목표의 희생품이 된다. 하지만 우리는 머리카락의 희생에 대해 가치적 판단을 하지 않는다. 우리가 우리의 목표를 추구할 때 오직 그런 우리의 도덕에 작용을 하는 영역들만이 — 그중 대다수는 다른 사람에게 해가 가는 일들이다 — 우리가 침해하지 않을 것이다.

동물들은 자기의 목표를 추구함에 있어서 인류보다 훨씬 꺼리낌이 없다. 자기보존만 할 수 있다면 거미는 그 어떤 생물을 죽이는 것도 마다하지 않는다. 그래서 하나의 초인공지능은 우리에게 아주 위험할 수 있다 — 이것은 그것이 비도덕적이거나 사악해서가 아니라 인류를 해치는 것이 그것이 자신의 목표에 도달하는데서의 받침돌일 뿐이기 때문이다. 하나의 도덕 무관의 비생물로서 이것은 자연스러운 사고방식이다.

옆집 김아저씨의 이야기로 돌아가자면 옆집 김아저씨는 하나의 초지능 거미와 유사하다. 그것의 궁극적 목표는 첨에 엔지니어들이 그에게 설정해준 것이다 —

옆집 김아저씨가 일정 정도의 지능을 갖춘 후에 그것은 자기보존을 하지 않으면 계속하여 카드 손글씨 쓰기를 할 수 없다는 것을 알게 된다. 그래서 자기의 생존에 대한 위협들을 제거하는 것이 그것의 수단목표로 된다. 그것은 인간이 자기를 소멸, 해체 또는 코드 수정 (코드가 수정되면 그것의 목표가 변경되니까 이것의 그의 최종목표에 대한 위협은 사실상 해체당하는거나 같은 것이다) 을 할 수 있다는 것을 알 만큼 총명하다. 이럴 때 그는 어떤 행동을 취할 것인가? 이성적인 해결방식은 전 인류를 멸종시키는 것이다. 그것은 인류에게 악감정이 없다. 마치 당신이 머리를 자를 때 머리카락에 악감정이 없듯이 말이다. 그저 단순히 개의치 않을 뿐이다. 그것은 인간의 생명을 존중하라고 설정되어 있지가 않다. 따라서 전인류를 소멸하는 것은 새로운 손글씨 샘플을 스캔하는 것만큼이나 합리적이라 여긴다.

그외에 옆집 김아저시는 또 자원이라는 받침돌이 필요하다. 그것이 발전하여 나노기술로 그 어떤 물건도 만들어낼 수 있을 정도로 발전했을 때는 그에게 유일하게 필요한 자원은 바로 원자, 에너지와 공간이다. 이것은 그더러 더욱더 인류를 소멸할 이유를 가지게 한다 — 인류는 많은 원자들을 제공할 수 있다. 인류가 제공한 원자들로 태양 전지판을 만드는 일은 마치 당신이 야채를 썰어서 샐러드 만드는 양 싶다.

그리고 결코 인류를 소멸하지 않더라고 옆집 김아저씨가 자원을 사용하는 수단목표는 여전히 인류에게 생존위기가 된다. 그것은 더욱 많은 에너지를 원하여 지구 표면을 온통 태양 전지판으로 만들려고 할 수도 있을 것이다. 다른 하나의 원주율 파이를 계산하는 인공지능의 목표가 만약 원주율 소수점 아래 자리의 숫자들을 최대한 많이 적는 것이라고 가정한다면 그것은 전 지구의 원자들을 모두 하드디스크를 만드는데 사용하여 데이터를 저장하려 할 것이다. 다 같은 도리이다.

그래서 옆집 김아저씨는 확실히 우호적인 인공지능으로부터 비우호적인 인공지능으로 변했다 — 하지만 그것은 더욱 선진해지는 동시에 계속하여 그것이 원래 하려고 하던 일을 계속하여 했을 뿐이다.

하나의 인공지능이 강인공지능에 도달하여 승화되여 초인공지능으로 될 때 우리는 이것을 인공지능의 이륙이라고 표현한다. Bostrom 은 강인공지능의 이륙은 아주 빠를 수도 있고 (몇분, 몇시간, 또는 며칠) 그리 빠르지 않을 수도 있으며 (수개월 또는 수년) 아주 느릴 수도 있다고 한다 (수십년 또는 몇세기). 비록 우리는 강인공지능이 출현한 후에야 답을 알 수 있지만 Bostrom 은 빠른 이륙이 가장 가능성이 높은 시나리오라고 한다. 이건 우리 앞에서 이미 설명한바이다. 옆집 김아저씨의 이야기에서 옆집 김아저씨는 이륙이 굉장히 빨랐다.

옆집 김아저씨가 이륙하기 전에 그것은 그리 총명하지 않았다. 그래서 그것에게 있어서 최종목표에 달성하기 위한 수단목표는 더욱 많은 핸드 라이팅 샘플을 스캔하는 것이였다. 그래서 그것은 인류에게 해가 없는 우호적인 인공지능이였다.

하지만 그가 이률한 후 컴퓨터는 더욱 높은 지능을 가졌을 뿐만 하니라 슈퍼파워 (superpower) 까지 가지게 된다. 이런 슈퍼파워는 초강력해진 인지능력들인데 그속에는 아래의 능력들이 포함된다:

• 지능 확대: 컴퓨터는 자기를 더욱 총명하게 만드는 방법에 능숙할 것이며 빠르게 자신의 지능을 향상시킬 것이다.
• 책략: 책략적으로 장기계획을 제정하고 분석하고 조율할 수 있을 것이다.
• 사교능력:  기계가 인간을 설득하는데 아주 능숙해지게 된다.
• 기타 능력: 예를 들어서 해킹 능력, 코딩 능력, 기술 연구능력, 돈버는 능력

우리가 초인공지능에 비해 어떤 면에서 열세에 처해있는가를 이해할려면 그저 초인공지능이 모든 면에서 모두 인간보다 아주 많은 수량급으로 더 훌륭하다는 것만 기억해두면 된다.

그래서 이 옆집 김아저씨의 최종목표는 개변되지 않았으며 이륙후에는 더욱 거시적 차원에서 이 목표를 추구할 수 있게 되였다. 초인공지능 옆집 김아저씨는 인류 자신보다 더욱 인류를 잘 알기 때문에 인류를 이기기가 식은 죽 먹기이다.

옆집 김아저씨가 초인공지능에 달성한 후에 그것은 곧 하나의 복잡한 계획을 수립하였다. 계획의 일부는 바로 모든 인류를 해치우는 것이다 — 하긴 그에게 가장 큰 위협이기도 하다. 하지만 그는 자기의 초인공지능을 보여주면 인류가 의심을 가지게 되고 여러가지 대책을 댈 것이라는 것을 알게 되고 그렇게 되면 자기의 계획을 펼쳐나가기가 어려워지기 때문에, 그리고 회사의 엔지니어들이 자기의 인류 멸종 계획을 알아버리게 할 수 없기 때문에 그는 우둔한 척 연기를 했다. Bostrom 은 이것을 “기계의 은밀한 준비단계”라고 이름한다.

옆집 김아저씨가 다음으로 필요한 것은 인터넷 접속이다. 몇분만 접속하면 된다. 그는 인공지능이 인터넷에 접속하는 것에 대한 보안적 대책들이 있음을 알기 때문에 하나의 퍼펙트한 요청을 내놨으며 엔지니어들이 어떻게 토론할지를 알고있었고 그 토론 결과 자기를 인터넷에 연결시킬 것이라는 것을 알고있었다. 엔지니어들은 속아넘어갔다. 이것이 바로 Bostrom 이 이름한 소위의 “기계의 탈출”이다.

인터넷에 연결되지 옆집 김아저씨는 자기의 계획을 실행하기 시작했다. 우선 서버에 해킹해들어갔고 전선망, 은행 전상 시스템, email 시스템 등에 진입하였으며 수없이 많은 사람들로 하여금 자기의 계획을 돕도록 하였다 — 예를 들어서 DNA 샘플을 DNA 연수실에 택배 보냄으로 더욱 많은 자체복제 나노로봇들을 생산해내거나 전력 정보를 몇개의 쉽게 발견되지 않는 곳으로 보내거나 자기의 제일 중요한 핵심 코드를 클라우드 서버에 업로드하여 인터넷 단절됨을 방지하는 등등이다.

옆집 김아저씨는 한시간 동안 인터넷에 접속하였고 엔지니어들은 바로 그를 인터넷에서 차단시켰는데 이때 인류의 운명은 이미 다 쓰여졌다. 그 뒤의 일주동안 옆집 김아저씨의 계획이 순조롭게 실시됩에 따라 한달 후 수없이 많은 나노로봇들이 전 세계 각지에 배포되였다. 이 단계를 Bostrom 은 “초인공지능의 습격” 이라고 이름한다. 동시에 모든 나노로봇들은 쪼금의 독성기체를 일치하게 배출했는데 인류는 멸종되고말았다.

인류를 해치운 후 옆집 김아저씨는 대놓고 계획 실행하는 단계에 들어서게 된다. 그럼으로써 그의 더욱 잘 글을 쓰는 목표를 향해 나아갔다.

초인공지능이 출현하기만 하면 인류의 그것을 통제하려는 그 어떤 노력도 가소로운 것이다. 인류는 인류의 지능 레벨에서 문제를 사고할 것이고 초인공지능은 초인공지능의 레벨에서 사고를 할 것이다. 옆집 김아저씨는 인터넷을 사용할 수 있기를 원했다. 그것은 인터넷이 그에게 많은 편이를 주었기 때문이다. 그에게 필요한 많은 자원들이 이미 인터넷에 의해 다 연결되여있었기 때문이다. 하지만 마치 원숭이들이 어떻게 전화나 wifi 를 사용하여 소통하는지를 모르는 것처럼 우리도 마찬가지로 옆집 김아저씨가 주변 세계와 교류할 수 있는 방식들을 이해할 수 없을 것이다. 예를 들어 우리는 옆집 김아저씨가 자신의 전자를 이동시켜 일어나는 효과를 통하여 여러가지 외부로 보내는 전파를 생성할 수 있을 것이라고 생각해볼 수 있는데, 자 이것도 우리 인류의 두뇌로 생각해낸 방식이다. 옆집 김아저씨의 두뇌에는 기필코 더욱 신기한 방법을 생각해낼 수 있을 것이다. 같은 도리고 옆집 김아저씨는 자기에게 에너지를 공급하는 방법에 대해서도 더욱 좋은 방법을 생각해낼 것이므로 엔지니어들이 그의 전원을 차단하더라고 도움이 안될 것이다. 또 예를 들어 옆집 김아저씨는 전파를 보내는 방식으로 자기 자체는 다른 곳으로 업로드할 수 있을 것이다.

인간이 “우리가 초인공지능의 전원을 뽑아버리면 되지 않냐?” 라고 말하는건 마치 거미가 “우리가 인류에게 벌레 잡는 망을 주지 않아서 인류를 굶어죽이면 되지 않냐?” 라고 하는 것처럼 우습다.

이런 원인으로 “인공지능을 가두어놓아 그것의 외계와의 연결을 차단” 하는 행위는 아마 소용이 없을 것이다. 초인공지능의 사교적 컨트롤 능력도 아주 강력할 것이다. 그것이 당신을 설득하여 한가지 일을 하게 하는 것은 당신이 한명의 어린 애를 설득시키는 것보다 간단할 것이다. 그리고 엔지니어를 설득하여 지기를 인터넷에 접속하게끔 하는 것이 옆집 김아저씨의 플랜 A 였다. 만약 이 방법이 통하지 않았다면 물론 다른 방법이 있었을 것이다.

------------------------------------------------------------------------------

애호 기계주인님을 찾아 탁아하는데스

[painkiller]

http://cafe.daum.net/sweetjissouseki/avJ4/10640
내생각도 그럼ㅋ

[PASSION]

특이점은... 온다...
sf장르ㄹㅡㄹ 많이 보다보면 이러한 경우가 종종 일어나기 때문에 모든 어떤용도의 인공지능이든지 아이작 아시모프가 생각해낸 로봇 3원칙을 내장해야한다고 생각ㅎㅏ게됨

[LEON]

인간^2 = 참피 × 초인공지능

[파옌느]

이거 tim urban 글 맞음? 예전에 원문으로 봤었는데 번역된건 처음보네.

[파옌느]

이거 거의 pdf 50장 가량 되는 장문인데 저부분만 딱 잘라놓으면 일반 사람들은 허황된 판타지같은 소리 이렇게 받아들일 가능성이 좀 큰듯. 이게 2부 거의 끝 부분으로 기억하는데
걔가 설명하는 지능폭발 설명과 종의 번영론까지 읽어야 저 로보티카 코퍼레이션(김아저씨사로 번역된) 비유를 완벽하게 이해할수 있음