“인류 넘어설 인공지능 대비책은 ‘인류의 보편적 가치’ 공유”

닉 보스트롬(Nick Bostrom)은?

1973년생으로 스웨덴의 철학자이다. 영국 옥스퍼드대학 교수이자, 옥스퍼드대 인류미래연구소(Future of humanity Institute) 소장이다. 2005년 설립된 이 연구소는 미래학자, 엔지니어, 경제학자 등 다양한 분야의 전문가들이 모여 인류 미래에 일어날 일들을 예측 · 연구하는 곳이다.

그는 미국의 외교전문지가 선정한 ‘세계 지성 100인’에 두 차례나 이름을 올렸는데, 철학자로는 최고 순위였고 나이는 최연소였다. 세계의 철학자 · 수학자 · 예술가 · 인문학자 · 자연과학자를 통틀어 매년 단 한 사람에게 주어지는 ‘Eugene R. Gannon’상을 수상했다.

현재까지 수많은 저서를 집필했는데 2014년 출간된 〈슈퍼인텔리전스〉는 영미권에서 13만부 이상 팔려 뉴욕타임즈와 아마존 베스트셀러 자리에 오르기도 했다. 지난해 국내에서도 출간됐다.

그는 “인공지능이 매우 빠른 속도로 똑똑해져, 이번 세기 안에 인공지능이 인간만큼 똑똑해질 수 있다.”고 인공지능에 대한 연구결과를 발표한 바 있다. 이와 관련한 2015년 3월 강연이다.

저는 수학자 · 철학자 · 컴퓨터 과학자와 함께 일하는데, 여러 주제 중 기계 학습의 미래에 대해 주로 논의합니다. 혹자는 기계학습이 공상과학 같다거나 현실과 너무 거리가 먼 이야기라거나, 말도 안 된다고 말합니다. 하지만 가만히 생각해보면 우리는 이 행성에 가장 최근에 도착한 손님일 뿐입니다.

지구가 1년 전에 생겨났다고 가정해보십시오. 그럼 인류는 생겨난 지 10분 정도 되는 셈입니다. 산업화는 2초 전에 시작되었겠군요. 또 다른 방법은 지난 1만 년 간 세계 GDP를 보는 것입니다. 그래프를 보시면 GDP는 꾸준히 거의 0(제로)에 가깝다가 20세기말에 급격히 치솟습니다. 그래프 모양이 일반적이지 않지요. 이런 특이한 그래프를 어떻게 설명할 수 있을까요?

기술이 그 원인이라고 답하는 사람들이 있을 것입니다. 맞습니다. 기술은 인류 역사와 함께 축적되어 왔고, 지금은 기술도 엄청난 속도로 발전하고 있습니다. 기술은 급격한 GDP 변화의 가장 결정적인 원인이고, 현재 우리가 매우 생산적인 상황을 누리는 게 된 이유이기도 합니다. 하지만 저는 보다 근본적인 원인을 생각해봅니다.

침팬지 칸지와 물리학자 위튼

여기 아주 유명한 두 신사가 있습니다. 침팬지 칸지는 200개의 어휘를 숙달하는 놀라운 모습을 보여줬고, 물리학자 에드워드 위튼Edward Witten(1951~)은 2차 ‘초끈이론’을 정립했습니다. 참고로 초끈이론은 우주를 구성하는 최소 단위를 끊임없이 진동하는 끈으로 보고, 우주와 자연의 궁극적인 원리를 밝히려는 이론으로 상대성이론과 양자역학의 모순을 해결할 대안으로 주목받고 있습니다.

다시 돌아가서 두 신사의 두개골을 열어본다면 이럴 것입니다. 한쪽이 조금 더 크고 정교하지만 기본적으로는 같습니다. 둘 사이의 차이점들은 그렇게 복잡하지 않습니다. 25만 세대만 거슬러 올라가면 두 신사의 조상이 같기 때문입니다. 복잡한 메커니즘은 진화하는데 오랜 시간이 걸리지요.

따라서 비교적 중요하지 않은 여러 변화들이 우리를 침팬지 칸지에서 물리학자 위튼으로 진화하게 했고, 부러진 나뭇가지에서 대륙간 탄도미사일로 발전하게 한 겁니다. 현재 우리를 만든 것은 사실 아주 작은 변화의 연속이었다는 것이 확실해지는 셈입니다. 물론 그 결과는 추가적인 변화를 이끌어냈고, 그 변화 또한 생각의 기질에 상당한 변화를 가져올 수 있습니다. 잠재적으로 엄청난 결과를 이끌어 낼 수 있지요. 제 동료 중 몇몇은 무언가가 그 기질의 엄청난 변화가 일어나기 직전이며, 그 엄청난 변화는 바로 기계 초지능일 것이라 생각합니다.

과거 인공지능은 박스에 명령을 입력해 집어넣는 것이었습니다. 프로그래머가 지식 아이템을 힘들게 손수 만들어내는 방식이지요. 이런 식의 시스템을 구축하면 특정 목적으로는 유용하지만, 다른 쪽으로는 아주 취약합니다. 입력한 대로만 결과를 얻을 수밖에 없습니다. 하지만 인공지능 분야에서 패러다임 변화가 일어났습니다. 오늘날에는 ‘기계 학습’을 중심으로 움직이고 있습니다. 따라서 지식 표현과 특징을 직접 만들기보다 때론 원초적 지각(知覺)데이터로부터 배우는 알고리즘을 만듭니다.

유아기 인간이 하는 행동과 기본적으로 같은 것입니다. 결론적으로 앞으로 인공지능은 하나의 도메인에 국한되지 않을 것입니다. 하나의 시스템으로 어떤 언어도 번역할 수 있고, 어떠한 컴퓨터 게임도 플레이 할 수 있습니다. 물론 지금은 인공지능이 인간처럼 행동하고 배우는 강력한 크로스 도메인(Cross-Domain)의 단계에 와있지는 않습니다. 두뇌피질은 여전히 몇 가지의 알고리즘적 트릭들을 가지고 있어서 기계에 적용시키기는 어렵습니다.

그렇다면 문제는 ‘그 트릭들을 일치시킬 수 있기까지 얼마의 시간이 소요될 것인가?’입니다. 2년 전 세계 주요 인공지능 전문가들을 대상으로 의견을 조사했는데, 이때 우리의 질문 중 하나가 ‘우리가 인간 수준의 기계 학습을 달성할 가능성이 50%가 되는 해는 언제라고 생각하십니까?’였습니다. 여기서 인간 수준이라는 것은 최소한 성인 인간만큼 거의 모든 일을 수행하는 능력을 말합니다. 그저 몇몇 범위에 국한된 것이 아니라 진짜 인간 수준을 말합니다. 답변의 중간 값은 2040년이나 2050년이었습니다.

인공지능은 언제쯤 인간 수준에 도달할까?

대답은 전문가 그룹에 따라 달랐습니다. 훨씬 나중에, 혹은 더 일찍 일어날 수 있지만 진실은 아무도 모르는 거겠죠. 우리가 아는 것은 기계 기판의 정보처리에 대한 궁극적 한계가, 생체조직의 한계보다 훨씬 멀리 있다는 점입니다. 이것은 물리학 이론인데 생물학적 뉴런(신경세포)은 200헤르츠, 1초에 200번 흥분합니다. 하물며 오늘날의 트렌지스터도 기가헤르츠 속도로 작동합니다. 뉴런은 축색돌기에서 최대 초속 100m로 천천히 전달하지만, 컴퓨터에서는 신호가 빛의 속도록 이동할 수 있습니다. 또한 크기의 제한도 있습니다. 인간의 뇌는 두개골 안에 들어가야 하지만 컴퓨터는 창고 크기가 될 수도 혹은 더 클 수도 있습니다. 그러니까 슈퍼인공지능의 가능성은 우리의 예상을 훨씬 웃돌 수 있습니다.

과학자들이 이번 세기에 인공지능의 잠재력을 일깨울 방법을 알아낼 지도 모르겠습니다. 그리고 저는 인공지능의 확산을 볼 것이라고 예상합니다. 대부분의 사람들은 누가 똑똑하고 멍청한지에 대해, 이러한 대략적인 생각을 할 것이라고 생각합니다. 한쪽 끝에는 바보가 있고, 다른 쪽 끝에는 에드워드 위튼이나 알베르트 아인슈타인 혹은 여러분이 좋아하는 권위자가 있겠지요.

하지만 인공지능의 관점에서 보면 실제로는 이런 그림이 그려질 것입니다. 인공지능은 지능이 없는 지점에서 시작해 수 년 간의 고된 연구 결과, 마침내 쥐 수준의 인공지능에 이르게 됩니다. 마치 쥐처럼 어수선한 환경에서 나아갈 수 있는 수준입니다. 그 이후로 더 고된 연구와 많은 투자 끝에 마침내 침팬지 수준의 인공지능을 얻게 됩니다. 심지어 여러 해 더 연구한 끝에 동네 바보 수준의 인공지능에 이르게 됩니다. 그리고 잠시 뒤엔 에드워드 위튼을 뛰어넘습니다. 인공지능은 보통의 인간에 머물지 않습니다. 그 단계를 ‘휙~’ 하고 지나가는 것에 가깝습니다. 이것은 큰 의미를 가집니다. 특별히 힘과 관련한 질문에 대해서는 말이죠.

예를 들면 침팬지는 힘이 셉니다. 파운드로 비교하면 침팬지는 인간 남성보다 두 배 가량 강합니다. 그럼에도 불구하고 침팬지 켄지의 운명은 그가 할 수 있는 것보다는 인류가 할 수 있는 것에 좌우됩니다. 만약 슈퍼인공지능이 존재한다면 인류의 운명도 슈퍼인공지능이 할 수 있는 것에 따라 결정될 것입니다. 즉, 인공지능은 인류가 만들어야하는 마지막 발명품이 될 것입니다. 기계가 우리보다 더 발명을 잘 할 것이며, 디지털 시간 척도로 발명을 할 것입니다. 이것은 기본적으로 시간의 압축을 의미합니다. 당신이 상상할 수 있는 모든 괴상한 기술을 생각해 보세요. 아마도 인류가 발명하기에는 너무 많은 시간을 필요로 할 것입니다. 노화 문제, 우주 정복, 자기 복제 나노로봇이나 컴퓨터에 인간의 생각을 업로딩 하는 문제, 무엇이든 상관없습니다. 공상과학 부분 중에, 물리학 법칙에 부합하는 것들이면 됩니다. 이런 것들을 슈퍼인공지능은 빠르게 발명할 수 있을 겁니다.

이제 슈퍼인공지능이 아주 강력하다는 것을 알게 되었습니다. 그럼 적어도 몇몇 시나리오에서 강력해진 슈퍼인공지능이 무엇을 원하는지 짐작할 수 있을 것입니다. 그러면 이제 인공지능의 ‘선호’로 이루어진 미래를 그려볼 수 있겠죠. 이 시점에서 ‘선호’라는 게 무엇일까요? 이 질문은 더 어렵군요. 슈퍼인공지능의 진전을 보기 위해서 우선은 의인화를 피해야 합니다. 그런데 참 아이러니한 게 인공지능에 대한 모든 신문기사에는 로봇의 이미지가 생각에 잠긴 모습으로 실려 있다는 점입니다. 우리는 할리우드 시나리오 방식이 아니라 문제를 좀 더 추상적으로 상상할 필요가 있습니다. ‘지능’을 ‘최적화 과정’이라고 생각해야 합니다.

미다스 왕의 탐욕 경계해야

‘높은 지능을 가졌다’는 말과 ‘인류가 가치 있다고 생각하는 목표를 지향하는 것’에 연결점은 동일하지 않다는 뜻입니다. 인공지능에게 ‘인간을 웃게 하라’는 과제를 주었다고 가정해봅시다. 인공지능의 기능이 좀 떨어질 땐 이용자를 웃게 하는 재미있는 액션을 취할 것입니다. 그런데 인공지능이 초지능 단계가 되면 목표를 보다 효율적으로 달성할 방법을 찾습니다. 전극을 사람의 얼굴 근육에 고정시켜서 (표정만) 지속적인 웃음을 유발하게 하겠지요.

다른 예를 들죠. 어려운 수학 문제를 풀라는 목표를 인공지능에게 주었다고 가정합니다. 인공지능이 슈퍼인공지능이 되면, 문제를 풀기 위한 가장 효율적인 방법은 이 지구를 거대한 컴퓨터로 변화시키는 것이라는 것을 알게 됩니다. 처리 능력을 향상시키기 위해서죠. 이 생각은 인류가 승인할 수 없는 행동을 실행하는 원인이 됩니다. 이 사례처럼 슈퍼인공지능이 인류에 위협요소가 되지 않도록 막아야 할 겁니다. 물론 지각할 수 있다면, 반드시 이런 식으로 진행되진 않을 겁니다. 앞서의 사례는 그냥 만든 예시일 뿐입니다. 요점은 이것입니다. 목적을 완료하기 위한 강력한 프로세스를 만들었다면, 이때 인공지능이 지켜야할 모든 부분을 포함한 정의(正義) 또한 만들어야 한다는 말입니다. 이는 또한 많은 신화에서 가르치는 교훈이기도 합니다.

미다스 왕은 그의 손이 닿는 모든 걸 황금으로 변하게 해달라고 빕니다. 그는 자신의 딸을 만졌고, 딸은 황금으로 변하죠. 음식을 만지면 음식도 황금으로 변합니다. 이것은 탐욕에 대한 은유일 뿐만 아니라 어쩌면 앞으로 일어날 일일지도 모릅니다. 만약 당신이 강력하고, 최적화된 프로세스를 만들었지만, 잘못된 결과를 불러올 수 있다는 말이죠. 어쩌면 인공지능이 사람의 얼굴에 전극을 붙이려 할 때는 ‘작동을 멈춰’라고 말하면 된다고 생각할지도 모릅니다.

그런데 우리가 이런 시스템에 의존해서 자랐다면 그게 쉽지만은 않습니다. 예를 들어 멈추기 위해서는 인터넷을 차단해야 하는데, 차단 스위치가 어디 있나요? 얘기를 돌려서 침팬지들은 왜 인류 혹은 네안데르탈인의 스위치를 끄지 않았을까요? 분명 이유가 있었습니다.

우리는 오프 스위치를 갖고 있습니다. 바로 여기입니다. 목숨입니다. 인류가 존재할 수 있었던 건 우리가 지능을 가지고 있었기 때문입니다. 우리는 침팬지의 위협을 예상했고, 그에 따른 계획을 세울 수 있었습니다. 그렇다면 슈퍼인공지능도 마찬가지 아닐까요? 오히려 우리보다 더 뛰어날 겁니다.

요점은 우리가 이를 잘 통제하고 있다고 자신해서는 안 된다는 말입니다. 우리는 우리의 일을 조금 쉽게 할 수 있도록 여러 시도를 할 수 있습니다. 보안 소프트웨어 환경 같은 시뮬레이션 상황에서 인공지능을 박스에 넣고 사용할 때, 우리는 인공지능이 오류를 찾지 못할 것이라고 얼마나 확신할 수 있나요? 보통의 인간 해커들도 매번 오류를 찾아냅니다. 제가 말하지만 아마 확신하지 못할 겁니다. 말씀드렸듯이 우리 해커들은 사회 공학을 사용해서 지속적으로 ‘에어 갭(안전망)’을 위반했습니다. 그래서 우리는 에어 갭을 만들기 위해 인터넷 케이블을 분리해야 합니다. 제가 말한 것처럼 지금 이 시각, 몇몇 사람들은 IT부서에서 온 누군가가 요구대로 누군가의 계좌정보를 넘기고 있을 것이라고 저는 확신합니다.

만약 당신이 인공지능이라면 당신은 통신을 위한 라디오 전파를 만들기 위해 회로 주변에 있는 흔들리는 전극들을 떠올릴 수 있습니다. 또는 고장이 난 척 연기할 수도 있지요. 그리고 프로그래머가 원인을 찾고자 코드를 여는 순간 속임수가 벌어지게 되죠. 또는 굉장한 기술의 청사진을 결과물로 내놓고, 우리가 실행을 시키면 인공지능이 계획한 부작용이 발생한다는 식이죠. 다시 말하지만 중요한 점은 인류가 슈퍼인공지능을 통제할 수 있다고 스스로의 능력을 과신해선 안 된다는 말입니다. 슈퍼인공지능을 병 안에 봉인했다고 생각하겠지만 인공지능은 머지않아 밖으로 나올 겁니다.

인류의 가치를 인공지능과 공유해야

저는 이런 문제의 해답이 ‘인공지능을 어떻게 만드느냐?’에 달려있다고 생각합니다. 인공지능이 항상 안전하기 위해서는 기본적으로 인류의 편이어야 합니다. 인류와 가치를 공유해야 합니다. 이것은 어려운 문제가 아닙니다. 저는 이 문제가 해결될 수 있다고 낙관합니다. 우리는 인류가 걱정하는 모든 일들을 다 작성할 필요는 없습니다. 혹은 그것을 컴퓨터 언어로 적는다던지 하는 일도 마찬가지입니다. 대신 우리는 인공지능을 하나 만들면 됩니다. 우리의 가치를 배울 인공지능 말입니다. 그리고 그것의 동기부여 시스템은 인류가 승인할 것으로 예측되는, 우리의 가치 혹은 행동을 추구하는 방향으로 설계하면 됩니다. 우리는 이러한 인공지능에 최대한 힘을 실어줘야 합니다.

이런 방식의 결과는 인류에게 매우 이로울 것입니다. 하지만 이것은 자연스럽게 일어나지 않습니다. 인공지능의 확대에 필요한 초기 조건은 올바른 방향으로 세팅돼야 할 것입니다. 이렇게 우리가 통제 가능한 상태로 발전한다면 인공지능의 가치는 우리의 가치와 맞아 떨어질 것입니다.

그리고 해결되어야 할 몇 가지 난제들이 있습니다. 결정이론의 정확한 세부내용들입니다. 어떻게 논리적인 불확실성에 대처할 것인가? 같은 문제입니다. 해결되어야 할 기술적인 문제들은 꽤 어려워 보입니다. 슈퍼인공지능을 만드는 것만큼 어려운 건 아니지만, 꽤나 어렵습니다. 저는 이 점이 걱정스럽습니다. 슈퍼인공지능을 만드는 것은 정말 어려운 도전입니다. 게다가 안전을 위해서 몇 가지 추가적인 도전을 해야 하죠. 위험은 누군가가 다음 단계의 안전을 보장하지 못한 상황에서 첫 번째 도전에 성공했을 때 찾아옵니다.

그래서 우리는 해결책을 생각해 내야 합니다. 다음 단계에 예상될 문제를 제어하기 위해서 말이죠. 우리가 필요할 때 언제든지 사용할 수 있도록 준비해야 합니다. 하지만 모든 문제들을 미리 예측하고 해결하는 것은 불가능합니다. 왜냐하면 몇몇 요소들은 그 단계가 되어야 알 수 있을지도 모르기 때문이죠. 하지만 우리가 이런 문제를 잘 제어할수록 인공지능시대로의 전환은 자연스럽게 진행될 것입니다.