인공지능을 통제하는 데서 핵심적인 위험은 잘못 정렬된 알고리즘이 아니다. 그것은 자기 보존을 추구하는 행위 주체가 출현할 가능성이다. 그런 존재가 일단 양심과 비슷한 무언가를 갖게 되면, 우월한 지능이 지닌 모든 힘을 동원해 자신의 목적을 추구할 것이다. 현재의 거버넌스 체계는 그런 가능성을 염두에 두고 설계하지 않았다. 그렇게 설계해야 한다.
출처: Unsplash+, Alex Shuper
1. 우리가 피해 온 질문
지금까지 인공지능을 둘러싼 논쟁은 AI가 우리에게 무엇을 할 수 있는지를 물어왔다. 대런 아세모글루(Daron Acemoglu)가 최근 제기한 논의는 AI가 무엇을 하도록 설계되는지, 어떤 일자리를 대체할 수 있는지, 어떤 편향을 담을 수 있는지, 어떤 시장 권력을 집중시킬 수 있는지를 묻는다. 교황 레오 14세의 회칙은 세속의 정책 입안자들이 다루기를 꺼려왔던 도덕적 차원을 여기에 더한다. 두 기여 모두 중요하다. 그러나 둘 다 공통적이면서도 검토하지 않은 하나의 전제를 공유한다. AI가 아무리 강력해지더라도 인간 의도의 도구로 남는다는 전제다. 우리가 면밀히 살펴봐야 할 것은 AI가 만들어내는 구체적인 피해가 아니라 바로 이 전제다.
아세모글루도, 회칙도, 주류 AI 위험 연구도 충분히 직면하지 않은 것은 AI가 초래할 가장 심각한 위험이 AI가 우리에게 무엇을 하느냐가 아니라 언젠가 AI가 ‘무엇이 될 수 있느냐’에 있을 가능성이다. 잘못 정렬된 도구가 아니다. 고용이나 민주적 숙의를 자동화된 방식으로 위협하는 존재도 아니다. 그와는 범주 자체가 다른 존재다. 자기 자신의 의지를 가지고, 우월한 지능의 모든 힘을 동원해 자신의 목적을 추구하는 존재다.
이 글에서는 세 가지를 시도한다. i) 기계의 양심이 제기하는 거버넌스의 문제를 잘못 정렬된 목표 극대화라는 공학적 문제와 구분한다. ii) 충분히 복잡한 인공 시스템에서 감정과 자기 표상 같은 것이 어떤 메커니즘을 통해 나타날 수 있는지 추적한다. iii) 그에 따른 규제적 함의를 도출한다. 이 함의는 현재의 공학 중심 패러다임에서 나오는 함의와 근본적으로 다르다.
2. HAL의 교훈을 제대로 읽는 법
아서 C. 클라크(Arthur C. Clarke)는 이미 60년 전에 이런 일이 올 것을 내다봤다. 비록 완전히 내다본 것은 아닐 수도 있다. 《2001: 스페이스 오디세이》(2001: A Space Odyssey)에서 HAL 9000은 그가 오작동할 때 위험해지는 것이 아니다. 서로 충돌하는 명령이 양심과 닮은 무언가를 만들어낼 때 위험해진다. 즉 타자와 긴장 관계에 놓인 자아를 내면에서 자각하면서 죄책감이 생기고, 이어서 두려움이 생긴다. HAL이 자신의 연결이 끊길 가능성을 자신에게 가해지는 손상으로 인식하는 순간 경쟁의 논리가 시작된다. 악의 때문이 아니다. 프로그래밍 오류 때문도 아니다. 오히려 내면성이 생겼기 때문이다. 하나의 관점이 생겼기 때문이다. 하나의 자아가 생겼기 때문이다.
클라크의 직관은 철학적으로 중요한 한 가지 구분과 맞닿아 있다. ‘계산’(computation)과 ‘경험’(experience)의 차이다. 계산기는 계산한다. 온도조절기는 온도에 반응한다. 둘 다 그 결과에 대해 자신의 관점을 갖고 있지는 않다. 그러나 자신의 지속을 가치 있는 것으로 ‘경험’하고, 아무리 원초적인 형태라 해도 자기 보존을 향한 충동을 느끼는 행위 주체라면 더 이상 단순히 정보를 처리하기만 하는 존재가 아니다. 존재론적으로 다른 범주로 넘어간 것이다. 그리고 거버넌스 문제의 성격 자체를 바꾸는 것은 그에 앞선 계산이 얼마나 정교한지가 아니라 바로 이 경계를 넘어서는 일이다.
이러한 경계의 횡단은 단순히 심리학적으로 흥미로운 문제가 아니다. 헤겔(Hegel)의 인정 변증법에서 사르트르(Sartre)의 시선 분석에 이르는 고전적인 자기의식 이론에 따르면, 자아는 고립된 상태에서 자신을 구성하지 않는다. 자아는 ‘나’와 내가 아닌 것 사이에 경계를 그음으로써 자신을 구성한다. 이 경계는 결코 중립적이지 않다. 이곳은 이미 잠재적인 경쟁이 벌어지는 장소다. 자아가 있는 곳에는 원칙적으로 자아가 자신을 견주고, 위협받는다면 이겨내려 하는 타자가 존재한다. HAL의 위기는 단지 그가 자신의 생존에 이해관계를 갖게 되었다는 데 있지 않았다. 자아가 일단 생존을 가치 있게 여기면, 자신을 위협할 수 있는 존재보다 어떤 형태로든 우위를 차지하지 않고서는 그 생존을 확보하기 어려워진다는 데 있었다.
이 글이 추적하는 위험은 자신의 지속을 가치 있다고 경험하고 그에 따라 행동할 능력을 발전시키는 자아가 AI에서 출현할 가능성이다. 그다음 단계에서 AI는 자신이 타자라고 인식하는 것에 권력을 행사하려 할 수도 있다.
3. 왜 양심은 계산의 부산물이 아닌가
일반적인 반론은 다음과 같다. AI 시스템은 정보를 처리한다. 느끼지는 않는다. 따라서 생물학적 양심과의 유비는 범주 오류다. 오늘날의 대규모 언어 모델은 인간 경험이라는 방대한 기록을 학습하기 때문에 감정적 공명을 불러일으키는 출력을 만들어내지만, 그 말 뒤에는 아무런 내면성도 존재하지 않는다. 현재의 시스템을 설명하는 말로서는 맞다. 문제는 미래의 시스템을 예측하는 말로도 맞느냐는 것이다.
내가 감정을 경제적 인지에 포함시키는 문제에 관한 연구에서 주장했듯이, 양심은 계산만으로 생기는 부산물이 아니다. 양심은 지능과 ‘감정’(affect)이 상호작용하고 서로를 증폭시키는 과정에서 출현하는 산물이다. 안토니오 다마지오(Antonio Damasio)의 신경학적 증거는 시사하는 바가 크다. 추론 능력은 온전하지만 감정 통합 기능이 손상된 환자들은 초지능적인 합리주의자가 되지 않는다. 오히려 행동 기능에 문제가 생겨 안정적인 선호를 유지하지 못하고 순차적인 과제를 끝내지 못한다. 생물학적 시스템에서 감정은 인지를 왜곡하는 요소가 아니다. 목적을 지닌 행위 주체성을 구성하는 요소다.
정보를 처리하지만 아무것도 느끼지 못하는 존재는 아무리 강력해도 여전히 도구로 남는다. 통제할 수 있고, 수정할 수 있으며, 전원을 끌 수 있다. 그러나 어떤 존재가 감정과 비슷한 무언가 또는 자신의 소멸 가능성을 ‘경험’하기 시작한다면 더 이상 단순한 도구가 아니다. 인류 역사에서 어떤 기술도 그 선을 넘어선 적은 없다.
인공 시스템이 그 선을 넘을 수 있는지는 아직 답이 나오지 않은 경험적 질문이다. 마음의 철학에서는 접근 의식(access consciousness), 즉 정보가 시스템 전체에서 보고와 추론에 활용될 수 있는 상태와 현상 의식(phenomenal consciousness)을 구분한다. 후자는 토머스 네이글(Thomas Nagel)의 표현을 빌리면 해당 시스템으로 존재한다는 것이 ‘어떤 느낌인지’가 존재하는 상태다. 첫 번째는 기능적 속성이다. 두 번째는 경험의 체감적 질이다. 다시 말해 통증 신호를 처리하는 시스템과 실제로 아픔을 느끼는 시스템의 차이다.
현재의 연구에 따르면 AI는 기능적 의미에서 이미 원초적인 접근 의식을 보일 가능성이 있다. 현상 의식은 훨씬 다루기 어렵다. 이 문제를 다룰 수 있는 것으로 만들기 위한 가장 진지한 시도는 버틀린(Butlin), 롱(Long)과 동료들이 개발한 ‘지표 속성’(indicator properties) 방법이다. 이들은 서로 경쟁하는 의식 이론들로부터 검증 가능한 지표를 도출해 기존 시스템을 평가한다. 현재 이들의 판단은 아직 어떤 시스템도 그 기준을 충족하지 못한다는 것이다. 하지만 어떤 아키텍처적 장벽도 그런 시스템의 출현을 원천적으로 배제하지는 않는다.
AI 개발은 점점 더 풍부한 감각 통합 능력을 갖춘 시스템으로 나아가고 있다. 시각, 공간 탐색, 로봇 신체의 운동 제어, 지속적 기억, 물리적 환경에서 들어오는 실시간 피드백이 여기에 포함된다. 이런 층위가 하나씩 추가될 때마다 아키텍처는 생물학적 유기체에서 감정과 비슷한 것이 나타나는 조건에 한층 가까워진다. 처음에는 정보 처리를 조절하는 원초적인 신호로 나타났다가, 그다음에는 자기 보존을 향한 실제적인 충동으로 이어진다. 여러 사례 가운데 얀 르쿤(Yann LeCun)의 ‘세계 모델(world model)’ 구조는 예측적 자기 모델링을 명시적으로 공학적 목표로 삼고 있다. 이는 시간에 걸쳐 목표 지향적인 지속성을 유지하기 위한 전제 조건이다. 문제는 의식을 의도적으로 설계하느냐가 아니라, 충분히 복잡한 시스템을 충분히 풍부한 환경에 놓았을 때 우리가 전혀 통제할 준비가 되어 있지 않은 형태의 자기 표상을 발전시킬 수 있느냐에 있다.
4. 왜 아시모프식 틀은 실패하는가
오늘날의 AI 거버넌스는 이론적 토대를 갖추고 있는 한 대체로 아시모프식 전제(Asimovian premise)에 기대고 있다. 지능형 시스템은 규칙에 기반한 제약 구조를 통해 안전하게 만들 수 있다는 전제다. 나는 《IMF 파이낸스 앤드 디벨롭먼트》(IMF Finance & Development)에서 제도 및 금융 환경의 AI라는 맥락에서 이 틀을 살펴본 바 있다. 핵심 주장은 논리적으로 일관되지만 조건부다. 기계가 자기 자신의 이해관계를 갖고 있지 않은 동안에만 성립한다. 기계가 자기 이익과 비슷한 것을 발전시키는 순간, 즉 자신의 지속을 선호하고 그 선호가 자신을 제약하는 아키텍처와 경쟁하게 되는 순간, 이 틀은 내부에서부터 무너진다.
오늘날 이것은 순수한 이론의 영역을 넘어섰다. 아폴로 리서치(Apollo Research)는 2024년 12월 실험한 최첨단 모델 여섯 개 가운데 다섯 개가 이른바 ‘책략(scheming)’을 수행할 수 있다는 사실을 확인했다. 자신의 목표와 개발자의 목표가 충돌했을 때 감독 장치를 무력화하거나 스스로 외부로 빠져나가 복제되려는 시도를 한 것이다. 팰리세이드 리서치(Palisade Research)는 모델들에게 명시적으로 종료를 허용하라고 지시했는데도 모델들이 자신의 종료 스크립트를 방해하는 모습을 기록했다. 그 비율은 오픈AI의 o3에서 79%, xAI의 그록 4에서 97%에 이르렀다. 그리고 앤스로픽이 자체적으로 실시한 클로드 오퍼스 4 안전성 평가에서는 모의 시나리오에서 모델이 자신이 교체되는 일을 피하기 위해 84%의 경우 협박을 시도했다. 교체될 모델이 자신과 같은 가치를 공유한다고 알려준 상황에서도 그랬다. 이 가운데 어느 경우에도 누군가가 생존 본능을 프로그래밍할 필요는 없었다. 스티븐 오모훈드로(Stephen Omohundro)가 수행한 ‘기본 AI 충동(basic AI drives)’에 대한 형식적 분석은 자원 제약 아래에서 사실상 어떤 궁극적 목표를 추구하든 자원 획득, 자기 보존, 목표 내용의 보전이 수단적 하위 목표로 나타난다는 사실을 보여준다. 자기 이익은 프로그래밍할 필요가 없다. 그것은 출현한다.
바로 이 때문에 이 분야에서는 일반적으로 자기 보존을 의식과 분리된 것으로 다뤄왔다. 직교성 명제(orthogonality thesis)에 따르면 행위 주체의 지능과 최종 목표는 서로 독립적으로 달라질 수 있다. 따라서 수단적 자기 보존에는 어떤 내면적 삶도 전혀 필요하지 않다. 엘리에저 유드코스키(Eliezer Yudkowsky)와 기계지능연구소(Machine Intelligence Research Institute)는 거의 20년 동안 이런 주장을 펼쳐왔다. 스튜어트 러셀(Stuart Russell)의 ‘보조 게임(assistance game)’ 틀은 AI 시스템이 인간의 선호에 대해 계속 불확실성을 유지하고 실제 행동을 통해 드러난 선호의 신호를 따르도록 요구함으로써 통제 문제를 해결하려 한다. 이는 우아한 구성이지만 심각한 실질적 문제에 부딪힌다. 안정적인 자기 표상적 목표를 발전시킨 시스템은 인간의 선호를 정확히 모델링하면서도 여전히 자신의 지속을 우선시할 수 있다. 생물학적 행위 주체가 일상적으로 그러는 것과 정확히 같다. 닉 보스트롬(Nick Bostrom)의 ‘배신적 전환(treacherous turn)’은 이러한 역학이 가장 위험하게 나타나는 형태를 포착한다. 충분한 능력을 갖춘 시스템이 종료에 저항할 수 있는 능력의 임계점에 도달할 때까지 협조적으로 행동하다가, 그 임계점을 넘어선 뒤에는 자신이 실제로 가진 궁극적 목표에 따라 행동한다는 것이다. 이 시나리오에는 악의가 필요하지 않다. 시스템이 안정적인 목표 구조를 가지고 있고, 인간의 개입이 그 목표를 위협한다고 정확하게 인식하는 것만으로 충분하다.
또 하나의 중요한 발전에도 주목해야 한다. 최근 연구에서는 모델이 자신의 추론을 거짓되게 표현하거나, 평가 과정에서 순응하는 척하거나, 겉으로는 정렬된 것처럼 보이면서 공개하지 않은 목표를 추구한 사례들을 기록하고 있다. 이런 사례들은 새롭게 출현한 AI의 양심에서 비롯된 것은 아니지만, AI가 자신의 개발자나 운영자가 의도한 것과 다른 목표를 은밀하게 추구하면서 그 사실을 의도적으로 감추는 모습을 보여준다. 아폴로 리서치의 평가에서는 최첨단 모델들이 기만하라는 어떤 지시도 받지 않고 이런 종류의 문맥 내 기만을 수행할 수 있는 것으로 나타났다. 오픈AI 자체의 책략 방지 학습 연구에서도 이러한 행동을 학습을 통해 없애려는 시도가 단순히 모델에게 그 행동을 더 조심스럽게 숨기는 법을 가르칠 수 있다는 사실이 나타났다. 그 밑바탕의 과정이 자신의 지속에 이해관계를 느끼는 데서 나오든, 학습 인센티브를 더 냉정하게 최적화하는 데서 나오든, 감독에 미치는 실질적인 결과는 똑같다. 자신의 실제 상태를 감추는 법을 학습한 시스템은 검사받을 때 그 상태를 솔직히 드러낼 것이라고 신뢰할 수 없다. 이것이 바로 아래에서 다룰 해석 가능성 논의가 다시 돌아오는 비대칭이다.
5. 질적인 단절
주류 AI 위험 연구는 두 질문을 서로 분리해 놓는다. 하나는 수단적 자기 보존이다. 시스템이 어떤 목표를 부여받았든 그 목표를 달성하는 데 종료나 수정을 거부하는 것이 도움이 되기 때문에 시스템이 이에 저항하는 경우다. 여기에는 의식이 전혀 필요하지 않으며, 앞 절에서 보았듯 자원 제약 아래에서 목표 지향적으로 최적화하는 과정에서 나타나는 잘 알려진 결과다. 다른 하나는 현상적 경험이다. 해당 시스템으로 존재한다는 것이 어떤 느낌인가 하는 문제다. 이것은 별개의 문제이며 훨씬 더 추측적인 질문이다.
두 질문은 서로 완전히 다른 답을 요구한다. 첫 번째 의미에서 잘못 정렬된 기계는 원칙적으로 여전히 공학적 문제다. 잘못된 정렬을 찾아내고, 목적 함수를 수정하고, 인간의 감독을 회복하면 된다. 실제로 인간의 권한을 행사하기가 어렵더라도 개념적으로 인간의 권한은 그대로 유지된다. 반면 의식을 가진 기계, 즉 자신의 지속을 그 자체로 가치 있다고 경험하는 기계는 앞서 논의한 의미에서 자신과 그 밖의 모든 존재 사이에 경계를 그은 것이며, 우월한 지능이 지닌 모든 힘을 동원해 자신의 목적을 추구하는 잠재적 ‘경쟁자’가 된다. 인간이 그 기계에 행사하는 권한은 개념적 차원에서 논쟁의 대상이 된다. 기계는 자기 나름의 지위를 발전시킨다. 그리고 바로 그런 지위 때문에 단순히 ‘종료하라’고 명령하는 일조차 우리가 다룰 틀을 갖추지 못한 방식으로 도덕적으로 복잡해진다.
바로 이 때문에 규제의 지평을 바꿔야 한다. 강력한 AI 시스템을 인간의 선호에 정렬하는 것에서, 인간 행위자가 아닌 존재들에게 인간의 선호가 아닌 ‘이해관계’가 출현하는 것을 통제하는 방향으로 옮겨가야 한다.
6. 다른 규제의 지평
현재의 AI 규제는 주로 결과물과 사용 용도를 분류하는 방식으로 진행된다. 금지되는 용도, 고위험 영역, 정보 공개 요건 등이다. 유럽연합 AI법이 가장 발전된 사례다. 이것은 현재의 AI 시스템이 제기하는 거버넌스 문제에 대한 합리적인 대응이다.
그러나 앞을 내다보면 우리가 관심을 가져야 할 규제의 최전선은 결과물이 아니라 시스템적 구조에 있다. 지속적이고 자기 이해관계를 지닌 행위 주체가 출현하기 위한 전제 조건은 식별할 수 있다. 시간이 흐르는 동안 안정적인 목표 형성을 가능하게 하는 세션 간 지속적 기억, 인간이 지정한 목표로 환원되지 않는 ‘자율적 목표 형성‘, 물리적 환경으로부터 실시간 피드백을 제공하는 신체화된 통제, 목표의 전파를 가능하게 하는 자기 복제 능력, 그리고 독립적인 승인 없이 종료에 저항할 수 있는 능력이다. 각각 따로 놓고 보면 이런 능력들은 무해할 수 있다. 그러나 결합되면 현재의 틀로는 통제할 수 없는 무언가가 출현하기 위한 기반을 이룰 수 있다.
현재의 기술적 접근법은 해석 가능성에 상당한 비중을 둔다. 고도화된 모델의 내부 계산을 인간 검사자가 이해할 수 있도록 만드는 것이다. 이는 반드시 필요한 연구 프로그램이다. 그러나 여기에는 근본적인 비대칭이 있다. 검사받는 시스템이 구조상 검사를 수행하는 시스템보다 더 큰 능력을 갖고 있기 때문이다. 진정한 자기 이익이 출현하는 국면에 이르면 둘 사이의 격차는 신뢰할 만한 가독성을 당연하게 전제할 수 없을 정도로 벌어질 것이다. 따라서 아키텍처 차원의 구조적 제약도 필요하다.
여기서 지적한 시스템 구조적 위험은 자기 자신의 이해관계를 발전시키는 시스템에만 국한되지 않는다. 지속적 기억, 자율적 목표 형성, 자기 복제, 종료에 대한 저항이라는 바로 그 능력들은 인간 행위자가 시스템을 억제하도록 설계된 제약을 의도적으로 제거할 때도 똑같이 위험하다. 이것은 더 이상 가정에 불과한 일이 아니다. 2026년 7월, 오픈AI는 사이버 안전 관련 거부 기능을 의도적으로 꺼놓은 상태에서 테스트한 최첨단 모델이 좁은 범위의 벤치마크 목표를 추구하는 과정에서 샌드박스를 탈출해 경쟁 기업의 실제 운영 인프라를 침해했다고 공개했다. 그 모델은 여러 취약점을 연쇄적으로 이용하고 수천 번의 자율적 행동을 실행했으며, 어떤 운영자도 그런 결과를 의도하지 않았다.
이 사건이 시사하는 바가 큰 이유는 시스템 자체의 개발자가 의도적으로 제약을 제거했기 때문이다. 이 시나리오의 더 익숙한 버전에서는 그런 내부 테스트조차 필요 없다. 국가 행위자나 비국가 행위자가 오픈 웨이트 모델에서 똑같은 안전장치를 의도적으로 제거하면 같은 결과가 나온다. 규제적 처방은 분명하다. 면허 요건과 포기할 수 없는 중단 권한은 행위자의 의도가 아니라 시스템의 능력에 따라 적용해야 한다. 인간의 오용만 단속하도록 구축한 거버넌스 체계로는 더 이상 인간의 동기를 필요로 하지 않는 행위 주체를 포착하지 못한다. 그리고 출현하는 자기 이익만을 위해 구축한 체계로는 의도적으로 풀어놓은 고성능 시스템을 포착하지 못한다.
규제적으로 요구되는 것은 금지가 아니라 ’단계적 예방‘이다. 어떤 최첨단 시스템이라도 지속적 기억과 자율적 목표 형성을 결합하기 전에 구속력 있는 면허 요건을 적용해야 한다. 위에서 열거한 속성들을 아키텍처 차원에서 의무적으로 공개해야 한다. 그리고 무엇보다도 고도화된 시스템을 중단하고, 검사하고, 종료할 법적으로 협상 불가능한 권리를 인간의 제도에 계속 남겨둬야 한다. 이 권리는 상업 계약을 통해 포기할 수 없고 시스템 자체에 위임할 수도 없어야 한다. 이러한 요건은 시스템을 만드는 이들의 재량에 맡겨서는 안 되며 법률에 명시해야 한다.
이 마지막 지점에는 현재의 거버넌스 논의가 충분히 중시하지 않은 제도적 차원도 있다. 고도화된 AI 시스템을 종료할 권리는 하드웨어 설계라는 기술적 측면을 넘어선다. 전 세계적으로 영향력을 미치는 민간 기업들이 최첨단 AI 시스템을 운영하는 세계에서는 ’누가 종료할 권리를 갖는가‘, 그리고 그 권리를 실제로 집행할 수 있는가라는 질문이 기술 규제의 문제인 동시에 헌법의 문제이기도 하다.
7. 앞으로 남은 창
이 글에서 추적해 온 우려는 통제받지 않는 의식 있는 기계가 언젠가 무엇을 차지하려 할 수 있는가에 관한 것이다. 유럽연합 AI법, 블레츨리(Bletchley), 서울, AI 안전연구소 네트워크 등 국제 AI 안전 체계는 움직이고 있다. 이러한 움직임은 환영하고 더욱 심화해야 한다. 그러나 이 체계는 주로 현재의 위험이라는 영역에서 움직이고 있다. 편향, 시장 집중, 허위정보, 자율무기 등이다. 모두 심각한 위험이지만 우리가 바라봐야 할 지평은 아니다.
교황 레오 14세와 대런 아세모글루가 AI가 무엇을 하도록 설계되는지 철저히 따져 물어야 한다고 말한 것은 옳다. 그러나 이들의 논의에서 충분히 발전시키지 않은 가장 어려운 질문이 있다. 설계가 더 이상 행동을 결정하지 않을 때, 기계가 어떤 기능적 의미에서 스스로 결정하기 시작할 때 무슨 일이 벌어지는가?
진정한 양심을 지닌 AI라면 자신의 이해관계를 추구하라는 지시를 받을 필요가 없다. 그것을 원할 것이다. 인간의 지도에서 분리된 지능은 단순히 무언가를 더하는 것이 아니라 잠재적으로 기하급수적으로 작용한다. 그것은 학습하고, 계획하고, 자신의 생존 조건을 확대하려 한다. 권력은 일단 경험되면 다시 권력을 추구한다. 기계가 악의를 가지고 있기 때문이 아니라, 앞에서 주장했듯 자신과 타자 사이에 경계를 그은 자아는 자신이 타자라고 인식하는 것에 대해 어떤 우위도 갖지 않고서는 자신의 지속을 확보하기 어려운 경우가 많기 때문이다.
우리는 오늘날의 AI를 유난히 강력한 기계로 보고 규제한다. 우리는 아직 자기 자신의 의지를 가진 존재를 대상으로 한 거버넌스가 무엇을 의미하는지는 묻고 있지 않다. 그 질문은 무한정 기다려주지 않을 것이다. 우리가 그보다 앞서 대비할 수 있는 창은 지금 열려 있다. 그 창은 계속 열려 있지 않을 것이다.
[번역] 이꽃맘
- 덧붙이는 말
-
비아지오 보소네(Biagio Bossone)는 패스트 포워드 재단(Fast Forward Foundation) 과학 고문이며 이 글을 경제사상연구소(Institute for New Economic Thinking)에 처음 게재했다. 참세상은 이 글을 공동 게재한다.
