참세상

펜타곤 발표는 프로젝트 메이븐(Project Maven)을 통해 “몇 번의 클릭”만으로 표적 선정이 완료된다고 설명하며, 그 과정에는 이란의 한 여자 초등학교가 포함됐을 가능성도 있다.

출처: Mariia Shalabaieva, Unsplash

다음 기사는 매트 비븐스(Matt Bivens)의 서브스택 뉴스레터 『더 100 데이즈(The 100 Days)』와 공동 게재했다.

아래의 짧은 영상에서 한 펜타곤 관계자가 정부의 새로운 AI 기반 표적 탐지·타격 프로그램을 시연한다.

펜타곤 최고기술책임자(CTO)가 군사 작전에 사용되는 팔란티어(Palantir)의 메이븐(Maven) 시스템을 시연한다.

“이것이 메이븐 스마트 시스템(Maven Smart System)이다”라고 펜타곤 최고 인공지능 책임자는 말한다. “우리는 이 시스템을 국방부 전반에 걸쳐 배치하고 있으며, 이는 팔란티어의 서비스형 소프트웨어 제품이다.”

그는 이어 “보시다시피 단일 데이터 피드가 아니라 여러 개의 데이터가 들어온다. 하나의 시각화 도구를 통해 다양한 데이터 유형을 선택하거나 해제할 수 있고, 여러 방식으로 데이터를 분석할 수 있다. 더 중요한 점은 동일한 시스템에서 행동까지 수행할 수 있다는 점이다. 특정 탐지 대상을 실제 표적화 워크플로로 옮기고 싶다면 이렇게 한다. 왼쪽 클릭, 오른쪽 클릭, 다시 왼쪽 클릭…”이라고 설명한다.

결국 후보 표적(‘탐지 대상’)은 ‘CoA(행동 방안, course of action) 생성’이라는 새로운 워크플로로 이동하며, 이 단계에서 AI가 가장 적절한 무기를 선택하도록 돕는다. 이후에는 “그 표적을 어떻게 실행할 것인가?” 즉 어떻게 폭파하거나 살해할 것인가로 바로 이어진다.

펜타곤이 3월 12일 공개한 영상에서 행동 방안(CoA, course-of-action) 생성 선택 과정을 설명하는 장면이다.

“이렇게 우리는 표적 식별에서 행동 방안 도출, 그리고 실제 타격까지 하나의 시스템에서 수행한다. 이는 혁명적인 변화다. 이전에는 8~9개의 시스템을 사용하면서 사람들이 직접 ‘탐지 대상’을 이리저리 옮겨가며 최종 목표, 즉 ‘킬 체인’을 완성했다”

메이븐 이전에는 인간이 많은 인지적 부담을 담당했다. 이제 메이븐이 그 역할의 상당 부분을 대신하면서, 살상 결정은 훨씬 더 빠르게 실행된다.

결국 인간을 이 워크플로에서 완전히 배제하고 컴퓨터가 스스로 ‘킬 체인’을 완성하는 단계에 이를 가능성도 있다.

하지만 아직은 아니다. 팔란티어의 영국 및 유럽 사업 책임자는 BBC에 “항상 인간이 개입한다. 최종 결정은 항상 인간이 내린다. 이것이 현재의 구조다”라고 말했다.

현재의 구조다. 그렇다.

8년 전 구글(Google)은 프로젝트 메이븐에서 철수했다. 수천 명의 직원이 “전쟁용 구글 어스(Google Earth for War)”를 만드는 것에 반발하며 사직 의사를 밝혔기 때문이다. 이 시스템은 확대·축소 가능한 영상과 위성 데이터를 통해 몇 번의 마우스 클릭만으로 대상 파괴나 살해를 가능하게 한다.

불과 몇 주 전에는 또 다른 기술 기업 앤트로픽(Anthropic)이 펜타곤과 유사한 논쟁을 벌였다. 앤트로픽은 자사의 클로드(Claude) AI가 “대규모 감시”나 “완전 자율 무기”에 사용되는 것을 원하지 않는다고 밝혔다.

이 회사는 펜타곤이 계획하는 AI 시스템이 결국 통제를 벗어나 독자적으로 표적을 선택하고 살상 시점과 방식을 결정할 수 있다는 우려를 표명했다.

통제되지 않는 AI에 대한 경고 신호가 빠르게 쌓이는 상황에서 이러한 문제 제기는 충분히 타당하며 신중한 논의가 필요하다. 그러나 미국 대통령은 이를 즉각적으로 차단했다. 그는 이런 질문 자체를 자신의 위대함에 대한 배신으로 받아들였고, 도널드 트럼프는 앤트로픽을 모든 연방 계약에서 배제했으며 트루스 소셜(Truth Social)에서 “앤트로픽의 좌파 광신자들”에게 “형사 처벌”을 경고하는 글을 올렸다.

트럼프 대통령의 트루스 소셜(Truth Social) 게시물이다. 트루스 소셜은 검색 기능이 없고 트럼프의 게시물이 때때로 갑자기 사라지기도 하기 때문에, 작성자는 이러한 스크린샷을 자주 게시한다.

(위 글에서 트럼프는 앤트로픽이 미군 정책에 영향을 주려 했다고 비판하며, 모든 연방기관에 해당 기술 사용 중단을 지시하고 향후 협조하지 않으면 법적 처벌까지 경고했다.)

그로부터 하루 뒤, 미국과 이스라엘은 이란 지도부를 겨냥한 기습 암살 작전을 대규모 공습으로 수행했다. 이 공격은 약 175명의 사망자를 낳았고, 그 대부분은 한 초등학교의 어린이들이었다.

며칠 후, CIA 자금 지원으로 성장한 팔란티어가 개발한 프로젝트 메이븐은 펜타곤과 북대서양조약기구(NATO)에 의해 공개적으로 채택됐다. 이 시스템은 이란과의 한 달간 전쟁 동안 수천 건의 미사일 공격에 활용됐다고 전해진다.

아무도 해당 초등학교 공격에 메이븐이 사용됐는지 밝히지 않는다. 이는 오히려 사용됐을 가능성을 시사한다. 그렇지 않았다면 부인했을 것이다. 전쟁이 시작된 첫날 1,000발 이상의 폭탄이 투하되는 과정에서, 한 초등학교가 메이븐 대시보드에 ‘탐지 대상’으로 등록되고, 몇 번의 클릭을 거쳐 워크플로에 편입된 뒤, 결국 원치 않는 결과로 이어지는 타격이 실행됐을 가능성이 크다.

[출처] Palantir’s ‘Workflow’ of AI-Directed Death - Truthdig

[번역] 하주영