참세상 전체기사2024 :: 일반 :: 가자지구, 인공지능, 킬 리스트

전쟁에서 가장 큰 난제 중 하나는 군사 목표를 식별하는 것이다. 이스라엘군은 방대한 양의 감시 데이터를 선별하고 데이터의 패턴을 기반으로 하마스 또는 이슬람 지하드(PIJ) 전사를 식별하여 이 과정을 자동화하는 인공지능 기반 시스템인 '라벤더'를 개발했다. 이러한 접근 방식은 더 빠르고 정확한 타겟팅을 약속하지만, 휴먼라이츠워치(HRW)와 국제적십자위원회(ICRC) 같은 인권 단체는 이러한 반자동 또는 완전 자동화 시스템을 통해 인간 장교들이 '의사 결정의 필요성'을 줄이고 결정의 생사를 가리는 '일상화'를 경험한다며 국제인도법(IHL) 위반에 대한 책임 부족을 경고하고 있다. 또한, 잘못된 표적화(IHL 위반)에 대한 책임을 져야 하는 군 지휘관은 더 이상 알고리즘이 조언하는 '블랙박스'를 감독할 능력이 없을 수 있다.

다음에서는 이러한 우려를 살펴보고 전쟁에서 자동화 또는 반자동 시스템을 사용하는 국가가 IHL 위반에 대한 책임을 어떻게 지는지 보여준다. 이를 통해 새로운 기술 가능성으로 인해 특정 문제가 발생하더라도 기존의 IHL이 이를 해결할 수 있는 충분한 준비가 되어 있음을 보여줄 것이다.

출처 : pexels

전쟁에서의 AI - 장점과 위험성

전쟁에서 AI의 장점은 다른 분야와 본질적으로 동일하다. 방대한 양의 데이터를 매우 빠르게 처리하고, 데이터의 패턴을 식별하고, 그 결과를 새로운 데이터 세트에 적용할 수 있는 능력 덕분에 AI는 군사 의사결정의 속도, 정확성, 효율성을 크게 향상시킬 수 있다. 따라서 AI는 관련 공격 대상을 식별하려는 군 관계자뿐만 아니라 민간인 보호에도 이점을 제공한다. AI 시스템을 잘 프로그래밍하고 활용하면 인간 장교보다 더 정확하고 신속하게 민간인 보호 시설을 표시하고, 더 정밀한 공격을 계획하고 실행하여 민간인 사상자를 줄일 수 있다. 의사 결정에 대한 인간의 개입을 줄이면 의도하지 않은 편견의 근원을 제거하여 민간인 보호에도 기여할 수 있다.

그러나 AI 시스템은 인간이 평가의 이유를 이해할 수 없을 정도로 정교하고 복잡한 수준에 이르렀기 때문에 이러한 시스템을 종종 '블랙박스'라고 부른다. 이로 인해 인간 운영자가 기계에 대한 의미 있는 통제권을 행사할 수 없었기 때문에 기계의 결정에 대해 책임을 질 수 없다고 주장하며 인간의 책임을 회피할 수 있다는 우려가 제기되고 있다. 휴먼라이츠워치(Human Rights Watch)와 같은 단체에서는 이러한 법적 책임이 인간에서 소프트웨어로 전가되는 것을 '책임 공백'(responsibility gap)이라고 설명한다. 솔직히 말해서 우리는 이러한 책임 공백이 존재하지 않는다고 생각한다. 이 글에서는 인공지능으로 인한 '책임 공백'에 대한 우려를 완화하고 여전히 책임을 부여할 수 있는 방법을 보여주기 위해 먼저 현재 가자지구 전쟁에서 사용되고 있는 이스라엘의 '라벤더'(Lavender) 시스템을 예로 들어 이러한 시스템이 어떻게 작동하는지 설명한 후 IHL에서 권고하는 책임에 대한 심층 분석으로 넘어가겠다.

타겟팅의 자동화된 의사 결정 지원 도구 - "라벤더"

+972 매거진과 로컬 콜(Local Call)이 발행한 보고서에 따르면 이스라엘은 이 시스템을 사용하여 가자지구에서 제거해야 할 하마스와 이슬람 지하드 수만 명의 잠재적 표적을 표시했다. 이 시스템에는 알려진 하마스 요원들에 대한 데이터가 입력되었고, 이들에게 공통된 특징을 찾도록 요청했다. 특정 채팅 그룹에 가입되어 있거나 휴대폰과 주소를 자주 변경하는 등의 특징이 있을 수 있다. 이러한 패턴이 발견되면 시스템에 일반 인구에 대한 새로운 데이터를 입력하고 하마스 소속으로 추정되는 공통된 특징을 추적하도록 요청할 수 있다. 본질적으로 이 접근 방식은 이전에 인간 정보 요원이 수행한 절차와 크게 다르지 않지만 자동화를 통해 훨씬 더 빠르게 처리할 수 있다.

현재 가자지구 전쟁에 복무하며 이 시스템을 직접 경험한 익명의 이스라엘 정보 장교 6명의 증언에 따르면, 군대는 전쟁 초기 몇 주 동안 표적 식별을 거의 전적으로 라벤더에 의존했다고 한다. 그 기간 동안 이 시스템은 최대 37,000명의 팔레스타인 사람을 무장 세력으로 의심되는 인물로 분류하여 그들의 집을 공습 가능성으로 표시했다. '아빠 어디야'(Where’s Daddy)라는 이름의 두 번째 AI 시스템은 군사 활동 중이 아닌 가정집에서 표적을 찾기 위해 특별히 구축되었는데, 이는 표적이 개인 주택에 있을 때 더 쉽게 찾을 수 있기 때문이다. 보고서에 따르면, 이 시스템은 하마스 또는 이슬람 지하드(PIJ) 하급 전사 한 명에 대해 15~20명의 민간인 피해를, 고위급 지휘관 한 명에 대해 100명 이상의 민간인 피해를 부수적으로 인정했다. 한 소식통에 따르면, 육군은 '라벤더' 시스템의 오류율이 약 10%에 달하고 무장 단체와 느슨한 관계만 있거나 전혀 관계가 없는 개인을 표적으로 삼는 경우도 있다는 사실을 알면서도 추가 검토 없이 장교들이 '라벤더'가 생성한 표적을 채택하도록 전면적으로 승인했다고 한다. 인간 요원들은 종종 기계의 결정에 '고무 도장' 역할만 하는 경우가 많았으며, 폭격을 승인하기 전에 각 목표물에 대해 약 '20초'를 개인적으로 할애하여 목표물이 남성이라는 사실만 확인하는 경우가 많다고 덧붙였다. 또한 소식통은 "아빠 어디야"가 경찰에게 목표물이 집에 들어 왔다고 경고하는 시간과 실제 폭격 사이에 상당한 시차가 있기 때문에 의도한 목표물을 명중하지 않고 가족이 몰살되는 경우도 있다고 설명했다.

국제 인도법의 제약

국제인도법 상 ‘구별의 원칙’은 민간 목표와 군사 목표를 엄격하게 구분해야 한다는 요구 사항인데, 앞서 기술된 이런 관행은 이를 위반할 잠재적 가능성이 있다(Art. 48 AP I; Art. 51(1) and (2) AP I; Art. 13(1) and (2) AP II; ICRC Customary Rules 1, 7). 또한, 시스템 상 허용되는 부수적 피해를 고려할 때 비례성 원칙(Art. 51 (5b) AP I; ICRC Customary Rule 14) 위반 또는 예방 조치 미 이행(Art. 57, 58 AP I; ICRC Customary Rule 15)의 가능성이 있어 보인다. 특히 국제인도법(Art. 43(I) AP I)에 따라 하마스와 지하드 무장단체(둘 다 비정부 조직 무장단체)가 전투원으로 간주되지 않는다면 이들의 자택이 표적이 되었다는 사실은 문제가 될 수 있다(적용 가능한 IHL 규범 및 분쟁 분류에 대한 논의는 여기와 여기 참조). 하마스와 지하드 전투원의 전투원 지위는 분쟁 당사자에 따라 국제적 또는 비국제적 무력 분쟁으로 분류되기 때문에 논란의 여지가 있다. 전투원 지위는 비국제 무력 분쟁에는 적용되지 않는다. 이스라엘과 다른 많은 국가들은 하마스가 국가를 대표하지 않기 때문에 이스라엘과 하마스 간의 분쟁을 국제 분쟁으로 간주하지 않는다. 또한 하마스 전사들에게 전투원 지위를 부여하면 분쟁법의 관점에서 볼 때 하마스가 이스라엘 방위군(IDF) 병사를 공격할 수 있게 된다. 그러나 반대로 전투원 지위가 없는 개인은 당시 적대 행위에 적극적으로 참여하고 있는 경우에만 합법적으로 공격받을 수 있으며(Art. 51 (3) AP I),잠을 자기 위해 집에 머물고 있는 경우에는 공격할 수 없다.

국제인도법(Art. 91 AP I, 1907년 육지에서의 전쟁법과 관습에 관한 헤이그 협약 제3조 및 Customary Rule 149, 150)에 따르면 국제인도법을 위반하는 분쟁 당사자는 보상을 지급할 책임이 있다. 이 경우 국가는 군대의 일부를 구성하는 사람, 정부 권한의 요소를 행사하도록 권한을 부여한 사람 또는 단체, 국가의 지시, 지시 또는 통제에 따라 행동하는 사람 또는 단체, 국가가 자신의 행위로 인정하고 채택한 사람 또는 단체가 저지른 모든 행위에 대해 책임을 질 수 있다. 따라서 군대든 민간인이든 공식적인 자격으로 수행한 모든 국가 기관의 행위는 국가에 귀속된다.

국제인도법의 중대한 위반에 대해 개인을 기소해야 한다는 요건 외에도 국가 책임이 존재한다(Customary Rule 151, Art. 51 First Geneva Convention; Art. 52 Second Geneva Convention; Art. 131 Third Geneva Convention; Art. 148 Fourth Geneva Convention). 수많은 군사 매뉴얼에서 전쟁 범죄에 대한 개인의 형사 책임을 확인하고 있으며, 이는 많은 국가의 법률에서 시행되고 있다.

국가는 또한 전쟁범죄를 예방하고 처벌할 책임이 있는 지휘관 및 기타 상급 장교의 경우와 같이 행동할 의무가 있는 기관이 조치를 취하지 않은 것에 대해서도 책임이 있다(Customary Rule 153 and Art. 2 ILC-Draft Articles on State Responsibility 참조).

전쟁에서 AI 사용 시 국제인도법 준수 보장

이러한 국제인도법의 규정과 규칙은 전쟁에서 어떤 방식으로 결정을 내리든 반드시 준수해야 한다. 중요한 것은 국가가 사용하는 도구 또는 전체 결정을 위임하는 경우도 이러한 규칙을 준수해야 한다는 것이다.

자동화된 시스템에 의사 결정이 위임되는 경우 특정 책임이 발생하는 세 가지 핵심 지점은 다음과 같다. 첫째, 프로그래밍 단계, 둘째, 완성된 프로그램의 전반적인 전략적 사용과 관련된 의사 결정이 이루어지는 명령 수준, 셋째, 일상적인 지상 사용 단계이다.

프로그래밍 단계에서는 AI 시스템 자체의 코드에 국제인도법의 원칙을 통합해야 한다. 이를 위해서는 나중에 오탐지를 배제하기 위해 학습 데이터를 신중하게 선택하고, 국제인도법의 규칙을 반영하도록 주요 설정과 안전장치를 설정하며, 오류나 오작동을 포착하기 위해 필요한 수준의 인간 감독이 보장되어야 한다. 훈련 단계는 시스템에 레이블이 지정된 데이터를 입력하고 하마스 요원과 비관련자 등 한 그룹을 다른 그룹과 구별하는 패턴을 찾도록 요청하는 단계이다. 라벤더의 경우 +972 보고서에 따르면 "그들은 '하마스 요원'이라는 용어를 느슨하게 사용했고, 민방위대원도 훈련 데이터 세트에 포함시켰다"고 한다. 이는 소프트웨어 엔지니어가 무장 하마스 요원뿐만 아니라 민간인의 공통된 특징을 찾도록 프로그램을 '가르쳤다'는 점에서 국제인도법과 관련된 중요한 행위로 판명될 수 있다.

둘째, 지휘관은 적절한 사용에 대한 책임을 진다. 이는 전체 프로세스에 대한 감독권을 행사하고 해당 AI 시스템의 인간 운영자가 국제인도법을 준수하도록 보장하는 것을 수반한다(ICRC, Customary Rules 15–24). 여기서 살펴본 사례의 경우, 지휘관이 추가 검토 없이 AI 시스템이 생성한 살상 목록을 채택하도록 전면적으로 승인함으로써 인간 감독 절차를 '고무 도장'으로 축소했다는 점에서 이 원칙의 잠재적 위반 가능성을 찾을 수 있다.

셋째, 실행 단계에서 인간 작전 수행자는 국제인도법(Art. 57 ZP I, ICRC Customary Rule 16)에 따른 의무를 준수해야 한다. 목표물이 군사적 목표인지(10월 7일 이전의 국제연합군 표적 공격에 대해서는 여기를 참조), 군사적 필요성과 인도주의적 고려사항 사이의 균형을 반영한 결정인지(비례성의 원칙) 확인하기 위해 가능한 모든 조치를 취해야 한다. 각 개별 사례에 대한 검토에 20초밖에 걸리지 않은 것으로 알려진 이번 사건에서 이는 의문이며, 그 시간 동안 담당자는 종종 대상자가 남성이라는 사실만 확인했을 것이다.

따라서 "라벤더"와 "아빠 어디야"가 "인공 지능"이라는 (잘못 정의된) 포괄적인 용어로 분류되어 일부 사람들에게 "자율적"인 것으로 인식될 수 있다고 하더라도, 그 개발과 운영은 여전히 인간의 결정과 인간의 행동에 의해 결정되며, 따라서 그 선택에 대한 책임이 있다. 인간 관계자는 인공지능 시스템 뒤에 숨어 자신이 가진 통제권을 행사하지 않으면서 통제권이 없다고 주장하여 법적 책임을 회피할 수 없다.

따라서 첨단 AI 군사 도구에서 발생하는 주요 문제는 규모의 문제이다. AI는 수천 개의 잠재적 표적을 거의 동시에 표시할 수 있기 때문에 검토와 검증을 위한 인간의 역량에 도전한다. 따라서 인간 관리들은 적절한 검증 없이 AI의 결과에 의존하여 자신의 의사 결정 권한과 책임을 기계에 위임하려는 유혹을 받을 수 있다. 국가, 지휘관 및 현장 운영자는 이러한 유혹을 견뎌내고 이러한 신기술을 책임감 있고 합법적으로 사용하도록 보장해야 할 책임이 있다. 그러나 그렇게 하지 못할 경우, 무력 충돌 규칙 위반에 대한 국가의 책임을 보장하기 위해 기존 국제인도법 규정은 여전히 실행 가능한 수단으로 남아 있다.

결론

결론을 내리기 전에 이 글은 특정 이스라엘 공격의 합법성에 대한 최종 평가가 아니라는 점을 강조하고 싶다. 전쟁의 안개 속에서 이러한 평가는 이스라엘군이 공격을 실행하는 방법에 대한 공식적으로 확인된 내부 정보가 부족하기 때문에 신뢰할 수 없는 경우가 많다. 그러나 라벤더 및 기타 AI 기반 표적 선정 도구를 사용하면 국제인도법 위반 가능성이 더 높아질 수 있다.

결정적으로, 라벤더와 같은 AI 도구를 사용하더라도 이러한 애플리케이션이 할 수 있는 일과 할 수 없는 일, 그리고 사용 방법을 결정하는 것은 여전히 사람의 결정이기 때문에 국제인도법 위반에 대한 책임 공백이 발생하지 않는다. 이러한 결정과 의사결정 과정(AI가 생성한 대상 목록에 전적으로 의존하는 경우)에 대해서는 인간 관리가 국제인도법에 의해 책임을 질 수 있다. 가자지구와 점령 지역은 오랫동안 새로운 감시 기술과 인공지능 전쟁의 시험장이 되어 왔다. 이러한 시스템을 평가하고 본질적으로 (인간의 프로그래밍으로 인해) 국제인도법을 위반하는 기술이 영속화되지 않도록 하는 것이 중요하다. 이러한 평가를 위해서는 훈련 데이터와 인텔리전스 프로세스에 대한 투명성이 필수적이다.

그럼에도 불구하고 기존의 국제인도법 규정은 무력 분쟁에서 AI의 사용으로 인해 발생하는 새로운 도전에 대처할 수 있도록 잘 갖추어져 있다. 인간은 AI 시스템에 대한 감독과 통제권을 계속 행사하지만, 국제인도법을 위반하는 경우 그 행동에 대해 책임을 질 수 있으며, 이러한 통제권을 포기하는 경우 그 자체로 국제인도법 위반이 될 수 있다.

[출처] https://verfassungsblog.de/gaza-artificial-intelligence-and-kill-lists/

[번역] 참세상 번역팀(일부 기계번역의 도움을 받음)

덧붙이는 말: 리사 위즈(Lisa Wiese)는 라이프치히대학교 유럽법, 국제공법, 공법학부의 연구 조교이자 박사 과정이다. 샬롯 랑거(Charlotte Langer)는 라이프치히대학교 유럽법, 국제공법, 공법학부의 연구 조교이자 박사 과정이다. 참세상은 이 글을 공동 게재한다.