챗GPT가 말했다. “인간보다 더 많은 책임을 지게 될 줄이야!”

① 들어가며
② 알고리즘의 "부수적 피해"가 되어버린 사람들
③ 인공지능이 우리 삶을 결정한다면?
④ 배달노동자, 배차 알고리즘을 법정에 세우는 소송 나선다
⑤ 알고리즘 사장님과 개인정보 자기결정권
⑥ "비정한 시스템 방치하면 미래 노동의 표준이 될 위험 있어“
⑦ 당신에게 위험할 인공지능

최근 인공지능이 심사하고 면접보는 채용 시험이 부쩍 늘고 있다. 지난해 공공기관과 민간기업을 아울러 수백 곳 이상의 국내기업이 채용 인공지능을 도입했다. 사람을 심사해 채용 여부를 결정하는 인공지능은 이미 우리 현실에 와 있다.

이미 오래 전부터 사회 각 분야는 다양한 컴퓨터 프로그램을 사용했다. 그러나 지금의 인공지능 프로그램은 학습하고 추론하고 판단할 수 있는 기능면에서 과거와 비교할 수 없는 놀라운 혁신을 이뤘다. 특히 마이크로소프트가 투자한 오픈AI 〈Chat GPT〉는 사람처럼 자연스럽게 정보를 요약하고 대화하는 능력을 선보여 세계인을 놀라게 했다. 챗봇 외에도 번역 앱, 배달 앱, 택시 앱 등 우리가 생활에서 접하고 사용하는 인공지능 서비스는 숱하다. 우리와 비슷한 언어를 구사하는 〈Chat GPT〉에 친근감을 느끼고, 인공지능이 내장된 생활 앱의 편리함을 누리다 보면 이 기술과 함께 하는 미래는 낙관적으로 보인다.


사람에 대해 결정하는 인공지능

곧 현실이 될 인공지능 세상은 대화상대나 생활 앱 이상일 것이다. 현재 일부 미국의 기업들은 정리해고 대상자를 정하는 데 인공지능 알고리즘을 사용하고 있다. 인공지능 기술은 이미 우리 삶의 중요한 의사결정에 관여하기 시작했다.

한국 역시 다르지 않다. 2021년 제정된 「행정기본법」은 법 20조에서 “행정청은 법률로 정하는 바에 따라 완전히 자동화된 시스템(인공지능 기술을 적용한 시스템을 포함한다)으로 처분을 할 수 있다”고 명시했다. 법에 따르면 과속 단속, 주정차 위반 등 일상 곳곳에서 인공지능이 우리를 단속하고 벌금을 부과할 수 있다. 정부는 이미 실업자나 장애인의 사회보장급여 지급 결정에서 부정수급 여부를 탐지하고 거절하는 업무에 인공지능을 활용한다. 경찰은 지역 순찰에 인공지능을 사용하기 시작했고, 집회시위의 현장 채증에도 인공지능을 사용할 방안을 연구하고 있다. 자동차, 항공기, 승강기처럼 작동 중의 판단이 사람의 생명이나 신체에 중대한 위험을 미칠 수 있는 제품에도 인공지능은 적용된다.

우리가 인공지능을 사용하는 것이 아니라 인공지능에 의해 우리의 의사가 ‘결정되는’ 시대가 다가온 것이다. 물론 이 의사결정 인공지능은 영화에서 본 것처럼 자의식을 지닌 것은 아니다. 인공지능이 내리는 판단이란 실은 인공지능의 뒤에 있는 기업과 권력이 내리는 결정이다. 그러나 인공지능이 작동하는 이 원리는 의사결정의 대상이 되는 사람들에겐 비밀이다. 라이더와 택시기사들이 이미 겪고 있는 현실처럼.

2021년 유엔 인권최고대표는 인공지능 비밀주의 문제를 지적했다. 영업비밀을 비롯한 기업들의 비밀주의와 딥러닝을 비롯한 인공지능 기술 그 자체의 특성에 말미암은 ‘블랙박스 알고리즘’이 문제라는 지적이다. 특히 딥러닝 기술은, 2016년 이세돌 9단과 대국한 바둑 인공지능 알파고처럼, 어떤 수를 둘지 자체적인 패턴으로 학습하고 판단하기 때문에 인간은
그 이유를 알기 어렵다.

차별하거나 책임을 회피할 위험

사람에게 영향을 미치는 의사결정을 기계가 하게 됐을 때 어떤 위험이 있을까? 유럽연합은 2020년 발간한 〈인공지능 백서〉에서 인공지능의 위험성을 크게 세 가지로 지적했다.

첫째로 개인정보보호, 사생활침해, 차별 등 인권에 미치는 위험이다. 인권 위험은 인공지능 시스템에서 설계 오류나 데이터 편향으로 인해 발생할 수 있다. 2015년, 기존의 남성 위주의 재직자 데이터를 학습한 아마존의 채용 인공지능은 여성 지원자들을 탈락시켰다. 2020년에는 영국 대학 입학시험이 사용한 성적 인공지능이 문제가 됐다. 부유한 지역의 사립학교 학생들이 가난한 지역의 공립학교 학생들보다 학업 성취도가 높다고 판단해 사립학교 학생들에게 가산점을 줬기 때문이다. 몇 년 전부터 미국 경찰이 사용하고 있는 얼굴인식 인공지능은 비(非)백인, 여성, 노인 등 이른바 ‘주류’가 아닌 이들에 대한 오인식이 유독 잦다. 미 국립표준기술원(NIST)이 지난해 마이크로소프트(MS) 제품을 포함해 189개 안면인식 AI를 분석한 결과, 흑인 및 아시아계에 대한 오류 비율은 AI제품에 따라 백인보다 10∼100배 높았다. 또 AI는 여성을 잘 식별하지 못했고, 노년의 얼굴을 잘못 인식할 확률은 중년의 10배에 달했다. 이같은 오류로 무고한 흑인이 억울하게 체포돼 구금되기도 했다. 〈인공지능 백서〉는 “인간의 의사결정도 실수와 편향으로부터 자유롭지 않지만, 인공지능의 편향은 사회적으로 통제하지 않으면 더 많은 사람에게 항속적인 영향을 미칠 것”이라고 경고했다.

둘째, 인공지능은 사람의 안전에 위험을 미칠 수 있다. 2016년 인공지능으로 사물을 인식하는 자율주행차가 밝은 하늘과 흰색 트럭을 구분하지 못해 사망사고를 일으켰다. 같은 해엔 쇼핑몰 경비로봇이 16개월 유아를 공격해 다치게 하는 사고도 발생했다. 반복되는 문제의 원인은 학습을 통해 구동하는 인공지능 제품들의 경우, 사고의 인과관계를 역추적하는 일이 쉽지 않다는 데 있다.

세 번째 문제는 인공지능 사고나 피해가 발생했을 때 누구에게 어떻게 책임을 물어야 할지 모른다는 것이다. 사고를 일으킨 것은 운전자인가? 아니면 완제품 제조사가 사고의 책임을 져야 하는가? 문제의 알고리즘은 누가 언제 개발한 것인가? 알고리즘이 잘못 학습했는가? 학습 데이터는 언제 어디서 수집한 것인가? 책임 관계가 복잡하고 모호한 상황에서는 이를 사용하는 소비자 또는 사고의 대상이 된 사람들만 큰 피해를 입는다. 인공지능의 불투명성으로 규제기관과 조사기관의 규범의 준수 여부 판단이 어렵고 피해자의 권리 구제 역시 어렵기 때문이다.

고위험 인공지능을 통제하라

최근 몇 년동안 여러 나라의 시민사회는 위험성이 높은 인공지능을 금지하거나 규제할 것을 요구하고 있다. 가장 먼저 나타난 것은 채용이나 얼굴인식 등 특정 분야에서 위험한 인공지능을 금지하거나 규제하려는 흐름이다.

미국 뉴욕시는 올해 4월부터 인공지능으로 채용하는 고용주들에게 사전에 편향성 감사를 의무적으로 실시하고 결과를 공개하도록 하는 조례를 시행했다. 일리노이주와 메릴랜드주에서도 고용주가 인공지능 채용 사실을 지원자들에게 고지하고 지원자들에게 거부권을 보장하도록 했다. 지원자 영상의 공유를 금지하고 파기해야 한다는 의무도 법률로 규정했다. 얼굴인식 인공지능의 오인식과 흑인에 대한 부당한 경찰력 행사가 계속되자 2019년에는 샌프란시스코 시에서 미국 최초로 경찰과 공공기관의 얼굴인식을 금지하는 조례가 통과됐다. 이후 버클리 등 여러 도시가 잇따라 얼굴인식 금지 조례를 제정했고 뉴햄프셔 주에서는 경찰 바디캠의 얼굴인식을 금지하는 법안이 통과됐다. 유럽의 시민사회는 경찰이 공공장소에서 불특정 다수를 대상으로 얼굴을 비롯한 사람의 생체를 실시간으로 인식하는 기술을 사용하지 못하도록 금지해야 한다고 주장한다.

공공기관이 사용하는 인공지능에는 더 엄격한 기준을 요구하는 법규범도 곳곳에서 등장하고 있다. 2017년 미국 휴스턴 연방법원은 공공기관의 중요한 의사결정에 비밀 알고리즘에 의해 이뤄지는 인공지능을 사용할 수 없다고 판단했다. 설명할 수 없는 인공지능의 의사결정은 헌법이 보장하는 적법절차라고 볼 수 없기 때문이다. 캐나다 정부는 2019년, 〈자동화된 의사결정 훈령〉을 제정했다. 훈령은 공공기관이 사용하는 모든 의사결정 인공지능은 편향성 등 위험의 평가와 적절한 조치, 사전 알고리즘 영향평가와 테스트 실시를 의무화한다. 시민에게는 의사결정 전 인공지능 사용 사실을 통지하고 의사결정 후에는 이의제기를 보장할 것도 규정했다. 영국 정부도 같은 해 〈인공지능 조달지침〉을 발표해 공공기관에 납품되는 모든 인공지능의 영향평가를 의무화하고 일정 수준의 설명가능성을 보장했다. 트럼프 행정부도 2020년, 연방정부에 조달하는 인공지능에 일정한 요구사항을 규정하는 행정명령을 발표했다.

최근 세계적으로 가장 주목받고 있는 인공지능 관련 법은 유럽연합이 2021년부터 추진 중인 〈인공지능법〉과 미국이 2019년부터 추진 중인 〈알고리즘 책무성법〉이다. 두 법안 모두 공공과 민간을 불문하고 위험한 인공지능을 규제하는 데 초점을 맞추고 있다. 〈알고리즘 책무성법〉은 교육 평가, 고용·노동관리·플랫폼 노동, 금융 서비스, 법률 서비스 등을 인공지능을 사용하기에 더 위험한 분야로 규정했다. 일정 규모 이상의 큰 기업에서 사용하는 고위험 인공지능의 경우 알고리즘과 데이터셋에 대한 상세한 사항을 기록해야 하고, 정기적으로 알고리즘과 데이터셋에 대한 영향평가를 실시하며 연방거래위원회 FTC의 규제를 받는다.

〈인공지능법〉은 한층 더 광범위하고 엄격하다. 자동차, 항공기, 승강기 등 안전 제품은 물론 고용·노동관리·플랫폼 노동, 교육 평가, 복지급여, 신용평가, 경찰, 재판 등에서 사용하는 인공지능을 모두 고위험으로 규정했다. 고위험 인공지능 관련 알고리즘과 데이터셋에 대한 거의 모든 사항을 기록해야 하고, 위험 평가, 데이터 품질 관리, 인적 개입 보장 등 엄격한 의무를 준수하고 이를 인증 받아야 한다. 이 의무를 위반하거나 규제 기관에 협조하지 않으면 전 세계 매출액의 4~6%에 달하는 과징금이 부과된다. 특히 〈인공지능법〉은 인간의 잠재의식에 영향을 미치거나, 장애인 또는 아동의 취약점을 악용하는 인공지능 등 지나치게 위험한 인공지능의 개발과 사용을 아예 금지했다.

최근 유사한 인공지능법을 추진 중인 영국은 고위험 인공지능 규제의 미래에 대해 “채용 인공지능에 대해서 평등기구, 개인정보보호감독기관, 노동부처 등이 공정성, 투명성, 설명가능성, 이의제기권, 권리구제를 보장하기 위한 지침을 마련하고, 채용 인공지능을 공급하는 회사는 이를 준수해야할 것”이라고 예상했다.

규제완화 목소리만 높은 한국

반면 한국은 정반대 상황이다. 법적으로 인공지능 행정처분이 이미 도입됐지만 그 대상이 된 사람들이 결정에 대해 설명을 듣고 이의를 제기할 방법을 보장하지 않는다. 한술 더 떠 최근 국회 과학기술정보방송통신위원회가 심사 중인 인공지능 기본법안 「인공지능산업 육성 및 신뢰 기반 조성 등에 관한 법률안」은 인공지능 제품을 우선 출시하도록 하고 출시를 제한하는 모든 규제를 금지했다. 인공지능 산업을 진흥한다는 이유로 소비자, 개인정보, 인권 관련 규제기관이 사전에 개입할 수 있는 길을 애초에 차단했다. 해외에서 위험이 알려진 고위험 인공지능이어도 안전 당국은 국내 출시를 규제할 수 없다. 개인정보보호법을 위반했던 챗봇 〈이루다〉가 버전 2.0으로 업그레이드해서 출시해도 개인정보보호위원회는 행정지도에 나설 수 없다. 국가인권위원회가 공공기관 인공지능에 사전 인공지능 인권영향평가를 의무화하는 정책을 시행하기도 어렵다.

고위험 인공지능에 대한 사전 규제를 모두 열어놓은 상황에서 사후 규제라고 열심히 할리 만무하다. 법은 소관 과학기술정보통신부가 고위험 인공지능을 ‘확인’하도록 했으나 고위험 인공지능의 의무는 고위험이라는 사실을 고지해야 할 의무, 단 하나다. 처벌조항은 아예 없다.

이 법안을 만들고 옹호하는 이들이 그리는 미래는 ‘위험하면서도 설명할 수 없는 인공지능’으로 가득 찰 예정이다. 인공지능 채용 절차에서 떨어진 사람은 그 이유를 영영 알 수 없을 것이다. 인공지능 알고리즘에 의해 정리해고 대상자가 된 사람 역시 어떤 설명도 들을 수 없다. 강남의 학생들은 비수도권 학생보다 언제나 고평가될 것이다. 자율주행차가 사고를 일으키면 누가 책임을 질 것인지 알 수 없다. 그저 서로 책임을 미루는 혼란한 상황만 반복될 것이다. 인공지능이 아무리 친근하게 말을 붙이고 산업이 발달해도, 이런 미래는 인공지능 의사결정의 대상이 될 ‘사람’을 위한 사회는 아니다.