챗GPT가 말했다. “인간보다 더 많은 책임을 지게 될 줄이야!”

① 들어가며
② 알고리즘의 "부수적 피해"가 되어버린 사람들
③ 인공지능이 우리 삶을 결정한다면?
④ 배달노동자, 배차 알고리즘을 법정에 세우는 소송 나선다
⑤ 알고리즘 사장님과 개인정보 자기결정권
⑥ "비정한 시스템 방치하면 미래 노동의 표준이 될 위험 있어“
⑦ 당신에게 위험할 인공지능

"직설적으로 말하면, 머신러닝의 가장 큰 문제는 머신러닝이 뭘 하는지 아무도 모른다는 것이다! 머신러닝의 단계는 딱 블랙박스 같다. 인공 신경망의 일반적 원리를 이해해도 실제로 적용될 때 어떤 일이 일어나는지는 자세히 알지 못한다. 의도나 목적을 불문하고 머신러닝은 마법이다."

영국 국방성 소속 '국방과학기술연구소(Dstl)'가 2019년 발간한 가이드북 「Dstl 비스킷 북 - 인공지능과 데이터 사이언스, (주로는) 머신러닝」이 머신러닝의 문제점을 설명한 대목이다.

블랙박스 모형의 인공지능은 학습 과정에서 스스로 논리체계를 형성하고 판단의 정확도를 높인다. 그러나 결론에 이르는 과정은 깜깜이다. 결과를 이해하기 어렵고, 문제가 발생해도 바로잡기가 힘들다. 이런 문제점을 두고 가이드북은 “우리가 어디에 머신러닝을 적용할지를 결정할 때 중요한 의미가 있다”고 경고한다.

가이드북은 최근 '설명가능한 AI'로 투명성을 높이려는 시도가 있지만 "기껏해야 강아지 사진을 강아지로 분류하는 데 사용된 픽셀을 결정할 수 있을 뿐"이라며 이런 솔루션이 현실화하려면 아직 멀었다고 말한다.

그런데 머신러닝, 딥러닝을 내세우는 마법은 이미 긱(gig) 이코노미를 넘어 정규직 노동자들을 감시하고 정리해고의 규모와 대상자를 선발하는 데까지 이르렀다. 올해 2월 〈워싱턴포스트〉는 인공지능이 인간의 일자리를 대체하는 걸 넘어서 정리해고를 돕게 될 것이라고 보도했다. IT분야의 전문 리서치 그룹인 캡트라가 실시한 설문조사에서 인력관리 부문 고위관리직 중 98%가 2023년 경기침체가 예상되는 상황에서 인력 비용을 줄일 때 소프트웨어나 알고리즘에 어느 정도는 기댈 것이라고 응답했다.

인간의 필요에 둔감한 알고리즘을 도입하면 의사결정이 간소화되고, 비용은 줄어든다. 이제 우리는 자동 이메일을 통해 해고를 통보받고, 부정수급을 관리하는 공무원이 알고리즘이 분류한 서류를 크게 고민하지 않고 통보하는 마법을 경험해야 할지도 모른다. 인간의 의미 있는 개입 없이 분류되고 처리되는 인간은, 문제가 발생할 경우 그저 비용절감에 따른 부수적 피해(collateral damage)에 불과했다.

공무원들, 알고리즘 효과성 입증하려 적발 실적에만 열 올려

셔메인 레이스너 씨는 2012년 어느 날, 2008년부터 지급된 육아수당을 돌려달라는 통보를 받았다. 사회복지를 공부하던 학생인 레이스너 씨에게는 6세 미만의 자녀가 세 명이 있었다. 고지서에 적인 환수 금액은 10만 유로, 한화로 1억 4천이 훌쩍 넘는 금액이었다. '걱정 마, 실수한 거겠지.' 큰일이 아닐 거라고 생각했다. 그러나 고지서는 "큰일의 시작"일 뿐이었다. 고지서를 받은 후 어머니의 암 진단까지 겹치면서 레이스너 씨는 우울증과 탈진에 시달렸다. 결국 레이스너 씨는 아이들의 아버지와도 헤어졌다.

레이스너 씨는 수많은 네덜란드 육아수당 부정수급 스캔들 피해자 중 한 명이다. 세무 당국은 2005~2019년 사이 약 2만 6천 명을 육아수당 부정수급으로 고발했다. 네덜란드 정부는 2013년 부정수급을 적발하기 위해 알고리즘에 의한 의사 결정 시스템인 '위험 분류 모델'을 도입했다. 이 모델은 자가 학습(self-learning) 알고리즘이 포함된 '블랙박스' 시스템이다. 시스템 사용자인 공무원도 신청자에게 특정 위험 점수를 부여하는 데 사용된 정보를 열람하지 못했다.

미세한 신청서 기재 오류 등으로 육아수당을 신청한 사람들이 부정수급자로 분류되는 등 선의의 피해자가 속출했다.

네덜란드 세무 당국이 사용한 '위험 분류 모델'에는 인종 프로파일링도 포함됐다. 네덜란드 국적 여부를 표기하는 "예/아니오"는 매개 변수로 사용됐는데, 네덜란드 국적이 아닌 사람은 더 높은 위험 점수를 받았다. 2021년 조사보고서 「제노포빅 머신(Xenophoic Machine」을 발표한 국제앰네스티는 “알고리즘 의사 결정 시스템을 사용하는 공무원이 의도적으로 차별대우를 하지 않아도 인종 프로파일링이 발생할 수 있다”며 "저소득층에게 '고의 또는 중과실' 분류를 더 빈번하게 부여했다는 점을 확인했다"고 밝혔다.

'위험 분류 모델'이 선택한 고위험 신청자를 수동으로 검토해 통보한 공무원들은 잠재할 수 있는 일말의 오류 가능성도 의심하지 않았다. 국제앰네스티는 부정수급 감지 수단으로 도입된 알고리즘의 "효과성"을 입증해야만 하는 공무원들이 시스템이 올바르게 작동하는지 상관하지 않고 부정수급자 적발에만 열을 올려 최대한 많은 돈을 환수하고자 했다며 "비뚤어진 장려책"을 비판했다.

세무 당국은 오랫동안 '위험 분류 모델'의 사용과 그 작동 방식에 대해서 비밀에 부쳐왔다. 이 모델은 2013년에 도입이 됐지만, 신청자의 국적을 매개변수에 포함했다는 사실은 2020년 7월에야 공식적으로 확인됐다. 신청서의 작은 오류 등으로 부정수급자로 분류된 사람들은 대체로 소득이 낮거나 소수민족에 속해 있었다. 이들은 엄청난 빚을 지고 더 빈곤한 처지에 내몰렸다. 일부 피해자는 자살하기도 했다. 천 명이 넘는 어린이가 위탁 보호시설에 맡겨졌다. 이 스캔들로 2021년 네덜란드 전체내각이 사임했다.


아마존, "실수할 걸 알지만, 알고리즘이 더 싸다"

스티브 노만딘 씨는 4년 가까이 피닉스 전역을 돌며 아마존의 계약직 운전기사로 일했다. 그러던 어느 날 자동화된 이메일 한 통을 받았다. 그를 추적하고 있는 알고리즘이 그가 제대로 일하지 않는다고 판단했기 때문이다. 육군 전역자로 모든 일에 110%를 쏟아붓는다는 ‘구식 사람’인 노만딘 씨의 고난은 새벽 배송에 나서면서 시작됐다. 아파트 현관까지 배송해야 하는데 아파트 입구부터 문이 잠겨 있는 곳이 많았다.

미국 텍사스주 알링턴에 사는 네드라 리라 씨는 2017년부터 아마존 플렉스 앱을 통해 택배 일을 시작했다. 아이 셋을 키우는 리라 씨는 유연하게 일을 할 수 있고, 4시간짜리 경로에 약 80달러를 벌 기회가 마음에 들었다. 리라 씨의 배송 건은 대부분 “매우 우수”로 평가받았다. 하지만 리라 씨가 통제할 수 없는 상황은 늘 있었다. 배송할 물건을 늦게 전달받아 배송을 시작하기도 전에 이미 예상 배달 시간이 지나있기도 했으며, 타이어에 못이 박혀 배송하지 못한 적도 있었다. 그럼 아마존은 택배를 반납하라고 했다. 상황을 설명했는데도 배송 경로를 포기한 것 때문에 대한 평가가 ‘매우 좋음’에서 ‘위험’으로 떨어지기도 했다.

노만딘 씨와 리라 씨는 자동 이메일에 의해 해고됐다. 리라 씨는 자동 이메일이 알려준 곳에 연락을 취해 이의 제기를 했으나, 의미 있는 답을 얻지는 못했다.

아마존은 알고리즘에 방대한 운영관리를 아웃소싱한 대표적인 기업이다. 창고 내 작업자에서부터 계약직 운전기사, 배송업체, 사무직 지원의 성과까지 알고리즘으로 감독한다. 기계는 둔감했다. 인간이 겪는 곤란이나 사람의 필요에 둔감하다. 2021년 팬데믹 시기 기계가 감시하는 노동과 기계가 자신을 해고할지도 모른다는 스트레스가 아마존 노동자들을 건강 위기로 몰아넣었다는 보고서도 나왔다.

〈블룸버그〉는 전직 아마존 엔지니어의 말을 인용해 "인간이 할 일을 기계에 떠넘기면 실수할 수 있는 것도 알고 언론에 좋지 않게 오르내리겠지만, 운전기사를 쉽게 교체할 수 있는 한 부당 해고 조사에 들어가는 인건비보다 알고리즘을 신뢰하는 것이 더 싸다고 결정했다"고 보도했다. 플렉스 계약자를 찾는 데 문제가 없기 때문이다. 모바일 데이터 분석 플랫폼인 앱 애니에 따르면 미국에서 플렉스 앱을 다운받은 사람은 약 290만 명이다. 〈블룸버그〉는 같은 기사에서 "아마존 내부에서 플렉스 프로그램은 큰 성공을 거둔 걸로 여긴다. 이 시스템으로 벌어들이는 이익이 부수적인 피해(collateral damage)보다도 훨씬 크다고 말했다"고 썼다. 그런데 이렇게 되고 보니 인간을 부수적인 피해쯤으로 취급하는 것이 인간인지 알고리즘인지 헷갈린다. 챗GPT가 말했다. "이제 인간보다 많은 책임을 지게 될 줄이야!"


〈참고자료〉
1. 영국 국방부 국방과학기술연구소, The Dstl Biscuit Book-Artificial Intelligence, Data Science and (Mostly) Machine Learning (2019)
2. 워싱턴포스트, The Robots Coming for Our Jobs Will Also Help Fire Us (2023.2.7.)
3. 캡트라, Algorithms Will Make Critical Talent Decisions in the Next Recession?Here’s How To Ensure They’re the Right Ones (2023.1.)
4. 국제앰네스티, Xenophobic machines: Discrimination through unregulated use of algorithms in the Dutch childcare benefits scandal (2021.10)
5. 블룸버그, Fired by Bot at Amazon: ‘It’s You Against the Machine (2021.6.28.)
6. 폴리티코, Dutch scandal serves as a warning for Europe over risks of using algorithms(2022.3.29.)
7. 휴먼 임팩트 파트너스, The Public Health Crisis Hidden in Amazon Warehouses (2021.1.)