차별과 편견을 강화하는 알고리즘

[워커스] 기술문화비평


우리는 살면서 특정한 성별 때문에, 특정 지역 출신이라서, 특정 학교를 나오지 못했거나 학위가 없어서, 특정한 국가의 국민이거나 아니라서, 외모나 피부색, 혹은 말투 때문에, 다른 사람들은 겪지 않는 특정한 차별을 겪어보았을 것이다. 차별을 받는다는 것도 문제지만 그 원인이 다른 어떤 것도 아닌, 쉽게 바꾸거나 개선하기 어려운 자신의 삶의 조건인 경우에는 문제가 더 크다. 내가 이렇게 태어나고 이러한 조건에서 살아가고 있는 것이 누군가가 나를 차별하거나 혐오하는 이유가 된다면 도대체 우리는 어떻게 타인들과 어울려서 살아갈 수 있을까.

그런데 그보다도 더 까다롭고 심각한 상황이 있다. 도대체 무엇 때문인지 알 수 없는 이유로 차별을 받거나, 심지어 차별을 받고 있다는 사실조차 모르는 경우다. 우리가 어떤 이유로 차별을 받는다는 사실을 알게 됐다면 그것에 대해 조처하기를 요구할 수 있다. 하지만 우리에게 어떤 종류의 차별이 행해지는지, 차별이 행해지기는 하는지 알려지지 않고 있다면 우리는 그것에 대해 어떠한 이의를 제기하기 어렵다. 어쩌면 거기에 지금의 기술 지배적인 시대를 살아가는 우리의 현실적 어려움이 있을 것이다. 블랙박스처럼 그 내용이나 작동 방식에 대해 알려지지 않은 기술 장치들이 우리를 어떻게 인식하고 판단하고 결정하는지, 우리에 대해 어떤 편견을 지니고 차별을 행하는지, 나아가 불평등을 확산하고 민주주의를 위협하는지 사실상 알 도리가 없기 때문이다.

우리를 둘러싼 수만 가지의 데이터 포인트가 수집되고, 그 데이터에 기반해 각종 패턴을 발견함으로써 인공지능의 알고리즘 토대가 만들어진다. 그리고 그 알고리즘을 사용하는 서비스가 플랫폼을 통해 제공되면서 다시 한 번 데이터를 수집하는, 아주 복잡하지만 그 과정이 거의 자동화된 거대한 데이터 생태계가 이미 형성돼 있다. 이 거대한 데이터 생태계를 우리는 ‘데이터 사회’라고 부른다. 그리고 모든 사회적 규범들과 문화적 양식들, 정치경제적 양식들이 알고리즘을 통해 통제되고 관리되는 것을 ‘알고리즘 통치’라고 부르기도 한다. 이제 플랫폼과 인공지능이 우리의 모든 욕망을 이끌어내고 삶을 거래하며 서비스와 상품을 생산, 유통하는 현실을 ‘플랫폼 자본주의’ 혹은 ‘인공지능 자본주의’라고 부를 수 있겠다. 그런데 이 모든 자동화의 과정은 상상 속에 있거나 다른 나라의 일이 아닌 지금 여기의 현실이다.

취업을 위한 인터뷰에 인공지능 알고리즘이 개입해 나의 용모와 말투, 사회성과 정치관을 자기 나름대로 파악하고 당락여부를 결정한다. 보험회사에서 보험료를 산출하는 과정이나 은행에서 대출 여부와 이자율을 계산하는 과정, 복지혜택 수급자 판별에서도 인공지능 알고리즘은 내가 사는 지역이나 동네, 직업의 변화, 나이, 구매패턴 등을 추적하고 한두 자리 숫자로 나의 가치를 판단한다. 내 얼굴이 범죄자의 유형과 유사한 요소를 가지고 있다는 이유로 사람들이 많이 오가는 대도시 길거리에서 경찰의 불심검문에 걸리거나 공항에서 비행기 탑승이 거절되는 것도 가능하다. 법정에서는 한두 가지 사소한 데이터 때문에 형량이 턱없이 늘어날 수도 있다. 물론 이러한 과정에서 생기는 입력의 오류나 사소한 오해는 결과적으로 우리의 인생에 복구 불가능한 균열을 일으키기도 한다.

알고리즘이 오해한 덕분에 우리는 소중한 집이나 직장을 잃기도 하고 긴급히 필요한 건강보험의 혜택을 놓치기도 한다. 때로는 피부색이나 인종에 따라 위험인물로, 혹은 사람조차 아닌 것으로 분류되기도 한다. 그러나 알고리즘은 그저 오해한 것일까? 알고리즘은 거대한 데이터의 바다에서 패턴이라는 객관적 진리를 파악함으로써, 우리의 특성을 판단하고, 가치를 분석하고, 미래 행위를 예측하는, 우리 시대 가장 공정한 규칙의 생성자가 아닌가. 패턴은 그야말로 객관적 팩트를 제공하지 않는가.

아무리 공정하고 자동화된 패턴 인식 알고리즘이라 할지라도, 이미 그 패턴은 기존의 모델이나 확률, 통계에 의해 추출된 규칙들로 구축된다. 그러나 이 패턴에 기대어 미래의 행위를 판단하고 결정하는 것은 일종의 재귀적 오류에 빠질 위험이 상존한다. 예컨대 이미 범죄나 범죄신고가 많이 발생한 곳은 우범지역으로 판단되고, 범죄 예측 인공지능 알고리즘은 특정 시간에 특정 지역에서 발생할 범죄를 예측한다. 마치 영화 <마이너리티 리포트>처럼. 그런데 예측에 따라 그 시간과 장소에 경찰인력을 배치하면 당연하게도 더 많은 범죄를 단속하고 더 많은 범죄자를 체포하게 된다. 비록 애초에 우범지역이라 하더라도 집중 단속을 지속하면 당연하게도 더 심각한 우범지역이 된다.

패턴을 통한 차별은 알고리즘을 적용하면 할수록 그 내적 논리의 정합성이 점점 더 강화된다. 미디어학자 웬디 희경 전(Wendy Hui Kyong Chun)에 따르면, 데이터의 패턴 인식과 알고리즘의 패턴 차별이라는 것은 바로 ‘동종선호’(homophily)라는 원리에서 기인한다. 동일한 (종류의) 것을 지속적으로 선호함으로써 특정한 사회적 기준이나 규범, 혹은 정체성이 강화되고 결과적으로 그것을 그렇지 않은 것들로부터 분리해내고 영속화하는 과정이 네트워크 전체에 걸쳐 확산된다. 얼굴 인식으로 동작하는 각종 알고리즘이 검은 피부색을 아예 인식하지 못하거나 사람의 얼굴을 다른 동물로 오인하는 알고리즘의 편견과 차별은 바로 이러한 원리를 통해 강화된다. 그 알고리즘의 오류를 수정한다고 해도 편견과 차별은 금방 또 다른 모습을 하고 되돌아온다.

우리 사회의 대다수를 차지하는 특정한 부류의 사람들이 자신의 인종, 피부색, 직업, 취향, 지역, 학교 등을 선호하는 행위를 반복하면 할수록 동일한 것에 대한 선호가 강화된다. 그렇게 강화된 데이터는 네트워크를 통해서 축적, 추출된 후 다양한 알고리즘 혹은 플랫폼을 통해 확산되고 또 다시 사람들의 편견과 차별을 재생산한다. 가짜뉴스란 것도 동일한 메커니즘을 통해 진실을 뛰어 넘고 편견을 확산한다. 어느새 대부분의 일상에서 우리는 알고리즘에 의해 관리되는 처지에 놓였다. 알고리즘이 이끌고 추천하고 예측하는 대로 생각하고 행동하지 않을 수 없다. 편견을 심화하는 기술적 알고리즘의 오류들은 지속적으로 수정해야겠지만, 그 알고리즘을 낳은 우리의 현실에서의 차별과 혐오와 편견을 끊임없이 되돌아보고 고쳐내는 일이 우선이 아닐까. 그럴 때에야 우리는 알고리즘에 관리되는 대상이기보다는 그것을 관리하는 주체로 설 수 있을 것이다. [워커스 59호]