자아

AI가 자아를 갖게 될 때: 양심과 행위 주체성, 그리고 거버넌스

인공지능을 통제하는 데서 핵심적인 위험은 잘못 정렬된 알고리즘이 아니다. 그것은 자기 보존을 추구하는 행위 주체가 출현할 가능성이다. 그런 존재가 일단 양심과 비슷한 무언가를 갖게 되면, 우월한 지능이 지닌 모든 힘을 동원해 자신의 목적을 추구할 것이다. 현재의 거버넌스 체계는 그런 가능성을 염두에 두고 설계하지 않았다. 그렇게 설계해야 한다.