AI 지도책 - 케이트 크로포드

서문

 

 여기서 우리는 두 가지의 뚜렷한 환상이 작동하는 것을 볼 수 있다. 첫 번째 환상은 인간 아닌 시스템(컴퓨터든 말이든)이 인간 정신과 비슷하다는 것이다. 이 관점에서는 훈련이나 자원을 충분히 투입한다면 (인간이 체화되고 관계 맺고 자신보다 넓은 체계 안에 놓이는 것과 같은 기본적 과정을 거치지 않고도) 인간과 비슷한 지능을 백지상태에서 만들어낼 수 있다고 가정한다. 두 번째 환상은 지능이 마치 자연적이며 사회적·문화적·역사적·정치적 힘과 구별된 것처럼 독자적으로 존재하는 무언가라는 것이다. 사실 지능 개념은 수백년 동안 엄청난 해악을 끼쳤으며 노예제에서 우생학에 이르는 온갖 지배 방식을 정당화하는 데 동원되었다.

---

 

1. 지구

 

 이론가 유시 파리카는 저서 『미디어의 지질학A Geology of Media』에서 미디어를 마셜 매클루언의 관점, 즉 미디어가 인간 감각의 연장이라는 관점이 아니라, 지구의 연장이라는 관점에서 생각할 것을 제안한다. 연산의 미디어는 현재 지구의 원료를 인프라와 기기로 탈바꿈시키는 것에서부터 석유와 가스로 이 새로운 시스템에 동력을 공급하는 것에 이르는 지질학적(또는 기후학적) 과정에 관여한다. 미디어와 기술을 지질학적 과정으로 간주하면 지금 순간의 기술을 운용하는 데 필요한 비재생성 자원이 급격히 고갈될 것임을 추론할 수 있게 된다. 네트워크 라우터에서 배터리와 데이터 센터에 이르기까지 AI시스템의 확장된 네트워크에 속한 모든 요소는 수십억 년에 걸쳐 지구 내부에서 생성된 원료를 이용하여 만들어진다.

 심층 시간의 관점에서 보자면 우리는 아마존 에코와 아이폰 같은 고작 몇 년 쓰고 버리는 기기를 만들어 현대 기술 시대라는 찰나를 떠받치려고 지구의 지질학적 역사를 뽑아내고 있는 셈이다. ...

---

 

2. 노동

 

 인공지능의 덜 알려진 측면 중 하나는 AI 시스템을 구축하고 유지하고 검증하기 위해 저임금 노동자가 얼마나 많이 필요한가다. 이 보이지 않는 노동은 공급사슬 업무, 주문형 크라우드(위탁) 업무, 전통적 서비스업 등 여러 형태가 있다. 착취적 작업 형태는 자원을 채굴하고 운반하여 AI 시스템의 핵심 인프라를 제작하는 광업 부문에서부터 분산된 노동력에 마이크로태스크 하나당 푼돈을 지급하는 소프트웨어 부문에 이르기까지 AI 파이프라인의 모든 단계에서 찾아볼 수 있다. 메리 그레이와 시드 서리는 이런 숨겨진 노동을 '고스트 워크ghost work(그림자 노동)'라고 부르며 릴리 이라니는 '인간을 연료로 쓰는 자동화'라고 부른다. ...

---

 

3. 데이터

 

 그렇다면 훈련 데이터야말로 현재의 기계학습 시스템을 구축하는 토대다. 이 데이터 집합들은 AI가 어떻게 운용되는가를 좌우하는 인식론적 경계를 정하며 이런 의미에서 AI가 세상을 어떻게 '볼' 수 있는가의 한계를 짓는다. 하지만 훈련 데이터는 실측 자료로서는 부실하다. 가장 큰 규모의 데이터베이스조차 무한히 복잡한 세상을 범주로 구분하여 단순화할 떄 발생하는 근본적 불일치를 피할 수 없다.

 

 윤리적 의문을 기술적 의문과 분리하는 이런 태도에는 기계학습 분야의 더 폭넓은 문제가 반영되어 있다. 이 분야에서는 연구 범위를 벗어나기만 하면 위해에 대한 책임이 인식되지도 드러나지도 않는다. 애나 로런 호프먼은 이렇게 썼다. '여기서 문제는 편향된 데이터 집합이나 불공정한 알고리즘의 문제나 의도하지 않은 결과의 문제만이 아니다. 취약한 공동체에 피해를 입히고 현재의 불의를 악화하는 관념을 연구자들이 적극적으로 재생산하는 것이야말로 더 고질적인 문제다. 하버드 연구진이 제안한 갱단 폭력 식별 시스템이 결코 구현되지 않더라도 이런 종류의 피해는 이미 발생하지 않았나? 이 과제는 그 자체로 문화적 폭력 행위 아니었나?' 윤리 문제를 논외로 하는 것은 그 자체로 해로우며, 과학 연구가 진공 상태에서 이루어지고 그것이 퍼뜨리는 관념들에 대해 아무 책임이 없다는 거짓 관념을 영구화한다.

 AI가 실험실에서만 쓰이던 실험적 분야에서 벗어나 수백만 명을 대상으로 하는 대규모 실험이 된 지금은 해로운 관념들의 재생산이 특히나 위험하다. 기술적 접근법은 학회 논문에 실린 뒤 금세 생산 시스템에 접목될 수 있으며, 이렇게 되면 해로운 가정이 고착화되거나 돌이키기 힘들어질 수 있다.

---

 

6. 국가

 

... 현재 대부분의 국가는 조달된 AI 시스템으로 인한 문제에 어떤 책임도 지지 않으려 하며 '이해하지 못하는 것에 대해서는 책임질 수 없다'라고 주장한다. 이 말은 상업적 알고리즘 시스템이 책임성 메커니즘 없이 정부의 의사 결정 과정에 관여한다는 뜻이다. 나는 법학자 제이슨 슐츠와 함께 정부의 결정에 직접적 영향에 미치는 AI 시스템 개발자가 정부에 소속되어 일정한 맥락에서 헌법적 책임을 져야 한다고 주장했다. 그래야 국가와 마찬가지로 그들에게도 위해에 대한 법적 책임을 지울 수 있다. 그때까지 공급업체와 도급업체는 자신들의 시스템이 역사적 피해를 가중하거나 전혀 새로운 피해를 만들어내지 않도록 할 유인을 거의 느끼지 않을 것이다.

---

 

 맺음말 | 권력

 

  기술 부문을 평가할 때가 왔다. 지금껏 업계의 통상적 반응은 AI 윤리 원칙에 서명하는 것이었다. 유럽 의회 의원 마리트여 스하커에 따르면 2019년에 AI 윤리 규정은 유럽에서만 128건에 이르렀다. 이 문서들은 종종 AI 윤리에 대한 '폭넓은 합의'의 산물로 제시된다. 하지만 이 중 압도적 다수는 경제적으로 발전한 나라들에서 제정되며 아프리카, 남아메리카, 중앙아메리카, 중앙아시아를 대변하는 일은 거의 없다. AI 시스템으로 인해 가장 큰 피해를 입는 사람들의 목소리는 이 규정들을 제정하는 과정에서 누락되는 경우가 태반이다. 더욱이 윤리 원칙과 서명은 실행 방법을 논하지 않으면 집행력을 가지거나 대중에게 책임을 지는 일은 드물다. 섀넌 매턴의 말마따나 AI 구현의 윤리적 수단을 평가하지 않은 채 AI 윤리적 목표에 초점을 맞추는 경우가 더 일반적이다. 의료나 법률과 달리 AI는 공식적인 직업적 관리 구조나 규범이 전혀 없다. 이 분야에 대한 합의된 정의와 목표 또는 윤리적 관행을 강제할 표준 규약은 전무하다.

 

 이것은 새로운 저항의 정치를 떠받치는 토대다. '가능한 일은 실현될 것이다'라고 말하는 기술 불가피론 서사에 반대하는 것이다. 단순히 가능하다는 이유만으로 AI가 어디에 적용될 것인지 묻는 게 아니라 '왜' 적용되어야 하는지에 방점을 찍어야 한다. 우리는 '왜 인공지능을 이용하는가?'라고 물음으로써 통계적 예측과 이윤 축적의 논리, 즉 도나 해러웨이가 '지배의 정보과학'이라고 부른 것에 모든 것이 종속되어야 한다는 생각에 의문을 제기할 수 있다. ...

 

 

... 평소 논문으로 접하던 케이트 크로포드의 책이라 무척 기대했는데, '지도책'이라는 제목답게 시야가 확장된 반면 문제제기는 좀 두루뭉술해진 느낌이다.

 

... 인공지능을 지구와 연결해 보는 관점이 좋았다. 마치 인공지능이 실리콘밸리에서 뚝 떨어진 기술처럼 이야기하는 것 너무 불편하다. 그리고 위에도 언급된  『미디어의 지질학A Geology of Media』 너무 재미있을 것 같은데... 일단 읽어보고 제안서 써야 하나?