서문<br/>세상에서 가장 영리한 말│AI란 무엇일까?│AI를 지도책으로 보아야 하는 이유│연산의 지형학│추출, 권력, 정치<br/><br/>1 지구<br/>AI를 위한 채굴│연산의 풍경│광물학적 층위│검은 호수와 흰 라텍스│청정 기술이라는 환상│물류의 층위│거대기계로서의 AI<br/>2 노동<br/>작업장 AI의 과거 역사│포템킨 AI와 메커니컬 터크│해체와 작업장 자동화에 대한 구상 : 배비지, 포드, 테일러│시카고의 도축장│시간 관리, 시간 사유화│사적인 시간은 권력의 전략│속도의 무자비한 리듬<br/>3 데이터<br/>기계에 보는 법 훈련시키기│데이터 수요에 대한 짧은 역사│얼굴 포착│인터넷에서 이미지넷으로│동의 따위는 필요 없다│데이터의 신화와 은유│로켓이 어디 떨어지든 무슨 상관이랴│공유재 포획으로 억만장자 되기<br/>4 분류<br/>순환 논증 체계│편향 해소 시스템의 한계│편향에 대한 여러 정의│분류 엔진으로서의 훈련 집합 : 이미지넷의 사례│‘사람’을 정의하는 권력│인종과 성별을 구성하다│측정의 한계<br/>5 감정<br/>감정 예언자 : 감정이 돈이 될 때│세계에서 가장 유명한 관상가│감정 : 관상학에서 사진까지│감정을 포착하다 : 감정을 연기하는 수법│표정은 실제로 감정을 표현하는가│얼굴의 정치학<br/>6 국가<br/>제3차 상쇄 전략│메이븐 계획│국가의 외주화│테러범 신용 점수에서 사회적 신용 점수로│초국가, 국가, 나의 일상<br/>맺음말-권력<br/>한계를 모르는 게임│AI의 파이프라인│지도는 영토가 아니다│정의를 위한 연대를 향하여<br/>덧붙이며-우주<br/><br/> · 감사의 말<br/> · 옮긴이의 말<br/> · 주<br/> · 참고문헌<br/> · 찾아보기

AI는 우리가 살고 있는 세계를 어떻게 바꾸고 있을까?
“인공지능은 결코 인공적이지도 않고 지능도 아니다!”

오늘날 사람들은 ‘AI(인공지능)’를 어떻게 이해하고 받아들이고 있을까? 현대 과학과 첨단 기술의 정점으로, 또는 인간이 풀지 못한 문제까지도 단번에 해결할 수 있는 놀라운 존재로 여기고 있는 건 아닐까? 하지만 이는 맹목적인 신뢰가 빚어낸 환상일 뿐이라고 이 책은 말한다. 미국 뉴욕 대학교 AI 나우 연구소의 공동 설립자이자 인공지능의 사회적 의미를 오랫동안 연구해온 케이트 크로퍼드는 이 책에서 인공지능이 만들어지는 과정을 면밀히 들여다보면서, 그것이 어떤 함정을 만들어내는지 낱낱이 파헤친다. 아직까지 많은 사람들은 인간 정신과 비슷한 시스템을 백지상태에서 만들어낼 수 있고 인공지능을 자연적이며 독자적으로 존재하는 무언가로 받아들이지만, 이는 너무나 단순하고 편협한 인식일 뿐이라는 것이다.

이 책은 AI가 ‘인공’적이지도 않고 ‘지능’도 아니라고 주장한다. 오히려 인공지능은 체화되고 물질적인 지능이며 천연자원, 연료, 인간 노동, 하부 구조, 물류, 역사, 분류를 통해 만들어진다. AI 시스템은 자율적이지도 합리적이지도 않으며 대규모 데이터 집합이나 기존의 규칙 및 보상을 동원한 방대하고 집약적인 훈련 없이는 아무것도 분간하지 못한다. 사실 우리가 아는 형태의 인공지능은 훨씬 폭넓은 정치적?사회적 구조에 전적으로 의존한다. 또한 AI를 대규모로 구축할 자본과 AI를 최적화할 방법이 필요한 탓에 AI 시스템은 궁극적으로 기득권에 유리하게 설계된다. 이런 의미에서 인공지능은 권력의 등기부인 셈이다.

이 책은 인공지능이 어떻게 만들어지는지를 폭넓은 의미에서 들여다보고 인공지능을 빚어내는 경제적?정치적?문화적?역사적 힘을 탐구한다. AI를 이 넓은 구조와 사회체제에 연결하면 우리는 인공지능이 순전히 기술적 영역에 속한다는 통념에서 벗어날 수 있다. 기본적 차원에서 AI는 기술적 행위이자 사회적 행위요, 제도이자 토대요, 정치이자 문화다. 연산 추론과 체화된 일은 서로 깊숙이 연결되어 있다. AI 시스템은 사회관계와 세계에 대한 이해를 반영하는 동시에 생산한다.

이 책에서는 AI를 ‘정치, 노동, 문화, 자본을 아우르는 대규모의 산업적 구성물’이라는 의미로 쓴다. 사실 ‘인공지능’이라는 용어는 마케팅에서 더 많이 쓰인다. 자금 지원을 신청하는 기간이나 벤처 투자가들이 수표장을 들고 찾아올 때, 연구자들이 새 연구 결과에 대해 언론의 주목을 끌고 싶을 때는 AI라는 용어가 곧잘 동원된다. 이 때문에 AI라는 용어는 채택되기도 하고 거부되기도 하면서 의미가 끊임없이 달라진다.

그런데 인공지능이 만들어지는 과정을 이해하는 데 어떻게 지도책이 도움이 될 수 있을까? 지도책 비유는 곧 인공지능을 이해하는 새로운 방법이다. 인공지능을 추동하고 지배하는 국가와 기업, 지구에 흉터를 남기는 추출식 채굴, 데이터 대량 수집, 이를 떠받치는 불평등하고 착취적인 노동 관행 등을 설명하는 AI 담론이 필요하기 때문이다. 지형학적 접근법은 인공지능이나 최신 기계학습 모형의 추상적 약속을 넘어선 새로운 관점과 규모를 제시한다. 그 목적은 연산의 다양한 지형을 주파하면서 이것들이 어떻게 연결되는지 살펴봄으로써 AI를 더 넓은 맥락에서 이해하는 것이다.

AI 분야에 존재하는 것은 열어야 할 하나의 블랙박스, 폭로해야 할 하나의 비밀이 아니라 수없이 얽힌 권력의 체계이다. 그렇기에 완전한 투명성은 불가능한 목표다. AI가 세상에서 어떤 역할을 하는지 더 잘 이해하려면 물질적 구조, 맥락 환경, 지배적인 정치적 성격에 주목하여 그것들이 어떻게 연결되는지 추적해야 한다. 이 책에 담긴 저자의 사상은 과학?기술 연구, 법학, 정치철학을 배경으로 10년 가까이 학계와 업계 AI 연구실에 몸담은 경험에서 영감을 얻은 것이다.

AI가 어떻게 부와 권력을 집중시키고 있을까?
인공지능을 둘러싼 자원 채굴, 노동권, 개인정보 보호, 국가와 기업, 불평등…

이 책은 인공지능을 ‘추출 산업’으로 규정한다. 현대 AI 시스템을 창조하려면 지구의 에너지와 광물자원, 값싼 노동력, 대규모 데이터를 추출해야 한다. 이 일이 벌어지는 현장을 관찰하기 위해 저자는 AI가 실제로 만들어지는 장소들을 여행한다. 인공지능이 무엇이고 무엇으로 만들어지는지를 알기 위한 첫 번째 출발점은 컴퓨터에 동력을 공급하는 데 필요한 여러 광물 채굴장 중 하나인 미국 네바다의 리튬 광산이다.

채굴은 AI에 추출의 정치적 성격이 결부되었음을 가장 적나라하게 보여주는 분야다. 희토류, 석유, 석탄에 대한 기술 부문의 수요는 엄청나지만 이 채굴의 진짜 비용을 AI 업계에서 부담하는 경우는 전혀 없다. 소프트웨어 부문을 보자면, 자연어 처리와 컴퓨터 시각의 모형을 구축하려면 에너지가 어마어마하게 필요하며 더 빠르고 효율적인 모형을 제작하려는 경쟁 때문에 AI의 탄소 발자국을 키우는 탐욕스러운 연산 기법이 도입되었다. 최초의 대서양 횡단 해저 케이블에 필요했던 라텍스를 생산하기 위해 수확된 말레이시아의 마지막 나무로부터 독성 잔류물이 모여 생성된 내몽골의 거대한 인공 호수에 이르기까지 지구적 연산 네트워크의 환경적?인간적 출생지를 추적하며 이 행위들이 어떻게 지구를 대규모로 변화시키는지 살펴본다.

사실 인공지능은 인간의 노동으로 만들어진다. 단순 반복 작업을 위해 클릭을 하면서 푼돈을 받는 디지털 삯꾼과 거대 물류 제국의 알고리즘에 장단을 맞추는 아마존 창고의 직원들, 동물 사체를 해체하고 가공하는 시카고의 도축장에서 일하는 노동자들…… 이들은 기업주를 위해 감시와 통제를 강화하는 AI 시스템에 어떻게 적응해나가고 있을까? 인간의 행동을 로봇과 조립 라인 기계의 반복적 동작에 맞추기 위해 시간 관리 메커니즘이 어떻게 작동하는지, 그 문제점이 무엇인지를 꼼꼼하게 짚어봄으로써 노동의 미래가 어떤 모습일 것인가를 가늠해볼 수 있을 것이다. 지구와 인간 노동의 관계를 규정한 추출의 논리는 AI가 데이터를 이용하고 이해하는 방식과도 결부된다.

공개적으로 접근할 수 있는 모든 디지털 자료는 AI 모형을 생성하는 데 이용되는 훈련 데이터 집합을 위해 자유롭게 수집되는데, 이것들은 얼굴 인식, 언어 예측, 대상 탐지 등의 기능을 수행하는 알고리즘을 개선하는 데 쓰인다. 그런데 AI가 데이터를 이용하는 현재의 관행은 개인정보 유출과 감시 자본주의라는 심각한 문제 외에도 적잖은 윤리적?방법론적?인식론적 우려를 낳는다. 그중 가장 대표적인 것은 인공지능 시스템에서의 분류 행위이다. 현행 시스템이 어떻게 이분법적 성별, 획일적 인종 구분, 성격과 신용에 대한 미심쩍은 평가 등을 라벨의 주된 바탕으로 삼아 신원을 예측하는지 들여다보고 그 과정에서 AI 시스템이 어떻게 위계를 강화하고 불평등을 증폭하는지 알 수 있다.

AI가 인간의 감정을 어떻게 인식하는지도 중요한 쟁점이다. 심리학자 폴 에크먼 등의 연구 성과를 통해 감정 인식을 둘러싼 여러 주장을 검토하고, 파푸아뉴기니의 산악 마을을 여행하며 감정 인식의 역사를 탐구한다. 아마존, 마이크로소프트, IBM 같은 기술 기업들이 어떻게 감정 탐지 시스템을 설계하고 적용하는지 알아보고, 그에 따른 과학적 논란 및 우려와 부작용 가능성도 살펴본다.

AI 시스템이 어떤 방식으로 국가 권력의 도구로 이용되고 있는지도 이 책의 핵심 내용 중 하나다. 과거와 현재 인공지능의 군사적 활용은 감시, 데이터 추출, 위험 평가 등의 관행을 빚어냈다. 기술 부문과 군사 부문의 밀접한 관계는 강력한 국가주의적 의도에 들어맞도록 통제되고 있다. 한편 정보 부문에서 쓰이던 탈법적 도구들이 군사 분야에서 상업 기술 분야로 전파되어 교실, 경찰서, 직장, 고용지원센터에서 쓰이고 있다. AI 시스템을 빚어낸 군사적 논리는 이제 지방정부 운영의 일부가 되었으며, 더 나아가 국가와 국민의 관계를 왜곡하고 있다.

인공지능이 어떻게 권력 구조의 역할을 하며 하부 구조, 자본, 노동을 결합하는지 제대로 알고 그 대안을 마련하는 것은 우리의 현재, 미래와 직결되어 있다. 교묘하게 통제받는 우버 운전자를 비롯하여 추적당하는 미등록 이민자, 주택 내 얼굴 인식 시스템에 항의하는 공영주택 임차인에 이르기까지 AI 시스템은 자본, 치안, 군사화의 논리에 따라 구축되며 이 조합은 기존의 권력 불균형을 더욱 확대한다. 따라서 AI 시스템이 산업적 추출과 차별이 아니라 정의와 평등을 향해 시급히 새로운 길을 열어야 한다. 기술 우선식 접근법을 거부하고 기저의 불평등과 불의에 맞서는 국가적?국제적 운동을 확장해야 할 필요성이 제기되고 있으며 노동, 기후, 데이터 정의를 함께 요구해야 한다는 것이다. 이 책은 인공지능이 실제로 어떻게 만들어지고 있는지를 생생하게 들여다보면서 이전의 편향된 인식과 불확실한 기술 낙관주의에서 벗어나 현실적이고 지속 가능한 미래를 그리는 데 큰 도움이 될 것이다.

AI 성공의 어두운 면을 드러낸다. 꼼꼼하게 조사하고 훌륭하게 써내려간다.
- 네이처 (네이처)

인공지능에 대한 광범위한 견해를 바탕으로 한 쓰인 시의적절하고 긴급한 문제 제기이다.
- 사이언스 (사이언스)

케이트 크로포드는 AI가 물질적이고 편향적이며 우리 자신의 관점과 이데올로기에 종속된다고 열정적으로 주장한다.
- 월스트리트 저널 (월스트리트 저널)

AI를 둘러싼 과대광고에 대한 가치 있는 비판이자 우리의 미래를 위한 유용한 사용 설명서이다.
- 파이낸셜 타임스 (파이낸셜 타임스)

기계학습 시스템이 훈련되는 데이터의 매혹적인 역사이다.

- 뉴요커 (뉴요커)

인공지능은 우리에게 신의 기계적 출현으로 다가오지 않고, 우리가 잘 알지 못하는 많은 인간성을 없애는 추출 관행을 통해 다가온다.
- 뉴욕 리뷰 오브 북스 (뉴욕 리뷰 오브 북스)

21세기에 데이터가 생성되고 관리되는 과정과 의미, 윤리에 대한 통찰력 넘치는 탐구다. 광산, 서버 팜, 물류 창고, AI 스타트업 등 다양한 분야를 넘나들며, 우리의 시스템이 ‘실패하면 위태롭고 성공하면 해로울’ 정도로 성장한 과정을 생생하게 보여준다.
- 조지프 터로 (『보이스 캐처』 저자)

정치, 노동, 토지, 데이터를 아우르는 기술적 성취와 문화적 약속으로서의 인공지능을 보여주면서, 우리로 하여금 AI의 능력을 실감하면서도 이의를 제기할 수 있도록 독특하고 현실적인 지도를 그려낸다.
- 마이크 애너니 (서던캘리포니아 대학교 교수)

당신이 전문 연구자이든 AI 실무자이든 데이터의 위력 증대를 우려하는 일반 독자이든, 이 책은 AI의 깃발을 따라가며 지구 자원, 노동 주체, 권력관계를 들여다봄으로써 데이터의 제국이 지속 가능하지 않음을 밝혀내는 놀라운 여정이다.
- 루시 서치먼 (『인간-기계 재구성Human-Machine Reconfigurations』 저자)

어떤 현실이 중요한가에 대한 인문학자의 시각과 예술가의 감각으로 인공지능을 바라본다. 당신이 AI를 오로지 빅데이터와 기계학습의 문제로 치부한다면 이 경이로운 책은 당신을 일깨워줄 것이다. AI는 자연 세계, 정치, 역사, 때로는, 심지어 아름다움의 문제라고.
- 프레드 터너 (『민주적 주변Democratic Surround』 저자)

유려하고 명료하고 심오하다. 이 책은 우리 시대의 고전이다. 인공지능의 사회적?물질적?정치적 차원을 해명하여 우리가 신식민주의의 밝고 빛나는 요소들에 현혹되지 않게 한다.

- 제프리 C. 바우커 (캘리포니아 대학교 어바인 캠퍼스 교수)

필독서다. 이 책은 리튬 광산에서 데이터 추출까지, 노동 착취에서 정부 감시까지를 넘나들며 지능이 어떻게 ‘만들어’지는지를 솜씨 좋게 밝혀낸다. 이 책은 ‘윤리’를 촉구하는 무기력한 외침이 아니라 AI로 인해 우려되는 환경 파괴, 자본 축적, 노동 여건에 대한 탐구다.
- 전희경 (사이먼프레이저 대학교 뉴미디어학과 캐나다 150 석좌교수)

능수능란하고 철저한 조사 작업을 통해 고삐 풀린 기술적 팽창을 떠받치는 끔찍한 토대를 묘사한다. 방법론적으로 독창적이고 매우 지적인 이 책은 현재를 이해하는 데 꼭 필요한 지도이며, 독자에게 더 공정하고 지속 가능한 미래를 그리라고 대담하게 촉구한다.
- 얼론드라 넬슨 (사회과학협의회 회장)

인공지능은 기계 속의 유령처럼 세계에 출몰하는 것처럼 보인다. 하지만 알고리즘, 데이터, 하드웨어의 혼합물인 이것은 결코 비물질적인 것이 아니다. 이 책은 AI라는 유령의 실체를 드러낸 빼어난 업적이다.
- 피터 갤리슨 (『아인슈타인의 시계, 푸앵카레의 지도』 저자)

이 책은 인공지능의 역사, 신화, 윤리, 정치를 명민하게 추적하여 AI를 둘러싼 이야기가 AI 시스템을 구성하는 수학 모형 못지않게 필수적임을 상기시킨다.
- 루하 벤저민 (『기술 경주Race After Technology』 저자)

이 책은 AI를 재생산하는 권력관계에 대한 엄밀한 조사이자 그 한계에 대한 필수적 측량이다. 꼭 필요한 책이다.
- 시몬 브라운 (『암흑 물질Dark Matters』 저자)