최근 구글은 자신들이 검색할 수 있는 URL의 수가 1조를 넘어섰다고 발표했다. 전 세계에서 쏟아지는 엄청난 양의 데이터를 수집하고 정리하고 관리하여 검색할 수 있는 단계에 이르기까지, 구글의 독자적인 기술은 컴퓨팅의 미래를 담고 있다고 해도 과언이 아니다.
이 책은 구글의 분산 처리 시스템, 데이터 시스템, 대용량 데이터 처리 등 그동안 쉽게 접할 수 없었던 구글 시스템에 대한 정보를 보다 구체적으로 그려냈다. 또한, 구글의 기업 운영 방식과 그들만이 가지고 있는 문화와 시스템에 대한 정보를 담고 있으며, 구글의 전반적인 모습을 국내에 소개하고, 관련 그림과 도표 등을 통해 시스템을 간접적으로 체험할 수 있는 기회를 제공한다.
저자 : 니시다 케이스케
주식회사 네트워크 응용통신연구소 연구원을 거쳐, 코볼 컴파일부터 VPN서버, 드라이버 개발, 웹 애플리케이션 개발 등을 연구하는 엔지니어로 활동 중이다. 오픈코볼의 개발자이며, IPA(독립행정법인 정보처리 추진기구)의 2002년도 미답유스(未踏Youth)에서 선정한 수퍼 크리에이터이다.
역자 : 김성훈
한국외국어대학교 일본어과를 졸업한 후 보람하이테크의 전산 관리 및 매뉴얼 번역과 통역을 맡았다. SCJ P·MCP·인터넷 정보검색사와 웹 관련 프로그래머로 활동했다. 현재 번역 에이전시 하니브릿지에서 IT 및 기술 서적 전문 번역가로 활동 중이다. 번역서로는 『아무도 가르쳐 주지 않았던 소프트웨어 설계 테크닉』 『UML모델링의 본질』 『성공과 실패를 결정하는 1%의 네트워크원리』 『Java가 보이는 그림책』 『성공과 실패를 결정하는 1%의 C기초 프로그래밍』 『C 이보다 쉬울 순 없다』 『당신만이 할 수 있는 일을 하라』 등이 있다.
감수 : 전병국
라이코스 코리아 검색 팀장으로 뉴스와 검색 서비스를 총괄했다. 그 후 독립하여 검색엔진 전문 컨설팅 회사인 검색엔진마스터의 대표로 활동 중이다. 검색엔진에 관련된 다양한 컨설팅을 수행했으며, 국내 최대 규모의 검색엔진 컨퍼런스인 ‘서치데이’를 총괄하고 있다. 우송대학교에서 외래교수로 활동했고, 서울대, 카이스트, 삼성, LG 등 여러 학교와 기업에서 강의를 하고 있다. 저서로는 『Delete』 『검색엔진 등록과 상위랭킹 전략』이 있고, 감수를 맡은 책으로는 『구글스토리』가 있다.
크롤러가 대량의 웹 페이지를 수집할 때, 특정 웹 사이트에 액세스를 집중시켜서는 안 된다. 단시간에 지나치게 많은 웹 페이지를 요청하면 해당 사이트로부터 접속을 거부 당할 수도 있기 때문이다. 특정 사이트에 부하를 집중시키지 않고 폭 넓게 웹 페이지를 수집할 수 있도록 스케줄을 세우고 계획적으로 움직여야만 한다.--- p.50
전 세계의 웹 페이지를 모아 처리하기 위해서는 몇 개의 하드디스크로는 도저히 감당할 수 없을 만큼 막대한 디스크 용량이 필요하다. 구글에서는 다수의 컴퓨터에 복수의 하드디스크를 장착함으로써, 사실상 얼마든지 디스크 용량을 확대할 수 있도록 하고 있다.--- p.108
MapReduce는 특히 GFS의 입력파일과 조합하면 뛰어난 성능을 발휘한다. 다수의 머신으로 분산된 Map 처리는 가능한 한 해당 머신에서 파일을 읽어 들이기 때문에 전체적인 읽기 속도가 매우 빠르다. 그 반면에 쓰기는 복수의 머신으로 복사되기 때문에 느려지지만, MapReduce로 가공된 데이터는 작아지는 경향이 있으므로, 기록해야 하는 양은 작은 데서 그친다.--- p.260
카트
