<b> 01장_하둡 소개 </b><br/> <br/>1.1 빅 데이터의 시대<br/>___1.1.1 빅 데이터의 개념 <br/>___1.1.2 빅 데이터의 출현 배경 <br/>1.2 하둡이란?<br/>___1.2.1 왜 하둡인가? <br/>___1.2.2 하둡이 지나온 길 <br/>1.3 하둡 에코 시스템<br/>1.4 하둡에 대한 오해<br/>1.5 하둡의 과제<br/>1.6 하둡 배포판 살펴보기<br/> <br/><b> 02장_하둡 개발 준비 </b><br/> <br/>2.1 실행 모드 결정<br/>2.2 리눅스 서버 준비<br/>2.3 하둡 다운로드<br/>2.4 하둡 실행 계정 생성<br/>2.5 호스트 파일 수정하기<br/>2.6 인코딩 방식 설정<br/>2.7 자바 설치<br/>2.8 SSH 설정<br/>2.9 하둡 압축 파일 해제하기<br/>2.10 하둡 환경설정 파일 수정<br/>___2.10.1 hadoop-env 수정 <br/>___2.10.2 maters 수정 <br/>___2.10.3 slaves 수정 <br/>___2.10.4 core-site.xml 수정 <br/>___2.10.5 hdfs-site.xml 수정 <br/>___2.10.6 mapred-site.xml 수정 <br/>2.11 하둡 실행<br/>2.12 예제 실행하기<br/>2.13 이클립스 설정<br/>2.14 프로젝트 빌드하기<br/> <br/><b> 03장_하둡 분산 파일 시스템 </b><br/> <br/>3.1 HDFS 기초 <br/>3.2 HDFS 아키텍처 <br/>___3.2.1 블록 구조 파일 시스템 <br/>___3.2.2 네임노드 와 데이터노드 <br/>___3.2.3 파일 저장 <br/>___3.2.4 파일 읽기 <br/>___3.2.5 보조 네임노드 <br/>3.3 HDFS 명령어 사용하기<br/>___3.3.1 파일 목록 보기 - ls, lsr <br/>___3.3.2 파일 용량 확인 - du, dus <br/>___3.3.3 파일 내용 보기 - cat, text <br/>___3.3.4 디렉터리 생성 ? mkdir <br/>___3.3.5 파일 복사 ? put, get, getmerge, cp, copyFromLocal, copyToLocal <br/>___3.3.6 파일 이동 - mv, moveFromLocal <br/>___3.3.7 파일 삭제하기 ? rm <br/>___3.3.8 디렉터리 삭제 - rmr <br/>___3.3.9 카운트값 조회 ? count <br/>___3.3.10 파일의 마지막 내용 확인 - tail <br/>___3.3.11 권한 변경 - chmod, chown, chgrp <br/>___3.3.12 0바이트 파일 생성 - touchz <br/>___3.3.13 통계 정보 조회 ? stat <br/>___3.3.14 복제 데이터 개수 변경 - setrep <br/>___3.3.15 휴지통 비우기 - expunge <br/>___3.3.16 파일 형식 확인 - test <br/>3.4 클러스터 웹 인터페이스<br/>3.5 HDFS 입출력 예제<br/> <br/><b> 04장_MapReduce 시작하기 </b><br/> <br/>4.1 맵리듀스 개념<br/>4.2 맵리듀스 아키텍처<br/>___4.2.1 시스템 구성 <br/>___4.2.2 맵리듀스 작동 방식<br/>___4.2.3 하둡 프로그래밍의 요소 <br/>4.3 WordCount 만들기<br/>___4.3.1 매퍼 구현 <br/>___4.3.2 리듀서 구현 <br/>___4.3.3 드라이버 클래스 구현 <br/>___4.3.4 WordCount 빌드 <br/>___4.3.5 WordCount 실행 <br/>___4.3.6 웹에서 실행 결과 확인 <br/> <br/><b> 05장_MapReduce 기초 다지기 </b><br/> <br/>5.1 분석용 데이터 준비<br/>5.2 항공 출발 지연 데이터 분석<br/>___5.2.1 매퍼 구현 <br/>___5.2.2 리듀서 구현 <br/>___5.2.3 드라이버 클래스 구현 <br/>___5.2.4 드라이버 클래스 실행 <br/>5.3 항공 도착 지연 데이터 분석<br/>___5.3.1 매퍼 구현 <br/>___5.3.2 리듀서 구현 <br/>___5.3.3 드라이버 클래스 구현 <br/>___5.3.4 드라이버 클래스 실행 <br/>5.4 사용자 정의 옵션 사용<br/>___5.4.1 사용자 정의 옵션의 이해 <br/>___5.4.2 매퍼 구현 <br/>___5.4.3 드라이버 클래스 구현 <br/>___5.4.4 드라이버 클래스 실행 <br/>5.5 카운터 사용<br/>___5.5.1 사용자 정의 카운터 구현 <br/>___5.5.2 매퍼 구현 <br/>___5.5.3 드라이버 클래스 구현 <br/>___5.5.4 드라이버 클래스 실행 <br/>5.6 다수의 파일 출력<br/>___5.6.1 MultipleOutputs 이해 <br/>___5.6.2 매퍼 구현 <br/>___5.6.3 리듀서 구현 <br/>___5.6.4 드라이버 클래스 구현 <br/>___5.6.5 드라이버 클래스 실행 <br/>5.7 체인(Chain)<br/> <br/><b> 06장_정렬 구현하기 </b><br/> <br/>6.1 보조 정렬<br/>___6.1.1 복합키 구현 <br/>___6.1.2 복합키 비교기 구현 <br/>___6.1.3 그룹키 파티셔너 구현 <br/>___6.1.4 그룹키 비교기 구현 <br/>___6.1.5 매퍼 구현 <br/>___6.1.6 리듀서 구현 <br/>___6.1.7 드라이버 구현 <br/>___6.1.8 드라이버 실행 <br/>6.2 부분 정렬(Partial Sort) <br/>___6.2.1 시퀀스파일 생성 <br/>___6.2.2 맵파일 생성 <br/>___6.2.3 검색 프로그램 구현 <br/>6.3 전체 정렬(Total Sort) <br/> <br/><b> 07장_조인 구현하기 </b><br/> <br/>7.1 조인 데이터 준비<br/>7.2 맵-사이드 조인 <br/>___7.2.1 분산 캐시(DistributedCache) <br/>___7.2.2 매퍼 구현 <br/>___7.2.3 드라이버 클래스 구현 <br/>___7.2.4 드라이버 클래스 실행 <br/>7.3 리듀스-사이드 조인<br/>___7.3.1 항공기 코드 데이터 매퍼 구현 <br/>___7.3.2 항공기 운항 통계 데이터 매퍼 구현 <br/>___7.3.3 리듀서 구현 <br/>___7.3.4 드라이버 클래스 구현 <br/> <br/><b> 08장_MapReduce 튜닝하기 </b><br/> <br/>8.1 셔플 튜닝<br/>___8.1.1 셔플이란? <br/>___8.1.2 정렬 속성 수정 <br/>8.2 콤바이너 클래스 적용<br/>8.3 Map 출력 데이터 압축<br/>___8.3.1 Gzip 적용 <br/>___8.3.2 스내피 설치 <br/>___8.3.3 스내피 적용 <br/>8.4 DFS 블록 사이즈 수정<br/>8.5 JVM 재사용<br/>8.6 투기적인 잡 실행<br/> <br/><b> 09장_하둡 운영하기 </b><br/> <br/>9.1 네임노드 HA 구성<br/>___9.1.1 아바타 노드의 등장 배경 <br/>___9.1.2 아바타 노드의 작동 방식 <br/>9.2 파일 시스템 상태 확인<br/>9.3 HDFS 어드민 명령어 사용<br/>___9.3.1 report <br/>___9.3.2 safemode <br/>___9.3.3 saveNamespace <br/>___9.3.4 파일 저장 개수 설정 <br/>___9.3.5 파일 저장 용량 설정 <br/>9.4 데이터 저장 공간 관리<br/>9.5 데이터노드 제거<br/>9.6 데이터노드 추가<br/>9.7 네임노드 장애 복구<br/>___9.7.1 네임노드와 보조 네임노드 데이터 구조 <br/>___9.7.2 보조 네임노드를 이용한 장애 복구 <br/>___9.7.3 NFS를 이용한 장애 복구 <br/>9.8 데이터노드 장애 복구<br/> <br/><b> 10장_하둡 부가기능 이용하기 </b><br/> <br/>10.1 하둡 스트리밍<br/>___10.1.1 하둡 스트리밍의 동작 방식 <br/>___10.1.2 하둡 스트리밍 실행 옵션 <br/>___10.1.3 유닉스 명령어를 이용한 스트리밍 구현 <br/>___10.1.4 파이썬을 이용한 스트리밍 구현 <br/>___10.1.5 aggregate 패키지 이용 <br/>10.2 잡 스케줄러<br/>___10.2.1 페어 스케줄러 <br/>___10.2.2 커패시티 스케줄러 <br/> <br/><b> 11장_클라우드 환경에서 하둡 실행하기 </b><br/> <br/>11.1 아마존 웹 서비스(AWS) 소개<br/>11.2 AWS 가입하기 <br/>11.3 EC2 하둡 설정<br/>___11.3.1 EC2 인스턴스 생성 <br/>___11.3.2 EC2 접속하기 <br/>___11.3.3 SSH 인증키 복사 <br/>___11.3.4 방화벽 설정 <br/>___11.3.5 하둡 설치 <br/>11.4 S3 설정<br/>___11.4.1 데이터 업로드 <br/>___11.4.2 EC2와의 연동 <br/>11.5 EMR 사용<br/>___11.5.1 EMR 관리 콘솔 실행 <br/>___11.5.2 S3에 데이터 업로드하기 <br/>___11.5.3 작업 흐름 생성 <br/>___11.5.4 작업 흐름을 실행한 결과 확인 <br/>___11.5.5 출력 데이터 조회 <br/> <br/><b> 12장_하이브 활용하기 </b><br/> <br/>12.1 하이브 아키텍처<br/>12.2 하이브 설치 방법<br/>12.3 하이브QL 사용하기<br/>___12.3.1 테이블 생성 <br/>___12.3.2 데이터 업로드 <br/>___12.3.3 집계 함수 <br/>___12.3.4 조인 <br/>___12.3.5 버킷 활용 <br/> <br/><b> 13장_하둡 적용 사례 </b><br/> <br/>13.1 NHN: 하둡과 몽고디비를 이용한 로그 분석 시스템<br/>___13.1.1 스토리지의 급격한 증가 <br/>___13.1.2 통계 작업 솔루션 선정 <br/>___13.1.3 맵리듀스 프레임워크를 이용한 통계 작업 <br/>___13.1.4 통계 결과 저장소 선정 <br/>___13.1.5 최종 시스템 구성 <br/>13.2 넥스알: 하둡 생태계를 활용한 KT 분석 플랫폼 구축 사례<br/>___13.2.1 NDAP 적용 배경 <br/>___13.2.2 NDAP 플랫폼 아키텍처 <br/>___13.2.3 성능 테스트 결과 <br/>13.3 그루터: 빅 데이터 기술을 이용한 소셜 네트워크 데이터 분석 서비스 <br/>___13.3.1 시스템 아키텍처 <br/>___13.3.2 제공 기능 <br/> <br/><b> 부록A_윈도우 환경에서 설치하기 </b><br/> <br/>A.1 자바 설치<br/>A.2 시그윈 설치<br/>A.3 SSH 설정<br/>A.4 하둡 압축 파일 풀기<br/>A.5 하둡 환경설정 파일 수정<br/>A.6 하둡 실행<br/>A.7 예제 실행<br/> <br/><b> 부록B_하둡 2.0 소개 </b><br/> <br/>B.1 HDFS 페더레이션<br/>___B.1.1 기존 HDFS의 문제점 <br/>___B.1.2 HDFS 페더레이션 아키텍처 <br/>___B.1.3 HDFS 페더레이션의 장점 <br/>___B.1.4 네임스페이스 관리 <br/>B.2 차세대 맵리듀스: YARN<br/>___B.2.1 YARN 등장 배경 <br/>___B.2.2 YARN 시스템 아키텍처 <br/>___B.2.3 YARN의 장점 <br/>B.3 성능 개선<br/>B.4 네임 노드의 HA 지원

<b>하둡으로 대용량 데이터를 처리하려는 자바 개발자들을 위한 실무형 입문서! </b><br/><br/>올해 IT분야의 화두로 빅 데이터가 부상하면서, 빅 데이터 처리를 위한 핵심 기술로 하둡이 주목받고 있다. 하둡은 구글의 논문을 바탕으로 더그 커팅이 개발한 대규모 데이터의 분산 처리를 위한 오픈소스 프레임워크로서, 초기에는 검색 엔진에서 사용하기 위한 기술로 개발됐지만, 지금은 전자 상거래, 포털, 게임, 학술 자료, 의료 정보 등 다양한 분야에서 사용되고 있다. 이 책은 하둡을 처음 시작하거나 이미 하둡을 사용해본 적이 있는 개발자를 대상으로 하며, 하둡의 기본 원리부터 실무 응용까지 초보자의 입장을 배려해서 친절하고 상세하게 설명한다.<br/><br/><b> 이 책에서 다루는 내용 </b><br/><br/>리눅스, 윈도우, 아마존 웹 서비스(AWS) 환경에서의 하둡 설치<br/>HDFS와 맵리듀스의 구조 및 활용<br/>맵리듀스 튜닝, 하둡 클러스터 운영<br/>하둡 스트리밍, 스케줄러 관리<br/>하둡 에코 시스템 하이브(HIVE) 활용<br/>국내 하둡 적용 사례 및 하둡 2.0 소개

이 책은 분산 컴퓨팅 기술 가운데 하둡 자체에 중점을 둔 만큼 하둡으로 데이터 처리 프로그래밍을 시작하는 개발자나 필요할 때마다 하둡을 다시 살펴보려고 하는 개발자들에게 좋은 가이드가 될 것입니다. 빅데이터는 아직까지도 발전하고 있는 기술인 만큼 단순한 지식보다는 다양하게 실험하고 실패해보는 경험을 겪어 보는 것이 더욱 중요합니다. 빅데이터 기술을 내재화하는 것이 경험 없이는 불가능할 수밖에 없는 이유가 여기에 있습니다. 빅데이터를 고민하는 많은 개발자와 회사에서 이 책을 통해 더욱 많은 도움을 받을 수 있기를 기대해봅니다.
- 권영길 (그루터 대표이사)

저자 스스로가 입문자의 입장에서 하둡을 배워나가며 그 경험을 고스란히 담아낸 책이라는 점에서 이 책이 많은 개발자에게 좋은 입문서가 되리라 확신합니다. 특히 손쉽게 하둡 클러스터 환경을 갖출 수 없는 개발자들을 위해 윈도우 환경에서 하둡을 사용하는 방법과 아마존의 클라우드 환경에서 하둡을 설정하고 실행할 수 있도록 소개한 부분은 여타 다른 어느 책에서는 다루지 않은 부분이기도 합니다. 각 장마다 포함된 예제 역시 기존의 번역서와 달리 저자가 하나하나 직접 작성하고 실행해 보면서 실행 결과를 소개함으로써 이 책을 읽는 개발자들이 더욱 공감하며 하둡을 배워나갈 수 있게 한 점은 번역서가 주지 못하는 큰 장점으로 여겨집니다. 빅데이터와 하둡에 관심은 있지만 어떻게 시작해야 할지 고민하셨던 개발자라면 더욱 이 책을 추천합니다.
- 김우승(줌인터넷(주) 연구소장)

이 책은 하둡을 이용한 솔루션 개발이나 분석을 성공적으로 수행하는 데 필요한 기초부터 응용까지 핵심적인 내용을 담고 있습니다. 그동안 하둡을 사용하는 데 어려움을 겪었던 분들이나 도입을 검토하는 분들에게 무척 반가운 소식이 될 것입니다. 빅데이터의 핵심 기술인 하둡이 더 많은 사람들에게 확산되는 계기가 되기를 바랍니다.
- 심탁길 (SK C&C 클라우드 컴퓨팅 기술팀 부장, 솔루션 개발 총괄)

하둡을 처음 접하는 입문자가 자세한 설명을 통해 기본 개념부터 공부하면서 적절한 예제를 통해 하둡의 다양한 사용법과 시스템 운영을 익힐 수 있게 도와주는, 저자의 경험을 기반으로 한 친절한 설명이 돋보이는 책입니다. 특히 외국 서적을 번역한 것이 아니라 실제로 저자가 하둡을 설치하고 분석하면서 고민하며 찾아보고 정리한 노력의 결과를 느낄 수 있고, 저자의 이러한 노력으로 독자들도 더욱 쉽게 당면한 문제를 해결할 수 있을 것입니다. 이 책을 통해 많은 분들이 빅데이터는 어렵고 복잡하다는 오해를 떨쳐내고, 여러 상황에서 유의미한 결과를 분석해 내시길 기원합니다.
- 이경준 (NHN 데이터정보센터 BI실 실장)

2011년 초부터 시작된 빅데이터 열풍에 힘입어 이제는 참으로 다양한 분야의 훌륭한 책들이 출판되고 있거나 집필 중입니다. 하지만 이러한 서적은 대부분 아직도 영어권 독자를 대상으로 삼고 있으며, 우리나라에서 출간된 하둡 서적도 번역서에 머무르고 있습니다. 이러한 시점에서 그룹 스터디를 하듯이 단계별로 상세하게 조목조목 짚어가면서 하둡에 입문할 수 있는 책이 국내 저자에 의해 저술되고 출간됐다는 것은 하둡을 제대로 배우고자 하는 개발자분들에게 희소식이 아닐 수 없습니다. 물론 책 한 권을 마스터했다고 곧바로 해당 분야의 전문가가 될 수는 없습니다만 초기에 제대로 된 입문서로 배우는 것이 불필요한 시간 낭비를 줄이고 빠르게 다음 단계로 넘어가는 지름길이 될 수 있다는 점에서 이 책을 적극 추천합니다.
- 조동환(Liaison Architect between Business and Technology, 전)쿠팡 데이터연구소 소장)

요즘 개발자들 사이에는 '하둡을 아는 사람과 모르는 사람으로 구분된다'고 말할 정도로 하둡은 이 분야의 중심에 있습니다. 저는 이클립스 플랫폼 전문가로서 이 흐름에 빠지는 게 아닌가 불안하기도 했습니다. 추천사를 부탁받고 책을 읽은 지금, 불안했던 마음이 어느 정도 해소됐습니다. 또한 이 책에는 하둡의 구성과 동작 원리도 잘 설명돼 있어서 개발 인생에 영감을 주고 활용할 수 있을 것 같습니다. 막연한 불안에 떨고 있는 분이라면 한번 시작해 보시길 권해드립니다.
- 조현종 (오픈소스 올챙이(Tadpole for DB Tools) 개발자)

하둡과 관련된 번역서는 몇 권 나와 있지만 국내 환경에 맞게 직접 설치하고 운영한 경험을 전달해 준다는 측면에서 이 책은 매우 가치가 있다. 특히 마지막 장에서 소개한 국내의 하둡 적용 사례는 실제 운영 환경에서 하둡이 어떻게 활용되고, 구조를 어떻게 잡아야 할지 안내해 줄 것이다. 하둡을 막 시작하려는 사람, 하둡의 고급 기술을 알고 싶은 사람, 다양한 하둡 사례를 깊이 있게 공부하고 싶은 사람 모두에게 가장 좋은 안내자 역할을 할 것으로 기대한다.
- 한재선 (KT Cloudware CTO 겸 NexR 대표이사)

이 책에서 다룬 하둡은 기하급수적으로 증가하는 데이터를 안정적으로 저장하고 빠르게 분석하는 빅데이터 산업계의 표준으로 자리 잡아 가고 있다. 이 책은 자바 개발자가 하둡을 빠르게 이해하고, 맵리듀스 프로그래밍을 쉽게 익히는 데 초점을 둔다. 마치 옆자리에 앉아서 설명하는 것처럼 잘 이끌어 주고 있으며, 내부 동작 메커니즘에 대한 설명도 충실하다. '데이터 세상의 하둡으로 첫 나들이를 나서는 자바 개발자를 위한 책'이다.
황순현 (엔씨소프트 전무, 웹모바일센터 센터장)