<b>1부 루씬 기초</b><br/><br/>1장 루씬과의 만남<br/>___1.1 정보 홍수의 시대<br/>___1.2 루씬이란?<br/>______1.2.1 루씬으로 처리하기 좋은 기능<br/>______1.2.2 루씬의 역사<br/>___1.3 루씬과 검색 애플리케이션의 구조<br/>______1.3.1 색인 과정 구성 요소<br/>______1.3.2 검색 과정 구성 요소<br/>______1.3.3 검색 애플리케이션의 나머지 요소<br/>______1.3.4 루씬과 검색 애플리케이션<br/>___1.4 루씬 인 액션 : 예제 애플리케이션<br/>______1.4.1 색인 생성<br/>______1.4.2 색인의 내용 검색<br/>___1.5 색인 관련 핵심 클래스<br/>______1.5.1 IndexWriter<br/>______1.5.2 Directory<br/>______1.5.3 Analyzer<br/>______1.5.4 Document<br/>______1.5.5 Field<br/>___1.6 검색 관련 핵심 클래스<br/>______1.6.1 IndexSearcher<br/>______1.6.2 Term<br/>______1.6.3 Query<br/>______1.6.4 TermQuery<br/>______1.6.5 TopDocs<br/>___1.7 정리<br/><br/>2장 색인<br/>___2.1 루씬 데이터 모델<br/>______2.1.1 문서와 필드<br/>______2.1.2 유연한 스키마<br/>______2.1.3 비정규화<br/>___2.2 색인 절차<br/>______2.2.1 텍스트 추출과 문서 생성<br/>______2.2.2 분석<br/>______2.2.3 색인에 토큰 추가<br/>___2.3 기본 색인 작업<br/>______2.3.1 색인에 문서 추가<br/>______2.3.2 색인에서 문서 삭제<br/>______2.3.3 색인의 문서 변경<br/>___2.4 필드별 설정<br/>______2.4.1 색인 관련 설정<br/>______2.4.2 필드의 원문 저장 관련 설정<br/>______2.4.3 텀 벡터 관련 설정<br/>______2.4.4 Reader, TokenStream, byte[] 필드<br/>______2.4.5 유용한 필드 설정 조합<br/>______2.4.6 정렬 관련 설정<br/>______2.4.7 다중 값 필드<br/>___2.5 문서와 필드 중요도<br/>______2.5.1 문서 중요도<br/>______2.5.2 필드 중요도<br/>______2.5.3 norm<br/>___2.6 숫자, 날짜, 시각 색인<br/>______2.6.1 숫자 색인<br/>______2.6.2 날짜, 시각 색인<br/>___2.7 필드 길이<br/>___2.8 준실시간 검색<br/>___2.9 색인 최적화<br/>___2.10 여러 종류의 Directory<br/>___2.11 병렬 처리, 스레드 안전성, 락<br/>______2.11.1 스레드와 다중 JVM 안전성<br/>______2.11.2 원격 파일 시스템의 색인 공유<br/>______2.11.3 색인 락<br/>___2.12 색인 작업 디버깅<br/>___2.13 고급 색인 기법<br/>______2.13.1 IndexReader에서 문서 삭제<br/>______2.13.2 삭제된 문서가 차지하는 디스크 공간<br/>______2.13.3 문서 버퍼, 플러시<br/>______2.13.4 색인 커밋<br/>______2.13.5 ACID 트랜잭션과 색인의 일관성<br/>______2.13.6 병합<br/>___2.14 정리<br/><br/>3장 검색<br/>___3.1 간단한 검색 기능 구현<br/>______3.1.1 텀 검색<br/>______3.1.2 QueryParser로 사용자가 입력한 검색어 파싱<br/>___3.2 IndexSearcher 활용<br/>______3.2.1 IndexSearcher 인스턴스 생성<br/>______3.2.2 검색 실행<br/>______3.2.3 TopDocs 결과 활용<br/>______3.2.4 결과 페이지 이동<br/>______3.2.5 준실시간 검색<br/>___3.3 연관도 점수<br/>______3.3.1 점수 계산<br/>______3.3.2 explain() 메소드로 점수 내역 확인<br/>___3.4 다양한 종류의 질의<br/>______3.4.1 TermQuery 텀 검색<br/>______3.4.2 TermRangeQuery 텀 범위 검색<br/>______3.4.3 NumericRangeQuery 숫자 범위 검색<br/>______3.4.4 PrefixQuery 접두어 검색<br/>______3.4.5 BooleanQuery 불리언 질의<br/>______3.4.6 PhraseQuery 구문 검색<br/>______3.4.7 WildcardQuery 와일드카드 검색<br/>______3.4.8 FuzzyQuery 비슷한 단어 검색<br/>______3.4.9 MatchAllDocsQuery 모든 문서 조회<br/>___3.5 QueryParser로 질의 표현식 파싱<br/>______3.5.1 Query.toString<br/>______3.5.2 TermQuery<br/>______3.5.3 텀 범위 검색<br/>______3.5.4 숫자와 날짜 범위 검색<br/>______3.5.5 접두어 질의와 와일드카드 질의<br/>______3.5.6 불리언 연산자<br/>______3.5.7 구문 질의<br/>______3.5.8 퍼지 검색<br/>______3.5.9 MatchAllDocsQuery<br/>______3.5.10 질의 그룹<br/>______3.5.11 필드 선택<br/>______3.5.12 하위 질의에 중요도 지정<br/>______3.5.13 과연 QueryParser를 사용해야 하는가?<br/>___3.6 정리<br/><br/>4장 루씬의 텍스트 분석<br/>___4.1 분석기 활용<br/>______4.1.1 색인 과정의 분석기<br/>______4.1.2 QueryParser와 분석기<br/>______4.1.3 파싱과 분석의 차이점<br/>___4.2 분석기 내부 구조<br/>______4.2.1 토큰<br/>______4.2.2 TokenStream<br/>______4.2.3 분석기 결과 확인<br/>______4.2.4 TokenFilter 순서의 중요성<br/>___4.3 루씬 내장 분석기<br/>______4.3.1 StopAnalyzer<br/>______4.3.2 StandardAnalyzer<br/>______4.3.3 어떤 분석기를 사용해야 할까?<br/>___4.4 유사 발음 검색<br/>___4.5 유사어 검색<br/>______4.5.1 유사어 분석기 작성<br/>______4.5.2 토큰 위치 증가 값 확인<br/>___4.6 기본형 분석기<br/>______4.6.1 StopFilter와 빈 공간<br/>______4.6.2 기본형 찾기와 불용어 처리 방법 변경<br/>___4.7 필드 유형별 처리<br/>______4.7.1 동일한 이름의 필드<br/>______4.7.2 필드별 분석기 지정<br/>______4.7.3 분석하지 않은 필드 검색<br/>___4.8 언어별 분석<br/>______4.8.1 유니코드와 인코딩<br/>______4.8.2 비영어권 언어 분석<br/>______4.8.3 글자 정규화<br/>______4.8.4 아시아 언어 분석<br/>______4.8.5 Zaijian<br/>___4.9 너치 분석<br/>___4.10 정리<br/><br/>5장 고급 검색 기법<br/>___5.1 필드 캐시<br/>______5.1.1 모든 문서의 필드 값 불러오기<br/>______5.1.2 세그먼트별 IndexReader<br/>___5.2 검색 결과 정렬<br/>______5.2.1 필드 값으로 정렬<br/>______5.2.2 연관도 순서 정렬<br/>______5.2.3 색인 순서 정렬<br/>______5.2.4 필드 값으로 정렬<br/>______5.2.5 정렬 순서 변경<br/>______5.2.6 여러 필드의 값으로 정렬<br/>______5.2.7 정렬할 필드 자료형 선택<br/>______5.2.8 정렬할 로케일 지정<br/>___5.3 MultiPhraseQuery 활용<br/>___5.4 여러 개의 필드를 동시에 검색<br/>___5.5 스팬 질의<br/>______5.5.1 SpanTermQuery<br/>______5.5.2 필드의 맨 앞부분 검색<br/>______5.5.3 일정 범위 안에 위치한 스팬 검색<br/>______5.5.4 겹치는 부분을 결과에서 제외<br/>______5.5.5 SpanOrQuery<br/>______5.5.6 스팬 질의와 QueryParser<br/>___5.6 검색 필터<br/>______5.6.1 TermRangeFilter<br/>______5.6.2 NumericRangeFilter<br/>______5.6.3 FieldCacheRangeFilter<br/>______5.6.4 특정 텀으로 필터링<br/>______5.6.5 QueryWrapperFilter<br/>______5.6.6 SpanQueryFilter<br/>______5.6.7 보안 필터<br/>______5.6.8 필터와 BooleanQuery<br/>______5.6.9 PrefixFilter<br/>______5.6.10 필터 캐시<br/>______5.6.11 필터를 질의로 변환<br/>______5.6.12 필터에 필터 적용<br/>______5.6.13 내장 필터에서 제공하지 않는 기능<br/>___5.7 함수 질의와 연관도 점수<br/>______5.7.1 함수 질의 클래스<br/>______5.7.2 최근 문서에 중요도를 높게 부여하는 함수 질의<br/>___5.8 다수의 루씬 색인 검색<br/>______5.8.1 MultiSearcher<br/>______5.8.2 스레드를 활용하는 ParallelMultiSearcher<br/>___5.9 텀 벡터 활용<br/>______5.9.1 비슷한 책 조회<br/>______5.9.2 자동 분류<br/>______5.9.3 TermVectorMapper<br/>___5.10 FieldSelector로 필드 선택<br/>___5.11 검색 중단<br/>___5.12 정리<br/><br/>6장 검색 기능 확장<br/>___6.1 정렬 기능 직접 구현<br/>______6.1.1 색인 시점에 필요한 준비<br/>______6.1.2 거리 기준 정렬 기능 구현<br/>______6.1.3 정렬할 때 계산한 값 활용<br/>___6.2 Collector 클래스 직접 구현<br/>______6.2.1 Collector 클래스<br/>______6.2.2 Collector 직접 구현: BookLinkCollector<br/>______6.2.3 AllDocCollector<br/>___6.3 QueryParser 확장<br/>______6.3.1 QueryParser의 기능 변경<br/>______6.3.2 퍼지와 와일드카드 질의 제한<br/>______6.3.3 숫자 범위 질의 처리<br/>______6.3.4 날짜 범위 질의 처리<br/>______6.3.5 순서가 정해진 구문 질의<br/>___6.4 필터 직접 구현<br/>______6.4.1 필터 구현<br/>______6.4.2 직접 구현한 필터 적용<br/>______6.4.3 필터를 적용하는 다른 방법: FilteredQuery<br/>___6.5 적재<br/>______6.5.1 분석과 적재<br/>______6.5.2 검색 중 적재된 값 활용<br/>______6.5.3 스팬 질의와 적재<br/>______6.5.4 TermPositions로 적재된 내용 확보<br/>___6.6 정리<br/><br/><b>2부 고급 루씬</b><br/><br/>7장 티카로 텍스트 추출<br/>___7.1 티카란?<br/>___7.2 티카의 논리적인 구조와 API<br/>___7.3 티카 설치<br/>___7.4 티카에 내장된 텍스트 추출 도구<br/>___7.5 텍스트 추출 기능 활용<br/>______7.5.1 루씬 문서 색인<br/>______7.5.2 Tika 도우미 클래스<br/>______7.5.3 파서 선택<br/>___7.6 티카의 한계<br/>___7.7 XML 색인<br/>______7.7.1 SAX 파싱<br/>______7.7.2 아파치 커먼스 다이제스터<br/>___7.8 티카의 대안<br/>___7.9 정리<br/><br/>8장 필수 확장 기능<br/>___8.1 루크<br/>______8.1.1 Overview 탭: 색인 개요<br/>______8.1.2 문서 조회<br/>______8.1.3 QueryParser를 사용해 검색<br/>______8.1.4 파일과 플러그인<br/>___8.2 분석기와 토큰 필터<br/>______8.2.1 스노볼 분석기<br/>______8.2.2 N그램 필터<br/>______8.2.3 싱글 필터<br/>______8.2.4 contrib 모듈 분석기 활용<br/>___8.3 검색 질의 하이라이팅<br/>______8.3.1 하이라이팅 모듈<br/>______8.3.2 단독 실행 예제<br/>______8.3.3 CSS 하이라이팅<br/>______8.3.4 검색 결과 하이라이팅<br/>___8.4 FastVectorHighlighter<br/>___8.5 검색어 추천<br/>______8.5.1 추천 검색어 후보 추출<br/>______8.5.2 최적의 추천 단어 선택<br/>______8.5.3 추천 검색어를 화면에 표시<br/>______8.5.4 추천 기능을 개선할 아이디어<br/>___8.6 특이한 Query<br/>______8.6.1 MoreLikeThis<br/>______8.6.2 FuzzyLikeThisQuery<br/>______8.6.3 BoostingQuery<br/>______8.6.4 TermsFilter<br/>______8.6.5 DuplicateFilter<br/>______8.6.6 RegexQuery<br/>___8.7 contrib 모듈 빌드<br/>______8.7.1 소스코드 확보<br/>______8.7.2 contrib 디렉토리에서 ant 실행<br/>___8.8 정리<br/><br/>9장 추가 확장 기능<br/>___9.1 필터 연결<br/>___9.2 버클리DB Directory<br/>___9.3 워드넷 유의어 사전<br/>______9.3.1 유의어 색인 구축<br/>______9.3.2 분석기에서 워드넷 유의어 활용<br/>___9.4 메모리 기반 색인<br/>___9.5 XML QueryParser<br/>______9.5.1 XmlQueryParser 활용<br/>______9.5.2 XML 질의 문법 확장<br/>___9.6 서라운드 질의 언어<br/>___9.7 지리적인 위치 정보 검색<br/>______9.7.1 지리 정보 색인<br/>______9.7.2 공간 정보 검색<br/>______9.7.3 위치 정보 검색과 성능<br/>___9.8 원격 서버의 여러 색인 검색<br/>___9.9 유연한 QueryParser<br/>___9.10 작고 다양한 확장 기능<br/>___9.11 정리<br/><br/>10장 다른 언어에서 루씬 활용<br/>___10.1 포팅이란?<br/>______10.1.1 장단점<br/>______10.1.2 적당한 포팅 방법 선택<br/>___10.2 CLucene(C++)<br/>______10.2.1 개발 동기<br/>______10.2.2 API와 색인 호환성<br/>______10.2.3 지원하는 플랫폼<br/>______10.2.4 현황과 미래<br/>___10.3 루씬닷넷(C#와 다른 닷넷 언어)<br/>______10.3.1 API 호환성<br/>______10.3.2 색인 호환성<br/>___10.4 키노서치, 루씨(펄)<br/>______10.4.1 키노서치<br/>______10.4.2 루씨<br/>______10.4.3 기타 펄 루씬 프로젝트<br/>___10.5 페렛(루비)<br/>___10.6 PHP<br/>______10.6.1 Zend 프레임워크<br/>______10.6.2 PHP Bridge<br/>___10.7 파이루씬(파이썬)<br/>______10.7.1 API 호환성<br/>______10.7.2 기타 파이썬 루씬 프로젝트<br/>___10.8 솔라(다양한 프로그래밍 언어)<br/>___10.9 정리<br/><br/>11장 루씬 관리와 성능 튜닝<br/>___11.1 성능 최적화<br/>______11.1.1 간단한 최적화 방법<br/>______11.1.2 성능 측정<br/>______11.1.3 색인 후 검색까지 걸리는 시간 최적화<br/>______11.1.4 색인 속도 최적화<br/>______11.1.5 검색 처리량과 대기 시간 최적화<br/>___11.2 스레드와 병렬 처리<br/>______11.2.1 병렬 색인<br/>______11.2.2 병렬 검색<br/>___11.3 자원 관리<br/>______11.3.1 디스크<br/>______11.3.2 파일 식별자<br/>______11.3.3 메모리<br/>___11.4 색인 백업<br/>______11.4.1 백업<br/>______11.4.2 복원<br/>___11.5 일반적인 오류<br/>______11.5.1 깨진 색인<br/>______11.5.2 색인 수리<br/>___11.6 정리<br/><br/><b>3부 사례 연구</b><br/><br/>12장 사례 연구 1: 크루글<br/>___12.1 크루글 소개<br/>___12.2 장비의 구조<br/>___12.3 검색 성능<br/>___12.4 소스코드 해석<br/>___12.5 부분 문자열 검색<br/>___12.6 질의, 검색<br/>___12.7 개선 방안<br/>______12.7.1 필드 캐시 메모리 사용량<br/>______12.7.2 색인 통합<br/>___12.8 정리<br/><br/>13장 사례 연구 2: SIREn<br/>___13.1 소개<br/>___13.2 효과<br/>______13.2.1 모든 필드를 검색<br/>______13.2.2 효율적인 단일 어휘<br/>______13.2.3 유연한 필드<br/>___13.3 SIREn으로 엔티티 색인<br/>______13.3.1 데이터 모델<br/>______13.3.2 구현 관련 문제<br/>______13.3.3 색인 스키마<br/>______13.3.4 색인 전 데이터 준비<br/>___13.4 엔티티 검색<br/>______13.4.1 내용 검색<br/>______13.4.2 셀 내부 검색<br/>______13.4.3 셀을 튜플로 묶음<br/>______13.4.4 엔티티 설명 질의<br/>___13.5 SIREn과 솔라 연동<br/>___13.6 성능 측정<br/>___13.7 정리<br/><br/>14장 사례 연구 3: 링크드인<br/>___14.1 보보 브라우즈와 다면 검색<br/>______14.1.1 보보 브라우즈 설계<br/>______14.1.2 고급 기능 활용<br/>___14.2 조이 실시간 검색<br/>______14.2.1 조이 시스템 구조<br/>______14.2.2 실시간과 준실시간<br/>______14.2.3 문서와 색인 요청<br/>______14.2.4 IndexReader 직접 작성<br/>______14.2.5 루씬의 준실시간 검색과 비교<br/>______14.2.6 분산 검색<br/>___14.3 정리<br/><br/>부록 <br/>부록 A 루씬 설치<br/>부록 B 루씬 색인 구조<br/>부록 C 루씬 성능 측정<br/>부록 D 참고 문헌

DB에 담겨 있는 수백만 건의 정보를 마음대로 조회하지 못하거나, 사내 인트라넷의 엄청난 디렉토리 구조 안에 저장된 수많은 문서 중 원하는 내용이 들어있는 문서를 찾지 못해 어려움을 겪고 있다면, 그렇다고 상용 검색 엔진을 구입해 사용하기엔 너무 부담스러운 경우, 루씬(Lucene)이 정답이다. 이 책은 외주 개발이든 사내 개발이든 간에 전문적인 검색 기능을 필요로 한다면 최우선으로 고려해야 할 루씬에 대해 색인부터 검색과 고급 설정까지 예제 기반으로 설명한다. 『(개정판) 루씬 인 액션』을 기반으로 루씬의 A부터 Z까지 완벽하게 활용하는 고성능 검색 애플리케이션을 개발해보자.<br/><br/><b>개정판에서 추가된 내용</b><br/><br/>초판이 출간된 이후 5년간 루씬 프로젝트에서 많은 부분이 달라졌다. 영향력 있는 오픈소스 프로젝트는 대부분 그렇지만 루씬도 탄탄한 기술적인 기반을 갖고 있으며, 사용자와 개발자가 참여하는 안정적인 커뮤니티가 계속해서 유지되고 있고, 이런 잠재력이 뭉쳐 엄청나게 발전하는 중이다. 초판이 출간된 이후 추가되거나 변경된 기능을 살펴보면 대략 다음과 같다.<br/><br/>■ 준실시간 검색<br/>■ 문서에서 텍스트를 추출할 때 티카(Tika) 프로젝트 활용<br/>■ NumericField를 통해 숫자 필드를 만들고, NumericRangeQuery 질의로 숫자 범위를 빠르게 조회 가능<br/>■ IndexWriter를 통해 문서를 변경하거나 삭제<br/>■ IndexWriter에서 트랜잭션 관련 기능 제공(커밋이나 롤백)<br/>■ 읽기 전용의 IndexReader와 NIOFSDirectory 등을 활용해 병렬 검색 능력 개선<br/>■ 순수한 불리언 검색 기능<br/>■ 색인에 추가 정보를 적재하고, BoostingTermQuery 등에서 적재된 정보를 활용<br/>■ IndexReader.reopen 메소드로 변경 사항이 반영된 IndexReader 인스턴스를 최대한 효율적으로 확보 가능<br/>■ 메모리, 디스크, 파일 기술자 등의 자원 활용도 파악<br/>■ 함수 질의<br/>■ 색인이나 검색 속도 등의 성능 지표를 기준으로 최적화<br/>■ 진행 중인 색인 작업을 멈추지 않고도 색인의 내용을 백업<br/>■ 추가 언어에 대한 루씬 포팅 프로젝트<br/>■ 성능 측정 프레임워크를 사용한 루씬의 성능 측정<br/>■ 재사용할 수 있는 TokenStream API<br/>■ 색인이나 검색할 때 스레드를 활용해 병렬 처리<br/>■ 색인에 저장된 필드의 내용을 가져올 때 FieldSelector를 활용해 성능 개선<br/>■ TermVectorMapper를 사용해 텀 벡터를 불러오는 방법 제어<br/>■ 루씬의 락 관리 정책 단순화<br/>■ LockFactory, DeletionPolicy, IndexDeletionPolicy, MergePolicy, MergeScheduler 등을 입맛에 맞게 새로 구현<br/>■ XMLQueryParser나 루씬 지역 검색 등의 새로운 contrib 모듈<br/>■ 자주 발생하는 문제 수정<br/><br/>그리고 12장, 13장, 14장에 새로운 사례 연구도 실었다. 루씬의 관리 측면을 설명하고자 11장도 추가했다. 원래 여러 종류의 문서를 읽고 파싱하는 프레임워크에 대해 설명했던 7장에서는 아파치 프레임워크 중 하나인 티카를 기반으로 새로 설명한다. 그리고 모든 예제 코드는 3.0.1 버전을 기준으로 작성했다. 물론 초판에서 받았던 독자의 다양한 의견도 다수 반영했다.<br/><br/><b>이 책의 대상 독자</b><br/><br/>자신들의 제품이나 솔루션에 강력한 검색 기능을 더하려는 개발자들은 이 책을 꼭 읽어야 한다. 또한 단순히 루씬이 어떤 것인지 궁금한 사람에게도 훌륭한 정보를 제공하며, 정보 검색 기술에 대해 공부하는 독자에게도 좋은 교재가 될 수 있다. 그리고 당장은 알아둘 필요가 없다 하더라도 읽어두면 정보 검색이라는 트렌드에 부응하는 지식을 쌓을 수 있다.<br/><br/>이 책에서는 아파치 프로젝트 가운데 하나인 루씬, 즉 자바 버전의 루씬을 중점적으로 다루며, 대부분의 예제 코드도 자바로 작성했다. 따라서 자바에 익숙하다면 아주 편안하게 내용을 이해할 수 있을 것이며, 여러 가지 자바 프로그래밍 경험은 이 책을 읽는 데 큰 도움이 된다. 자바 버전의 루씬이 아니고 C++나 C#, 파이썬, 펄 등의 언어로 루씬을 사용해도 기본개념과 주요기능은 자바 버전과 거의 같으므로 별다른 어려움 없이 적용할 수 있을 것이다.<br/><br/><B>이 책의 구성</b><br/><br/>‘1부 루씬 기초'에서는 루씬의 핵심 API와 관련된 내용을 다룬다. 여러분의 프로그램에 루씬을 적용해야 한다면 1부를 꼭 읽어야 한다.<br/><br/>1장은 루씬과의 첫 만남이다. 정보 검색 기술에 대한 약간의 이론적인 내용과 정보 검색에 있어 루씬이 갖는 장점을 소개한다. 그리고 필요에 따라 직접 응용할 수 있게 루씬을 이용해 색인과 검색을 수행하는 간단한 예제 프로그램을 작성한다. 이 예제 프로그램은 이후에 보게 될 모든 예제의 기본이 된다.<br/><br/>2장에서는 루씬의 기본적인 색인 방법에 친숙해질 차례다. 여러 유형의 필드와 숫자와 날짜 등의 자료를 어떻게 색인하는지도 알아보고, 또한 색인 절차를 튜닝하고 최적화하는 방법도 알아본다. 덧붙여 스레드 동기화도 설명한다.<br/><br/>3장은 루씬을 통해 검색하는 방법을 알아본다. 여기서는 질의에 대한 검색 후 결과의 순서, 즉 점수(score)와 순위(ranking)를 결정하는 방법을 포함한다. 그리고 사람이 입력한 질의문을 루씬의 질의로 변환하는 방법과 함께 어떤 종류의 질의어가 가능한지 살펴본다.<br/><br/>4장은 루씬의 색인 작업의 주요 핵심 과정인 분석(analysis)에 대한 내용을 다룬다. 분석의 가장 중요한 단위인 토큰을 비롯해 토큰 스트림, 토큰 필터를 알아보고, 루씬이 기본적으로 제공하는 분석기들과 더불어 동의어 분석기와 유사 발음 분석기에 대해 각각 상세히 다룬다. 그리고 중국어와 같은 비영어권 텍스트에 대한 분석기도 살펴본다.<br/><br/>5장은 검색과 관련해 앞에서 다루지 않았던 내용을 다루며, 텍스트 분석과 관련된 고급 검색 기능, 즉 결과 정렬과 필터링, 텀 벡터(term vector) 가중치를 활용하는 방법을 살펴본다. 또 스팬 질의 계열을 포함한 고급 질의 형태에 대해 알아보고, 루씬의 다중 색인에서 병렬과 원격으로 검색하는 방법을 다룬다.<br/><br/>6장은 이전에 설명했던 고급 검색 기능에 덧붙여 루씬의 검색 기능을 확장하는 방법을 다룬다. 검색 결과를 원하는 대로 정렬할 수 있는 방법, 사용자의 질의문 파싱 부분을 확장하는 방법, 결과를 원하는 대로 수집할 수 있는 방법, 검색 성능을 높이는 몇 가지 방법 등을 배운다.<br/><br/>‘2부 고급 루씬’에서는 루씬의 기본 기능을 기반으로, 루씬을 이용한 실제 작업 등 고급 내용에 대해서 살펴본다.<br/><br/>7장에서는 아파치 루씬 프로젝트 안에 속해 있는 또 다른 오픈소스 프레임워크인 티카(Tika)에 대해 소개한다. 티카를 사용하면 다양한 종류의 문서 파일에서 본문 텍스트와 메타 정보 등을 추출할 수 있다.<br/><br/>8장에서는 루씬과 관련된 다양한 툴을 다룬다. 루씬 소스코드 관리 시스템 안의 contrib 디렉토리 안에 각종 도구가 포함돼 있는데, 루씬의 색인을 살펴볼 수 있는 여러 가지 툴과 개발자가 쓸 수 있는 개발 툴을 소개한다. 먼저 루씬의 색인을 열고 들여다 볼 수 있는 별도의 프로그램인 루크(Luke)에 대해 살펴본다. 그리고 가장 많이 사용하는 루씬 샌드박스 툴로 검색 결과에서 검색어를 눈에 쉽게 띄게 해주는 하이라이터(Highlighter)와 검색어 추천 기능, 비영어권 언어를 처리할 수 있는 분석기, 그리고 여러 종류의 추가적인 질의에 대해 소개한다.<br/><br/>9장에서는 루씬의 contrib 모듈을 통해 지원하는 또 다른 기능을 알아본다. 예를 들어 여러 개의 파일을 연결해 하나인 것처럼 사용하거나, 색인을 버클리 DB에 저장하거나, 워드넷의 유의어를 색인에 반영하는 기능 등이 있다. 그리고 처리 속도를 높이고자 색인 전체를 메모리에 올리는 방법 두 가지를 알아본다. 그 다음으로는 XML의 내용을 읽어 루씬 질의를 생성해주는 XML 질의 파서도 알아본다. 마지막으로 루씬을 사용해 위치 정보를 어떻게 검색하는지 알아보고, 내부 구조가 변경된 QueryParser도 알아본다.<br/><br/>10장에서는 다른 프로그래밍 언어, 예를 들어 C++, C#, 파이썬, 펄, 루비 등의 언어에서 루씬의 기능을 사용하는 방법을 알아본다.<br/><br/>11장에서는 루씬의 관리 측면에 대해 소개한다. 예를 들어 루씬이 디스크와 메모리, 파일 기술자 등의 자원을 얼마나 필요로 하는지 설명한다. 그리고 색인속도나 시간 등의 지표를 측정하는 방법도 알아보고, 색인 작업을 멈추지 않고도 현재 색인을 백업하는 방법, 색인이나 검색 작업에 다중 스레드를 활용해 성능을 최대로 뽑아내는 방법 등도 알아본다.<br/><br/>‘3부 사례 연구’에서는 지금까지 루씬에 대해 설명했던 내용을 기반으로 하면서 루씬을 중점적으로 사용해 흥미롭고 빠르고 대용량 처리가 가능하게 구현한 여러 가지 활용 사례를 소개한다.<br/><br/><b>이 책 초판에 쏟아진 각계의 찬사</b><br/><br/>루씬을 애플리케이션에서 활용하려는 사람, 혹은 그냥 루씬이 어떤 기능을 갖고 있는지 궁금한 사람 모두 반드시 읽어봐야 할 책이다. <br/>? 자바로비(JavaLobby)<br/><br/>검색이야말로 정보화 시대를 앞당기는 힘이다. 그리고 『루씬 인 액션』은 정보 검색에 대해 귀중한 정보를 얻을 수 있는 관문이라고 볼 수 있다. 이 책에서는 수많은 예제와 설명을 통해 루씬의 API를 명쾌하게 안내해준다. <br/>- 컴퓨팅 리뷰<br/><br/>루씬에 대해 공부하고 싶거나 애플리케이션에 검색 기능을 추가하려는 사람, 그리고 단순히 정보 검색 분야에 대해 일반적인 지식을 쌓고자 하는 사람 모두 꼭 읽어야 할 책이다. 강력히 추천한다. <br/>- 서버사이드닷컴(TheServerSide.com)<br/><br/>저자가 면밀하게 준비했으며, 편집도 꼼꼼하고, 여러 정보 검색 관련 서적 중 단연 돋보이는 책이다. 정말 재미있게 읽었다. 텍스트에 대한 어떤 종류의 검색 요구 사항이 있건 간에, 이 책을 통해 관련 정보를 충분히 얻을 수 있을 뿐만 아니라 프로젝트도 성공적으로 마칠 수 있겠다. 더군다나 이미 거의 완성된 검색 엔진을 그냥 내려받아 사용하는 경우에도, 이 책을 통해 색인과 검색 등 정보 검색에 대한 일반적이고 원론적인 내용을 습득할 수 있다. <br/>- 슬래시닷(Slashdot.org)<br/><br/>이 책은 종이에 인쇄된 단순한 책이 아니라 보석 같은 존재다. 책을 읽으면서 기존에 갖고 있던 여러 가지 문제를 해결할 수 있었다. <br/>- 아만 앤워(Arman Anwar), Arman@Web<br/><br/>루씬을 사용하고 애플리케이션에 맞게 설정할 때 필요한 내용을 상세하게 안내한다. 가장 유명한 오픈소스 검색 엔진이 어떻게 동작하는지 그 내부 구조를 섬세하게 설명하며, 풍부한 예제 코드를 직접 실행하며 익히는 방법을 집중적으로 활용한다. <br/>- 서치엔진왓치닷컴(SearchEngineWatch.com)<br/><br/>에릭과 오티스는 루씬 프로젝트의 핵심 커미터로서 그동안 쌓아온 경험을 이 책에 훌륭하게 녹여냈다. 이 책은 루씬이나 검색 엔진에 익숙하지 않은 개발자라 해도 루씬 프로젝트와 정보 검색 분야에 어렵지 않게 입문할 수 있도록 도와준다. 루씬을 처음 사용하거나, 개발중인 애플리케이션에 강력한 색인 및 검색 기능이 필요한 개발자, 또는 루씬에 대한 참고 서적을 찾고 있는 개발자 모두에게 추천한다. <br/>- 포트 워스(Fort Worth) 자바 유저 그룹<br/><br/>정말 훌륭하다. 최신 버전을 폭 넓게 다룬다. 이 책으로 루씬이 갖고 있는 잠재력을 최대한 활용하는 방법을 배워보자. <br/>- 밸의 블로그(Val’s blog)에서<br/><br/>... 예제 코드가 정말 유용하고 재사용하기에도 좋다. <br/>- 스콧 가뇨(Scott Ganyo) 루씬 자바 커미터<br/><br/>... 말로 표현할 수 없을 만큼 강력한 검색 도구를 효율적으로 활용하는 방법에 대한 설명과 예제 코드가 가득하다. <br/>- 브라이언 괴츠(Brian Goetz), 퀴오틱스 사<br/><br/>... 이 책으로 인해 루씬의 강력한 기능을 깨닫게 됐다. <br/>- 리스 윌튼(Reece Wilton), 월트디즈니 인터넷 그룹<br/><br/>... 예제 코드와 JUnit 테스트 케이스는 엄청나게 큰 도움이 됐다. <br/>- 노먼 리차즈(Norman Richards), 『XDoclet in Action』 공저자<br/><br/>루씬을 쉽고 빠르게 사용할 수 있도록 도와주는 최고의 안내서<br/>- 북스 온라인<br/><br/>훌륭한 안내서다. 이 책의 저자는 루씬과 정보 검색 분야의 최고 전문가이며, 루씬의 강력한 힘을 소개하고 있다. 지금까지 본 책 중 루씬에 대해 가장 잘 설명한 책이다. <br/>- 자바레퍼런스닷컴(JavaReference.com)

루씬은 순전히 개인적인 목적으로 시작했습니다. 1997년쯤이었죠. 직업도 맘에 들지 않고 해서 제 스스로 뭔가 만들어서 시장에 진출해봐야겠다는 생각을 했습니다. 또 자바라는 새로운 언어가 업계에서 인기를 끌고 있었기에 자바를 공부해볼 만한 프로젝트가 필요하기도 했었죠. 이전의 경험과 경력으로 검색 엔진을 어떻게 구성해야 한다는 것은 머릿속에 어느 정도 들어 있는 상태였기 때문에 자바로 검색 엔진을 만들어야겠다고 생각했습니다. 그리고는 루씬을 시작했죠.

2000년쯤 내 스스로가 사업에는 적성이 맞지 않다는 걸 깨달았습니다. 라이선스나 계약서 등을 신경 쓰고 관리하는 데는 별다른 관심이 없었죠. 관심이 없으니 제대로 해낼 리가 있었겠습니까? 더군다나 그런 상태에서 사람을 뽑아 회사를 운영하는 건 안 될 일이었습니다. 전 그저 소프트웨어를 만드는 게 좋았을 뿐이지 파는 데는 관심이 별로 없다고 판단했습니다. 그래서 유명한 오픈소스 개발 커뮤니티인 소스포지에 루씬 프로젝트를 올려보기로 했습니다. 과연 오픈소스로 공개하면 내가 원하는 방식으로 일을 할 수 있을지 궁금했습니다.

루씬을 오픈소스로 공개하자 일부 개발자들이 루씬을 사용하기 시작했습니다. 2001년에는 아파치 재단에서 루씬을 아파치 프로젝트에 참여시키는 게 어떠냐는 제안을 해왔고, 제안을 받아들여 아파치 자카르타 프로젝트에 참여하게 되었죠. 루씬 개발자 메일링 리스트에서 루씬을 개발하고 사용하는 개발자 간의 의견 전달 건수가 늘어나고, 개발자들은 자신들이 만든 각종 코드를 루씬에 추가하기 시작했습니다. 그렇지만 대부분 루씬을 활용하는 수준에서 그치는 프로그램이었고, 루씬의 핵심에 손을 대는 사람은 저 혼자였습니다. 여전히 루씬은 여러 개발자가 참여해 새로 만들어가는 과정에 있었다고 생각합니다.

2004년이 되자 루씬 관련 개발자 가운데 루씬의 핵심 부분까지 충분히 이해하는 사람들이 상당히 많아졌습니다. 요즘은 루씬 자체를 개발하는 데 제가 그다지 관여하지 않음에도 불구하고 다른 루씬 개발자들이 계속해서 루씬을 발전시키고 있습니다.

처음 개발된 이후 몇 년이 흐르는 동안 루씬은 C++을 비롯해 C#, 펄, 파이썬 등의 언어로도 포팅됐고, 자바를 비롯한 이 모든 ‘루씬’ 검색 엔진은 초기에 구상했던 것보다 훨씬 많이 사용되고 있음을 실감합니다. 어떤 언어로 만들어졌든지 루씬은 이제, 포춘지 선정 100대 기업들과 상용 버그 추적 시스템, 마이크로소프트의 아웃룩 이메일 검색 소프트웨어(루씬 기반의 Lookout이란 아웃룩 검색 소프트웨어가 있었으나 2004년에 마이크로소프트가 인수했다. - 옮긴이), 수십억 페이지의 인터넷 사이트를 검색할 수 있는 인터넷 검색 시스템까지 널리 사용되고 있으니 말이죠. 뿐만 아니라 요즘은 사람들이 저를 ‘루씬 창시자’라고 부르기도 하고, 자신들의 프로젝트에서 루씬을 어떻게 활용하는지 수다를 떨기도 합니다. 그렇게 여러 얘기를 듣다 보면 제가 상상했던 루씬의 응용 분야를 뛰어 넘어 정말 다양한 분야에서 루씬을 활용하고 있다는 생각도 많이 듭니다.

오픈소스 대신 예전 방식 그대로 사업을 했더라면 지금과 같은 루씬의 성공은 이루지 못했을 것입니다. 요즘 들어 소프트웨어 개발자들은 대부분 오픈소스를 선호합니다. 또 제품을 사고는 궁금한 걸 질문하기 위해 전화를 걸어 고객지원센터 직원에게 문제를 설명하느라 진땀 빼는 일은 하려들지 않습니다. 대신 공개된 소스코드를 보면서 뭐가 어떻게 돌아가는지 직접 파악해냅니다. 그게 개발자의 정서에는 더 맞는 방법이라고 생각합니다. 소스코드를 봐도 이해할 수 없다면 루씬 메일링 리스트에서 수많은 전문적인 루씬 개발자들이 서로 의견을 교환하고 질문에 답합니다. 물론 충분하진 않을 수 있지만, 루씬 메일링 리스트가 웬만한 상용 고객지원 서비스보다 훨씬 낫다고 자부합니다. 루씬처럼 제대로 자리 잡은 오픈소스 커뮤니티가 개발자들을 얼마나 편하게 해주는지도 새삼 느끼고 있습니다.

다시 말하지만 루씬을 오픈소스로 공개한 이후 얼마나 발전했는지 이루 헤아릴 수 없습니다. 제가 처음 시작한 게 맞기는 하지만, 수많은 루씬 커뮤니티 참여자들과 개발자들의 도움 덕분에 지금의 루씬이 존재하는 것입니다.

루씬으로 무엇을 할 수 있을까요? 차세대 루씬이라면 어떤 모습일까요? 이미 루씬을 공개한 지 10년이 지난 지금, 루씬은 여전히 씩씩하게 앞으로 나아가고 있으며, 사용자와 개발자 커뮤니티는 그 어느 때보다 크고 바쁘게 움직이고 있습니다. 특히 『루씬 인 액션』 초판이 출간되면서 더 많은 사람이 루씬을 사용하게 되었다는 점을 간과할 수 없겠죠. 루씬은 버전이 업그레이드될 때마다 더 안정적으로 많은 기능을 제공하며, 처리 속도도 개선되고 있습니다.

2004년에 『루씬 인 액션』이 처음 출간된 이후 루씬의 내부 구조와 외부의 API 모두 엄청나게 발전했으며, 이제 개정판이 절실한 시점이라고 생각합니다. 『(개정판) 루씬 인 액션』은 전체적으로 새로운 내용에 맞춰 내용을 고쳤으며, 루씬의 최신 API와 개선 사항을 소개합니다.

『루씬 인 액션』 개정판과 함께 루씬 커뮤니티에 합류했으니, 이제 루씬을 활용해 다음 단계로 올라설 차례입니다. 즐거운 여행을 기원합니다!
더그 커팅(Doug Cutting) (루씬, 너치, 하둡 프로젝트 창시자)