ElasticSearch Install


* 간략하게 개념을 적어놓았기 때문에 자세한 내용을 아시기 위해서는 공식 홈페이지를 방문하시기 바랍니다.
* 현 문서에 설치된 버전 좀 된 버전이므로, 최신 버전을 다운받아 설치하시기 바랍니다.


Elasticsearch ?

- 오픈 소스 프로젝트
- 분산 데이터 베이스 바탕
- RESTful API 지원
- 검색 엔진
- 공식 홈페이지 : http://www.elasticsearch.org/overview/elasticsearch/ 

Elasticsearch Install

* http://www.elasticsearch.org/overview/elkdownloads/ 여기서 적절한 파일을 다운 받습니다.
저의 경우 rpm을 다운 받아 설치 하였습니다.

구성도



 - 이번 설치의 경우 가벼운 테스트 용도이므로 두대의 서버로 클러스터 구성과 각각 master/data기능으로 설정하였습니다. 
 - 서비스 규모에 따라 데이터의 양이 커질 경우 구성이 바뀌므로, 사용에 맞게 구성 하시면 될듯 합니다.


 1. rpm 으로 설치

rpm -Uvh elasticsearch-0.90.8.noarch.rpm

설치를 하고 나시면 /etc/elasticsearch/ 경로에 elasticsearch.yml , logging.yml 두 파일을 보실 수 있을 것입니다.

2. 설정 파일 수정

<ESServer01 elasticsearch.yml>
cluster.name : ESCluster
node.name : esnode01
node.master: true
node.data: true
index.number_of_shards: 5
index.number_of_replicas: 1
transport.tcp.port: 9300
discovery.zen.ping.multicast.enabled: false
discovery.zen.ping.unicast.hosts:["10.10.20.2:9300", "10.10.20.3:9300"]


<ESServer02 elasticsearch.yml>
cluster.name : ESCluster
node.name : esnode02
node.master: true
node.data: true
index.number_of_shards: 5
index.number_of_replicas: 1
transport.tcp.port: 9300
discovery.zen.ping.multicast.enabled: false
discovery.zen.ping.unicast.hosts:["10.10.20.2:9300", "10.10.20.3:9300"]


shard의 경우 추후 수정이 불가하므로, 데이터의 양에 맞게 shard의 수를 선언 해주셔야 합니다.
shard의 값에 대한 정확한 데이터는 아직 없는 것으로 알고 있습니다. 
repl의 경우 복제할 수 이므로, 1의 값은 일반적인 2개의 개념이라고 보시면 됩니다.

3. 방화벽 설정

INPUT, OUTPUT 9300 port 설정


 4. elasticsearch 기동
/etc/init.d/elasticsearch start


후기
설치 가이드를 거의 1년이 되도록 안올리고 있다가 이제서야 올립니다. 현재는 1.3.x버전이 나온걸로 알고 있습니다. 
버전 업에 따라 기능이 추가된 것도 있고 하더군요.
- 데이터의 종류와 데이터 사이즈에 따라 shard의 수를 어떻게 정해야할지에 대한 가이드 라인이 없는 걸로 알고 있습니다. 
- 데이터가 많아질수록 나중엔 수평 확장이 필요하다는 것, 또한 하드웨어 성능도 어느정도 지원 해줘야 한다는 것으로 알고 있습니다.
- 모니터링 툴의 경우 주로 ES-HEAD, bigtop 등이 있으며, 현재 엘라스틱 서치에서 마블이라는 모니터링 툴을 개발 버전으로(무료) 사용 가능하도록 하고 있습니다. 


그외 
 elasticsearch에 대한 최적화 및 참고 문서를 간략하게 정리하여 올립니다.

최적화 방법 
- 최적화 방법:  JVM사이즈를 조정하는 방법이 있으며 Elsticsearch 전용 서버 운영 시 메모리 용량의 절반만 할당할 것을 권장
- 인덱스 최적화: optimize 를 사용하여 세그먼트를 병합, 단 시스템에 부담을 주기 때문에 시스템 사용이 적은 시간대에 작업 할 것을 권장
- 필드 캐시가 최대 힙 크기를 넘어 out of memory error 발생 시 가비지 컬렉션 실행을 해주도록 한다.
   inde.cache.field.type : soft로 설정

참고 문서
 "1shard를 이용하여 위키 데이터를 인덱싱 한 결과 " http://blog.trifork.com/2013/09/26/maximum-shard-size-in-elasticsearch/


댓글

댓글 쓰기

이 블로그의 인기 게시물

블로그 이전 작업 및 블로깅 할 목록 정리

현재 티스토리에 올려 논것들 이전 작업도 필요 .. 두군데서 사용하려니 복잡하다만, 블로그 스팟에 해야 좀 공유가 잘[?]되지 않을까 싶으니.. 앞으로 올릴 내용들 - CDH5 설치 및 하둡 시스템 구축하기 - ELK를 이용한 로그 분석 시스템 구축하기   - 글러스터 FS 사용하기 - 각종 성능 테스트 자료 (하둡, 클라우드, 로그스테시 등등?)    - 하둡 테스트    - 왜 맵 리듀스 2업그레이드 후 성능이 느려진 것인가? (맵리듀스 1 시절에 비해..)    - 로그 스테시 사용 - 자바프레임워크 스터디 자료 정리    - 타일즈? 공부.    - 하이버 네이트 마이바티스 연동하기 - Flume 설치와 사용하기
자세한 내용 보기

[Spring Framework] Redirect +a 궁금증! ver_0.1

현재 스프링을 다뤄 본지 얼마 안되서 거의 ModelAndView를 사용한 코드가 대다수이다. 그러다가 문득 Redirect를 시켜, 객체 값을 넘기고 싶다는 생각이 들었다. 안된다는 이야기가 많이 있던데... 뭐 찾아본 결과를 적어본다. 1. Redirect 하는 방법 //ModelAndView를 이용하여 Redirect시 mv = new ModelAndView("redirect:/testRedirect.do"); return mv; //Public 블라블라 시 @RequestMapping(value="/vlavla.do") public String joinvlavla( HttpServletRequest request, HttpServletResponse response) { return "redirect:/mvctest/joinvlatest.do" } * 또는 RedirectView를 사용하면 된다. 2. 값을 넘기고 싶다!!! - session을 이용해도 되고, 파라미터로 넘기면 되지만 또다른 편한 방법이 있다고 해서 기록한다. (소스를 분석 해볼 것!!) * 스프링 3.1 버전 특징인, Flash Attribute, Redirect Attribute를 사용하면 간편하다고 한다. http://static.springsource.org/spring/docs/3.1.x/spring-framework-reference/html/mvc.html#mvc-ann-redirect-attributes http://static.springsource.org/spring/docs/3.1.x/spring-framework-reference/html/mvc.html#mvc-flash-attributes 음.. 그니깐 두 컨트롤러 사이에 뭐.. redirect 시 값을 넘겨주는? 방법 중 하나랄까? 현재 기억은 나지 않지만, 둘중 하...
자세한 내용 보기

Phoenix 라이브러리 - ERROR 2008 (INT10): Unable to find cached index metadata 발생 시

Phoenix 4.1 을 사용하고 있는데, 인덱스 테이블 오류로 인해 테이블을 drop 후 데이터를 upsert하는 도중 아래와 같이 오류가 발생 했고, 이어서 Hbase Region Server가 다운 되는 현상이 발생 했다. Region Server를 모두 재기동 후, Region Server는 모두 정상이었지만, 더이상 data upsert를 진행 할수 없었고, 로그를 확인 하던 도중 meta data 를 찾을수 없다는 로그를 발견하였다. 위의 상황과 똑같은 이슈가 올라와 있어 링크를 걸어 놓았다. https://issues.apache.org/jira/browse/PHOENIX-1005 장애가 나는 순서를 적어보면 1. 해당 테이블에 upsert data가 발생하고 있는 도중에 Drop index table이 발생하면 에러가 발생    이때  Cannot find row in hbase:meta for table  로그가 남는다. 2. meta data를 찾을수 없다는 로그와 함께 Region Server들이 shutdown 되는 현상이 발생한다. (Phoenix 쪽 failure policy 대로 region server에 shutdown 이 날아간다.) 3. Region Server 재기동 후 여전히 meta data 를 찾을수 없다면서 로그가 발생. (다시 다운되는 현상은 없지만 upsert data가 불가하다) 해결 방법  1. 버전 업 - 상위 버전에서 fix 되었다고는 하나. 안되는 것을 확인하였다. 2. Region server 재기동후 drop한 index를 생성후 region 서버 재기동  - 이경우 테스트를 통해 잘 작동하는 것을 확인하였다. * 주절주절 -  장애가 난 당시에 관련 레퍼런스들을 찾아보았으나 해결 방법이 딱히 없었다. 해결 방법이라곤 hbck를 이용하라는 것인데, 해도 복구가 되지 않았다. 해결 방법을 더...
자세한 내용 보기