9월, 2015의 게시물 표시

Hbase Region Merge

Hbase Region Server 설정 파일 쪽을 보면  - hbase.hregion.max filesize 라는 설정이 있는데 CDH에서 설명을 보면 (HStoreFile 의 최대 크기로, 열 패밀리 HstoreFile 중 하나라도 이 값을 초과하면 HRegion이 두개로 분할 됩니다.) 라고 나와있다. 즉 테이블 사이즈가 저 사이즈를 초과하면 Region이 분할 되어 저장 되는 것 같다. Region의 수가 지속적으로 증가하는 터라 (이전 데이터는 지워 졌음에도 Region 카운트 수가 줄어 들지가 않는다.) 이걸 Merge해줘야 할 것 같아 간단하게 메모를 남긴다. 먼저 RegionServer에 접속 후, > hbase shell > merge_regions 'REGION ENCODENAME', 'REGION ENCODENAME' 여기서 REGION ENCODENAME은 hbase region server WEB UI에 가면 확인 가능하다. WEB UI 에서 TABLE을 클릭하면 리젼들 분할된 정보를 볼 수 있고, Table Regions의 Name부분 <테이블명,StartKey,??,ENCODENAME> ENCODENAME을 확인하여 명령어를 실행한다. * END Key -> StartKey 순서대로 머지 하도록 한다. 중간 것을 건너 뛰고 머지 할시 에러가 발생