data_lab

hbase에는 주키퍼가 내장되어있다.

hbase-env.sh

export HBASE_MANAGES_ZK=true
export HBASE_MANAGES_ZK=false

true면 hbase에 내장되어 있는 zookeeper 사용

false면 zookeeper 사용

hbase-site.xml

    <property>
      <name>hbase.zookeeper.property.clientPort</name>
      <value>2181</value>
    </property>
    <property>
      <name>hbase.zookeeper.quorum</name>
      <value>hostname1,hostname2,hostname3</value>
    </property>

zookeeper 포트 번호와 주키퍼 실행하는 호스트 이름들을 적어줘야된다.

hbase 데몬 실행 후
JPS 명령어로 프로세스를 확인해보면
리젼서버의 경우 잘 올라오지만, HMaster가 실행됐다가 얼마안돼서 죽는경우가 있다.

이럴경우 hbase hmaster log와 hadoop namenode log 둘 다 확인해 주어야한다.
hbase 설정값이 잘못되었거나 hadoop에 설정값이 잘못된 경우가 있기 때문이다.

기본적으로 hbase localhost 값을 추가해주어야한다.

hbase-site.xml

<property> <name>hbase.master</name> <value>localhost:60000</value> </property>

hadoop core-site.xml

 <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hadoop.groups</name> <value>*</value> </property>

NoSQL 기반 데이터베이스이다.

하둡의 데이터를 NoSQL (Key, value) 쌍으로 저장함

$ /hadoop/sbin/start-all.sh

$ ./start-hbase.sh

$ ./hbase shell

### hbase test ###

create 'test', 'cf'

list 'test'

describe 'test'

put 'test', 'row1', 'cf:a', 'value1'

put 'test', 'row2', 'cf:b', 'value2'

put 'test', 'row3', 'cf:c', 'value3'

scan 'test'

------------------------

ROW COLUMN+CELL

row1 column=cf:a, timestamp=1612833812641, value=value1  

row2 column=cf:b, timestamp=1612833817184, value=value2

row3 column=cf:c, timestamp=1612833818011, value=value3

3 row(s)

Took 0.8014 seconds

whoami

grant 'username','RWXCA'

$ wget https://archive.apache.org/dist/hbase/2.2.0/hbase-2.2.0-bin.tar.gz 
$ tar xvzf hbase-2.2.0-bin.tar.gz
$ ln -s hbase-2.2.0-bin hbase 

hbase 설치 후 압축 풀고 심볼릭 링크를 건다.

<configuration>
<property>
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:9000/hbase</value>
</property>
<property>
        <name>hbase.master.port</name>
        <value>60000</value>
</property>
<property>
        <name>hbase.master.info.port</name>
        <value>60010</value>
</property>
<property>
        <name>hbase.regionserver.info.bindAddress</name>
        <value>0.0.0.0</value>
</property>
<property>
        <name>hbase.regionserver.port</name>
        <value>60020</value>
</property>
<property>
        <name>hbase.regionserver.info.port</name>
        <value>60030</value>
</property>
<property>
        <name>hbase.zookeeper.quorum</name>
        <value>bdh2</value>
</property>
<property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
</property>
<property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
</property>
<property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
</property>
<property>
        <name>hbase.superuser</name>
        <value>user_name</value>
</property>
<property>
        <name>hbase.coprocessor.region.classes</name>
        <value>org.apache.hadoop.hbase.security.access.AccessController</value>
</property>
<property>
        <name>hbase.coprocessor.master.classes</name>
        <value>org.apache.hadoop.hbase.security.access.AccessController</value>
</property>
<property>
        <name>hbase.rpc.engine</name>
        <value>org.apache.hadoop.hbase.ipc.SecureRpcEngine</value>
</property>
<property>
        <name>hbase.security.authorization</name>
        <value>true</value>
</property>

hbase-site.xml 에서 config 값들을 설정한다. 

$ bin/start-hbase.sh​

hbase bin 디렉터리에서 hbase를 실행한다.

$ jps
------------------------
11410 HMaster 

jvm에 hbase가 실행 중인 것을 확인할 수 있다.

master 서버에는 HMaster가 올라오고

slave 서버에는 HRegionserver가 올라온다.