data_lab

hive-site.xml

<property>
<name>hive.metastore.transactional.event.listeners</name>
<value>
org.apache.hive.hcatalog.listener.DbNotificationListener,
org.apache.kudu.hive.metastore.KuduMetastorePlugin
</value>
</property>

<property>
<name>hive.metastore.disallow.incompatible.col.type.changes</name>
<value>false</value>
</property> <property>
<name>hive.metastore.notifications.add.thrift.objects</name>
<value>true</value>
</property>

kudu master start option add

--hive_metastore_uris=thrift:/test.co.kr:9083 user add

hdfs dfs -mkdir /user/impala
hdfs dfs -chown -R impala:hdfs /user/impala drwxr-xr-x - impala hdfs 0 2022-04-05 16:59 /user/impala

set acl

hdfs dfs -setfacl -m default:user:impala:rwx hdfs:///warehouse/tablespace/managed/hive
hdfs dfs -setfacl -m user:impala:rwx hdfs:///warehouse/tablespace/managed/hive
hdfs dfs -setfacl -m default:user:impala:rwx hdfs:///warehouse/tablespace/external/hive

hdfs dfs -getfacl hdfs:///warehouse/tablespace/external/hive
# file: hdfs:///warehouse/tablespace/external/hive
# owner: hive
# group: hadoop
# flags: --t
user::rwx
group::rwx
other::rwx
default:user::rwx
default:user:hive:rwx
default:user:impala:rwx
default:group::rwx
default:mask::rwx
default:other::rwx
hdfs dfs -getfacl hdfs:///warehouse/tablespace/managed/hive
# file: hdfs:///warehouse/tablespace/managed/hive
# owner: hive
# group: hadoop
user::rwx
group::---
other::---
default:user::rwx
default:user:hive:rwx
default:user:impala:rwx
default:group::---
default:mask::rwx
default:other::---
impala start option add

/etc/default/impala
KUDU_MASTER_HOSTS=test.co.kr:7051 추가

---TEST---
$ hive
hive> CREATE DATABASE new_db_from_hive;
hive> CREATE TABLE new_db_from_hive.new_table_from_hive (x INT);
hive> quit;

$ impala-shell
> REFRESH new_db_from_hive.new_table_from_hive;
ERROR: AnalysisException: Database does not exist: new_db_from_hive

> INVALIDATE METADATA new_db_from_hive.new_table_from_hive; > SHOW DATABASES LIKE 'new*';
+--------------------+
| new_db_from_hive |
+--------------------+ > SHOW TABLES IN new_db_from_hive;
+---------------------+
| new_table_from_hive |
+---------------------+
Advanced hive-interactive-site
hive.strict.managed.tables
false
hive-site
hive.strict.managed.tables
false
hive-site, hivemetastore-site 차이?ㅋ




KUDU_MASTER_HOSTS=test.co.kr:7051

IMPALA_CATALOG_ARGS=" -log_dir=${IMPALA_LOG_DIR} -webserver_doc_root=${IMPALA_WEB_ROOT} -kudu_master_hosts=${KUDU_MASTER_HOSTS}"
IMPALA_STATE_STORE_ARGS=" -log_dir=${IMPALA_LOG_DIR} -state_store_port=${IMPALA_STATE_STORE_PORT} -webserver_doc_root=${IMPALA_WEB_ROOT} -kudu_master_hosts=${KUDU_MASTER_HOSTS}"
IMPALA_SERVER_ARGS=" \
-log_dir=${IMPALA_LOG_DIR} \
-catalog_service_host=${IMPALA_CATALOG_SERVICE_HOST} \
-state_store_port=${IMPALA_STATE_STORE_PORT} \
-use_statestore \
-state_store_host=${IMPALA_STATE_STORE_HOST} \
-be_port=${IMPALA_BACKEND_PORT} \
-webserver_doc_root=${IMPALA_WEB_ROOT} \
-kudu_master_hosts=${KUDU_MASTER_HOSTS}"


kudu/sbin/kudu-master --rpc_bind_addresses=0.0.0.0:7051 --log-dir=kudu/logs/master --fs_wal_dir=/var/log/kudu_master --fs_data_dirs=/var/log/kudu_master --webserver_doc_root=kudu/www --webserver_port=8051 --master_addresses=hostname:7051 --hive_metastore_uris=thrift://hostname:9083

Kudu Cluster 구성정보 예시

Master Server

kudu1  노드

[user@kudu1 ~] ${KUDU_HOME}/sbin/kudu-master/sbin/kudu-master --rpc_bind_addresses=0.0.0.0:7051 \
						              --log-dir=${KUDU_HOME}/logs/master \
                                                              --fs_wal_dir=${KUDU_HOME}/logs/master \
                                                              --fs_data_dirs=${KUDU_HOME}/logs/master \
                                                              --webserver_port=8051 \
                                                              --master_addresses=kudu1.com:7051,kudu2.com:7051 &

kudu2  노드

[user@kudu2 ~] ${KUDU_HOME}/sbin/kudu-master/sbin/kudu-master --rpc_bind_addresses=0.0.0.0:7051 \
						              --log-dir=${KUDU_HOME}/logs/master \
                                                              --fs_wal_dir=${KUDU_HOME}/logs/master \
                                                              --fs_data_dirs=${KUDU_HOME}/logs/master \
                                                              --webserver_port=8051 \
                                                              --master_addresses=kudu1.com:7051,kudu2.com:7051 &

Tablet Server 

kudu3 노드

[user@kudu3 ~] ${KUDU_HOME}/sbin/kudu-tserver --rpc_bind_addresses=0.0.0.0:7050 
					      --log-dir={KUDU_HOME}/logs/tserver \
                                              --fs_wal_dir={KUDU_HOME}/logs/tserver \
                                              --fs_data_dirs={KUDU_HOME}/logs/tserver \ 
                                              --webserver_port=8050 \
                                              --tserver_master_addrs=kudu1.com:7051,kudu2.com:7051 &

kudu4 노드

[user@kudu4 ~] ${KUDU_HOME}/sbin/kudu-tserver --rpc_bind_addresses=0.0.0.0:7050 
					      --log-dir={KUDU_HOME}/logs/tserver \
                                              --fs_wal_dir={KUDU_HOME}/logs/tserver \
                                              --fs_data_dirs={KUDU_HOME}/logs/tserver \ 
                                              --webserver_port=8050 \
                                              --tserver_master_addrs=kudu1.com:7051,kudu2.com:7051 &

kudu5 노드

[user@kudu5 ~] ${KUDU_HOME}/sbin/kudu-tserver --rpc_bind_addresses=0.0.0.0:7050 
					      --log-dir={KUDU_HOME}/logs/tserver \
                                              --fs_wal_dir={KUDU_HOME}/logs/tserver \
                                              --fs_data_dirs={KUDU_HOME}/logs/tserver \ 
                                              --webserver_port=8050 \
                                              --tserver_master_addrs=kudu1.com:7051,kudu2.com:7051 &

옵션 설명

kudu가 뭔지, 사용해보지도 못하고 rpm 빌드를 해야하는 상황에서 글을 썼다가 최근에 다시 수정하게 되었다.

현재도 kudu는 사용해보지 못했다. 그러나 하둡에코시스템을 사용하다보면 대부분 아키텍쳐가 유사한 느낌이라 이해하는데 크게 어렵지는 않다.

처음에 kudu 찾아봤을 때

kudo의 아키텍쳐는 hbase와 유사한 점이 있다.

그래서 hbase를 사용해봤거나 했다면, kudu이해하는데엔 크게 어려움이 없을 것이다.

kudu에서 핵심 키워드는 key-value 이다.

일단, kudu를 검색해서 이것 저것 보다보면 그래서 hbase같은거라는 건가? 생각이 든다.

따라다니는 키워드가 key-value로 인데, hbase 또한 key-value가 핵심키워드이다.

kudu 전에 hbase

kudu를 알아보기전에 hbase에 대해 간략히 짚고 넘어가면 HDFS는 append-only , immutable의 특징을 가지고 있다. HDFS에 저장된 파일은 수정이 불가하다. (덮어쓰기해서 수정)

Hbase의 경우 HDFS와 달리 수정 가능하고 랜덤으로 접근해 읽고 쓰기가 가능하다. 접근이 빠르고 low latency로 input, output 과정에서 지연을 최소화 하는 것이다.

hbase와 kudu의 차이점은 ?

그럼 kudu와 어떻게 다를까??

hbase는 처리량이 낮고, kudu는 처리량이 높다고 비교할 수 있다.

hbase은 HDFS에서 JSON파일, kudu는 HDFS에서 parquet 파일을 처리한다

kudu는 parquet 와 hbase의 자식격이다.

parquet파일을 다뤄봤다면, 압축률이 높아(용량이 작음 등등) 처리량이 높다고 느낄 수 있다.

parquet이 먼디?

hbase처럼 칼럼베이스 스토리지이며, hbase같은 parquet parquet같은 hbase라고 생각해야한다고 한다.

Kudu는 Hbase와 parquet의 혼종 

실시간으로 데이터가 도착하여 저장할 땐, Hbase와 같은 특징을 가지며,
실시간으로 데이터에 대한 분석 워크로드 실행할 땐, parquet과 같은 특징을 가진다.

쿼리로 긴 기간 내역 데이터와 실시간 단기 데이터 결합을 쉽게 할 수 있다

Hbase in-memory + Parquet columar layout = kudu

Kudu와 상호작용 하는 것들?

• Impala
  • 별도의 질의 기능을 kudu에서 지원하지않기에 impala와 같은 질의 엔진 사용해야한다.
  • 확실히 하이브 쿼리와는 속도가 빠름을 느낄 수 있다. 무거운 쿼리만 돌리고 상주하는 워크플로우가 많다면 TEZ엔진 사용자체도 부담이 되는 경우가 있다. MR엔진 쓰는 하이브와는 매우 속도가 빠르다
• C++,java,python client
• MapReduce
• Spark
  
  

Kudu 아키텍쳐

Kudu Master

• Fault Tolerance 장애허용
• Failover to backup masters 백업으로 장애조치
• Raft used for electing new leaders 새로운 리더 뽑을때 Raft 사용
• Only leader serves client request 리더만 클라이언트 요청 수용

Tablets

• Hbase의 region과 비슷함
• 3- 5 개 복제가능함
• 복제는 합의를 위해 Raft의 리더/팔로워 패턴을 사용
• HDFS아닌 로컬에 데이터 저장함

Kudu 실행

https://n-a-y-a.tistory.com/108

Kudu Impala, Hive metastore 연동

https://n-a-y-a.tistory.com/110

꼭 하이브메타스토어와는 연동을 하지않아도 될것같지만, 기존에 하이브를 사용하고 있으면 연동해서 사용하는것이 편리할 것이다.