data_lab

hive-site.xml hive.metastore.transactional.event.listeners org.apache.hive.hcatalog.listener.DbNotificationListener, org.apache.kudu.hive.metastore.KuduMetastorePlugin hive.metastore.disallow.incompatible.col.type.changes false hive.metastore.notifications.add.thrift.objects true kudu master start option add --hive_metastore_uris=thrift:/test.co.kr:9083 user add hdfs dfs -mkdir /user/impala hdfs..

Kudu Cluster 구성정보 예시 kudu1.com kudu master kudu2.com kudu master kudu3.com kudu tserver kudu4.com kudu tserver kudu5.com kudu tserver Master Server kudu1 노드 [user@kudu1 ~] ${KUDU_HOME}/sbin/kudu-master/sbin/kudu-master --rpc_bind_addresses=0.0.0.0:7051 \ --log-dir=${KUDU_HOME}/logs/master \ --fs_wal_dir=${KUDU_HOME}/logs/master \ --fs_data_dirs=${KUDU_HOME}/logs/master \ --webserver_port=8051 \ ..

kudu가 뭔지, 사용해보지도 못하고 rpm 빌드를 해야하는 상황에서 글을 썼다가 최근에 다시 수정하게 되었다. 현재도 kudu는 사용해보지 못했다. 그러나 하둡에코시스템을 사용하다보면 대부분 아키텍쳐가 유사한 느낌이라 이해하는데 크게 어렵지는 않다. 처음에 kudu 찾아봤을 때 kudo의 아키텍쳐는 hbase와 유사한 점이 있다. 그래서 hbase를 사용해봤거나 했다면, kudu이해하는데엔 크게 어려움이 없을 것이다. kudu에서 핵심 키워드는 key-value 이다. 일단, kudu를 검색해서 이것 저것 보다보면 그래서 hbase같은거라는 건가? 생각이 든다. 따라다니는 키워드가 key-value로 인데, hbase 또한 key-value가 핵심키워드이다. kudu 전에 hbase kudu를 알아보기..