data_lab

https://dlcdn.apache.org/hive/hive-3.1.2/

apache mirror 사이트에서 원하는 hive 버전의 binary 폴더를 다운받는다. 

사전작업 - Hadoop Path 설정 되어있어야함

export HADOOP_HOME=<hadoop-install-dir>

압축해제

wget https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
tar xvzf apache-hive-3.1.2-bin.tar.gz

환경변수 설정

Hive 홈 환경변수를 설정해야한다.

.bash_prifile에서 수정하는 방식보단 /etc/profile.d/에 쉘 스크립트를 추가해줄것

vi /etc/profile.d/hive_home.sh

export HIVE_HOME=/opt/apache-hive-3.1.2-bin

export PATH=$PATH:$HIVE_HOME/bin

해당 파일 저장 후 한번 실행해준다.

chmod +x hive_home.sh
./hive_home.sh
source hive_home.sh

echo $HIVE_HOME

해당 명령어 결과로 정상적으로 반영되었는지 확인작업 필요하다.

Hadoop에 tmp, hive warehouse 디렉터리 생성

hadoop fs -mkdir       /tmp
hadoop fs -mkdir       /user/hive/warehouse
hadoop fs -chmod g+w   /tmp
hadoop fs -chmod g+w   /user/hive/warehouse

Hive CLI 실행

 $HIVE_HOME/bin/hive

 $HIVE_HOME/bin/schematool -dbType <db type> -initSchema

dbtype 은 기존에 설치되어있는 DB를 사용하려면 해당 부분에 mysql, oracle, postgres 를 입력하면 되고,

테스트를 위하면 derby라는 hive 내장 DB를 사용하면 된다.

HIVE Config 설정

cp /conf/hive-default.xml /conf/hive-site.xml

해당 템플릿을 hive-site로 복사

hive-site.xml 변경 - postgresql DB 사용시

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:postgresql://mypostgresql.testabcd1111.us-west-2.rds.amazonaws.com:5432/mypgdb</value>
    <description>PostgreSQL JDBC driver connection URL</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>org.postgresql.Driver</value>
    <description>PostgreSQL metastore driver class name</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>database_username</value>
    <description>the username for the DB instance</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>database_password</value>
    <description>the password for the DB instance</description>
  </property>