data_lab

HUE 다운로드

원하는 휴 선택하여 다운로드
https://github.com/cloudera/hue/tags

Dependency 무한고통

mvn, database 설치후 기본적인 세팅은 완료 (hue 데이터 베이스와 유저 생성 작업까지 !)

python pip upgrade

curl https://bootstrap.pypa.io/pip/2.7/get-pip.py -o get-pip.py
python get-pip.py
pip install --upgrade pip

python package 설치

pip install psycopg2
pip install psycopg2-binary

OS Package 설치

sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
libffi-devel python-devel openssl-devel -y

SQLite 버전 업그레이드 (hue django 때문에 너무 아래버전일수록 설치 안됨)

https://kojipkgs.fedoraproject.org/packages/sqlite/

여기서 맞는 sqlite rpm, sqlite-devel rpm 다운로드

wget https://kojipkgs.fedoraproject.org/packages/sqlite/3.12.2/1.fc24/x86_64/sqlite-3.12.2-1.fc24.x86_64.rpm
wget https://kojipkgs.fedoraproject.org/packages/sqlite/3.12.2/1.fc24/x86_64/sqlite-devel-3.12.2-1.fc24.x86_64.rpm

rpm -Uvh sqlite-3.12.2-1.fc24.x86_64.rpm sqlite-devel-3.12.2-1.fc24.x86_64.rpm

HUE Build

desktop/devtools.mk 수정

DEVTOOLS += \
        ipython[7.10.0] \
        ipdb[0.13.9] \

휴 빌드

cd ${HUE_SRC}
make apps

HUE Start

[hue database 동기화] build/env/bin/hue migrate 
[hue server 시작] build/env/bin/hue runserver 0.0.0.0:8000
[hue login] user id/ password -admin/admin
[hdfs user 생성] hdfs dfs -mkdir /user/admin
[hdfs user dir 권한변경] hdfs dfs -chown -R admin:admin /user/admin

HUE Configs

vi ${HUE_SRC}/desktop/conf/pseudo-distributed.ini
  [[database]]
    engine=postgresql_psycopg2
    host=1.2.3.4
    name=hue
    port=5432
    user=hue
    password=hue


[hadoop]
  # Configuration for HDFS NameNode
  # ------------------------------------------------------------------------
  [[hdfs_clusters]]
    # HA support by using HttpFs
    [[[default]]]
      # Enter the filesystem uri
      fs_defaultfs=hdfs://1.2.3.4:8020
      webhdfs_url=http://1.2.3.4:50070/webhdfs/v1
# ------------------------------------------------------------------------     
[beeswax]
  hive_server_host=1.2.3.4
  hive_server_port=10000
  hive_server_http_port=10001
  max_number_of_sessions=3
  thrift_version=11
  use_sasl=true
  # ------------------------------------------------------------------------
[hbase]
  hbase_clusters=(Cluster|1.2.3.4:9090)
  thrift_transport=buffered
  ssl_cert_ca_verify=false

hue 설치 할 때 앞서 있던 하둡 에코시스템들이 어느정도 설치되었다고 가정하고 진행하겠다.

휴의 경우 설치하기전에 사전작업을 해줘야 한다.

postgres는 다른 포스트에서 설정을 다루기로 하고,

휴 설치 가이드 에서는 휴에서 사용할 데이터 베이스 생성정도만 다룰 예정이다.

사전작업

휴는 파이썬을 사용하기 때문에 환경변수로 파이썬 버전을 잡아줘야한다.

환경변수는 .bash_profile 에 추가하였다.

파이썬 환경변수 추가

$ sudo vi ~/..bash_profile

export PYTHON_VER=python3.8

psycopg2 설치 (전에 pip도 설치되어 있어야함)

$ pip install psycopg2

$ python setup.py build

$ sudo python setup.py install

$ pip install psycopg2-binary

nodejs 설치 (centos7 기준 이다.)

$ sudo yum install epel-release

$ sudo yum install nodejs

hue 에서 사용하는 package 설치

$ sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
cs

maven 설치

$ wget https://downloads.apache.org/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz -P /tmp

$ sudo tar xf /tmp/apache-maven-3.6.3-bin.tar.gz -C /opt

$ sudo ln -s /opt/apache-maven-3.6.0 /opt/maven 

$ sudo vi ~/.bash_profile

#MAVEN

export MAVEN_HOME=/opt/maven

export M2_HOME=$MAVEN_HOME

PATH=$PATH:$M2_HOME/bin:

$ source ~/.bash_profile

$ vi /opt/maven/conf/settings.xml

mirror 사이트 추가하기

maven build가 필요한 아파치 오픈소스들이 있는데, centos의 경우 yum install maven시 3.0.5가 설치된다.
3.0.5버전으로 빌드 시 fail이 빈번하기도하고, 공식사이트에서도 3.3이상 버전 사용하는 것을 추천하기 때문에
아파치 미러 사이트에서 최신버전 maven을 사용하는 것을 추천한다.

postgres에 hue db, user 추가하기

psql -U postgres

CREATE USER hue WITH PASSWORD 'hue';

CREATE DATABASE hue OWNER hue;

\l

휴 데이터베이스와 오너 확인하기

---

Solr 설치

https://n-a-y-a.tistory.com/m/68

---

휴 설치

$ wget https://cdn.gethue.com/downloads/hue-4.0.1.tgz

$ tar -xvzf hue-4.0.1.tgz

$ ln -s hue-4.0.0 hue

$ cd hue

$ export PREFIX=/usr/local

$ make 7$ make install

휴 실행

$ ./build/env/bin/supervisor &

$ netstat -nltp | grep 8888

입력시 서비스 올라온 것 확인할 수 있다.


***HDFS***
***HIVE***
***HBASE***
등 각 서비스들은 현재 연결된 상태는 아니므로
맞는 config값들을 찾아 수정해줘야한다.


참고사이트
docs.gethue.com/administrator/installation/