data_lab

사전작업 필요

1. root 계정에 JAVA_HOME 추가 필요함
2. solr 설치
3. Maven 3.6.3 설치
4. PostgreSQL 설치 및 DB - ranger, User - rangeradmin(pw:rangeradmin) 생성

작업들 실행할 때 root 또는 권한 가진 계정으로 해야함
solr 설치필요!
https://n-a-y-a.tistory.com/m/68

필요한 패키지들

Ranger 설치 및 MVN 빌드

mvn 빌드는 한시간 반정도 걸리고, mvn에서 빌드 에러는 나지않았음.
에러 날 경우, mvn 설정 값 확인 필요함.

Ranger - Admin 설치

Ranger - Admin Config 설정

/usr/share/java/ dir에 postgresql JDBC 설치 필요!

Solr 실행되어 있는 상태에서 solr-ranger set up

Solr 실행

Ranger-admin setup.sh 실행

성공로그

ranger-admin 실행

6080 포트 접속하면 ranger 화면 확인가능함.
ID/PW : admin

스파크를 실행할 때, 메모리와 코어를 설정하여 실행할 수 있다.

x=sc.parallelize([“spark”, ”rdd”, ”example”, “sample”, “example”], 3)  병렬화(transformation)

x=x.map(lambda x:(x,1))  #입력값 : x   출력값:  (x,1)  매핑(transformation)

y.collect   집합(action)

[(‘spark’,1), (‘rdd’,1), (‘example’,1), (‘sample’,1), (‘example’,1)]

spark yarn 실행

scala : spark-shell --master yarn --queue queue_name

python : pyspark --master yarn --queue queue_name

--driver-memory 3G : spark driver가 사용할 메모리 default = 1024M

--executor-memory 3G : 각 spark executor가 사용할 메모리양

--executor-cores NUM : 각 spark executor의 코어의 양

작성한 파일 Spark에서 실행시키는 방법

파이썬 파일

spark-submit –master local[num] 파일명.py 

  (num은 쓰레드 개수,default 값은 2~4개 정도)

자바,스칼라

spark-submit \ --class “SimpleApp”\ --master local[num] /location~/name.jar

NoSQL 기반 데이터베이스이다.

하둡의 데이터를 NoSQL (Key, value) 쌍으로 저장함

$ /hadoop/sbin/start-all.sh

$ ./start-hbase.sh

$ ./hbase shell

### hbase test ###

create 'test', 'cf'

list 'test'

describe 'test'

put 'test', 'row1', 'cf:a', 'value1'

put 'test', 'row2', 'cf:b', 'value2'

put 'test', 'row3', 'cf:c', 'value3'

scan 'test'

------------------------

ROW COLUMN+CELL

row1 column=cf:a, timestamp=1612833812641, value=value1  

row2 column=cf:b, timestamp=1612833817184, value=value2

row3 column=cf:c, timestamp=1612833818011, value=value3

3 row(s)

Took 0.8014 seconds

whoami

grant 'username','RWXCA'

HIVE 테이블 관리

HIVE 테이블

1. 데이터를 HIVE 테이블로 가져오면?

HiveQL, 피그, 스파크 등을 활용하여 데이터를 처리 > 상호운영 보장

2. HIVE가 지원하는 테이블 종류

    - 내부 테이블 : HIVE가 관리, HIVE/ 데이터웨어하우스에 저장, 내부테이블 삭제 시 메타정의와 데이터까지 삭제됨,

   ORC같은 형식으로 저장되어 비교적 빠른 성능

    - 외부 테이블 : 하이브가 직접 관리하지 않음,

   하이브의 메타정의만 사용하여 원시 형태로 저장된 텍스트 데이터에 접근

   외부 테이블의 데이터를 삭제해도 테이블 메타 정의만 삭제되고 데이터는 유지됨.

   해당 데이터가 하이브 외부에 적재 되어있거나 테이블이 삭제되더라도 원본 데이터가 남아 있어야할 때 사용

3.csv 파일을 하이브 테이블로 가져오기

  1.names.csv 을 HDFS에 복사

  2. hdfs dfs –mkdir names

  3. hdfs dfs –put names.csv names

  4. hive 실행 후 쿼리로 테이블 생성  location ‘/directory’ 구문은 테이블이 사용할 입력 파일의 경로이다.

  5. select * from ~ 데이터 확인하기

  6. stored as orc > 내부 테이블

  7. 데이터 형식 – 텍스트 파일, 시퀀스 파일(k-v쌍), RC 파일, ORC 형식, Parquet 형식

외부 테이블 생성

su – hdfs

hdfs dfs –mkdir /Smartcar

hdfs dfs –put /txtfile.txt /Smartcar

hdfs dfs –chown –R hive /Smartcar

hdfs dfs –chmod –R 777 /Smartcar

su – hive

hive

create external table (~) ~ location /Smartcar;

내부 테이블 생성

create table (~) ~ location /Smartcar;

외부 테이블의 데이터 내부 테이블로 복사

insert overwrite table SmartCar_in

select * from SmartCar_ex;

내부 테이블 디렉터리 생성확인

hdfs dfs –ls /Smartcar

/Smartcar/base_0000001/bucket_00000/bucket_00000

하이브는 SQL과 유사해서

기존에 SQL을 공부했다면 어렵지않다.

하둡 버전 3.1 기준으로 

개인적으로 정리한 명령어이다.

기존에 리눅스에 대해 공부했다면 하둡 명령어를 공부하는데에 엄청 어렵진않다.

1.hdfs dfs –cat /tmp/Sample2.txt      #파일 읽기

2.hdfs dfs –checksum /tmp/Sample2.txt 데이터무결성

3.hdfs dfs –chgrp kyn /tmp/Sample2.txt

4.hdfs dfs –chown kyn /tmp/Sample2.txt

5.hdfs dfs –chmod –R 777 /tmp/Sample2.txt

6.hdfs dfs –copyFromLocal /tmp/Sample2.txt put유사

7.hdfs dfs –copyToLocal /tmp/Sample2.txt

8.hdfs dfs –count /tmp/Sample2.txt

9.hdfs dfs –cp /tmp/Sample2.txt /tmp/rename.txt

10. hdfs dfs –createSnapshot

11. hdfs dfs –deleteSnapshot

12.hdfs dfs -df -h /tmp/ 디스크 여유 공간

13.hdfs dfs –du –h /tmp/ 디스크 사용량

14.hdfs dfs –expunge 휴지통 비우기 (hdfs 파일 삭제 후 휴지통에 임시저장, 시간경과후 삭제함)

15.hdfs dfs –find /temp/Sample2.txt

16.hdfs dfs –get /temp/Sample2.txt

17.hdfs dfs –head /temp/Sample2.txt

18.hdfs dfs –help

20. hdfs dfs –ls /

21. hdfs dfs –mkdir /temp/test

22. hdfs dfs –moveFromLocal  (Local 에서 hdfs)

23. hdfs dfs –moveToLocal (hdfs에서 local)

24. hdfs dfs –mv /tmp/Sample2.txt /tmp/test

25. hdfs dfs –put /root/home/Sample.txt /tmp

26. hdfs dfs –renameSnapshot oldname newname

27. hdfs dfs –rmdir/test

28. hdfs dfs –rm /tmp/Sample2.txt

29. hdfs dfs –stat ‘%d %o %r %u %n’ /tmp/Sample2.txt

%b  파일 크기 %o 파일 블록 크기 $r 복제 수 %u 소유자 %n 파일명

30. hdfs dfs –tail –F /tmp/Sample2.txt

31. hdfs dfs –test ~  true > 0 false > -1

32. hdfs dfs –text /tmp/filename

33. hdfs dfs –touch /tmp/filename

34. hdfs dfs –touchz /tmp/filename (0 byte)

35. hdfs dfs –usage command 사용방법 출력

File system checking

1.hdfs fsck /

2.hdfs fsck delete

커럽트된 파일 삭제

3. hdfs fsck move

커럽트된 파일 이동

Status: HEALTHY

 Number of data-nodes:  3

 Number of racks:               1

 Total dirs:                    950

 Total symlinks:                0

Replicated Blocks:

 Total size:    3664434506 B (Total open files size: 1353 B)  현재 사용중인 byte

 Total files:   2127 (Files currently being written: 10)

 Total blocks (validated):      1998 (avg. block size 1834051 B)

 (Total open file blocks (not validated): 5)

 Minimally replicated blocks:   1998 (100.0 %)  최소개수로 복제된 블록

 Over-replicated blocks:        0 (0.0 %)     설정 값보다 더 복제된 블록

 Under-replicated blocks:       1998 (100.0 %)     설정 값보다 아래 복제블록

 Mis-replicated blocks:         0 (0.0 %)     규정 위반 블록

 Default replication factor:    3     dfs.replication 값

 Average block replication:     1.998999     복제값 평균

 Missing blocks:                0

 Corrupt blocks:                0     오류발생

 Missing replicas:              1998 (33.34446 %)       복제존재X블록

커럽트 상태

모든 블록에 문제 생겨

복구 못하는 상태

3copy 방식으로 데이터노드 중 문제 생기면

Reblancing을 통해 데이터의 크기를 맞추거나

유실된?데이터를 copy

NameNode 상태 관리

Hdsf dfsadmin –safemode enter  : Namenode 데이터 변경 못하게 safemode

Hdfs dfsadmin –safemode get : name node 확인

Hdfs dfsadmin –safemode leave : name node가 safemode 나감

hdfs envvars (환경변수 출력됨)

JAVA_HOME='/usr/java/jdk'

HADOOP_HDFS_HOME='/usr/hdp/3.1.0.0-78/hadoop-hdfs'

HDFS_DIR='./'

HDFS_LIB_JARS_DIR='lib'

HADOOP_CONF_DIR='/usr/hdp/3.1.0.0-78/hadoop/conf'

HADOOP_TOOLS_HOME='/usr/hdp/3.1.0.0-78/hadoop'

HADOOP_TOOLS_DIR='share/hadoop/tools'

HADOOP_TOOLS_LIB_JARS_DIR='share/hadoop/tools/lib'

hdfs httpfs

HttpFS 서버, HDFS HTTP 게이트웨이 실행

1.hdfs version  설치된 하둡 버전 확인

2.hdfs classpath 설치된 하둡 jar, 필요한 라이브러리 classpath 출력

3.hdfs groups  hdfs : hadoop hdfs kyn

4.hdfs lsSnapshottableDir 스냅샷 리스트 출력됨

5.hdfs jmxget jmx정보 출력

1.init: server=localhost;port=;service=NameNode;localVMUrl=null

2.Domains:

3.        Domain = JMImplementation

4.        Domain = com.sun.management

5.        Domain = java.lang

6.        Domain = java.nio

7.        Domain = java.util.logging

8.MBeanServer default domain = DefaultDomain

9.MBean count = 22

10.Query MBeanServer MBeans:

11.List of all the available keys:

JMX - 응용 프로그램(소프트웨어)/객체/장치 (프린터 등) 및 서비스 지향 네트워크 등을 감시 관리를 위한 도구를 제공하는 자바 API이다.

1.Hdfs oev   Hadoop offline edits viewer editlogs 파일 포맷 파싱

2.Hdfs oiv    Hadoop offline image viewer fsImage 사람이 읽을 수 있게 변경

3.Hdfs snapshotDiff [경로]

1.A스냅샷 B 스냅샷 A에서 B와 다른 점 출력

Administration Commands

Hdfs balancer : 블록 위치 분석, 데이터 노드를 통해 데이터 균형맞춤

Hdfs cacheadmin : cache pool과 상호작용 가능,

Hdfs cypto : 배치에서 반환할 수 있는 최대 enctyption zone 목록화, 네임노드 퍼포먼스 향상

Hdfs datanode : HDFS 데이터노드 실행, 롤백

Hdfs dfsrouter : DFS 라우터 실행

Hdfs dfsrouteradmin : 라우터 기반 조직 관리

Hdfs diskbalancer : diskbalancer 실행 (모든 디스크의 데이터노드에 데이터 분배하는 역할)

Hdfs ec : erasure conding _ 소거코드 관련된 명령어

Hdfs haadmin : namenode status 확인, namenode active 선정

Hdfs journalnode : journalnode 시작

Hdfs mover : data migration 실행

Hdfs namenode : namenode 실행, 백업, 회복, 업그레이드, 이전버전으로 롤백,,등

Hdfs nfs3 : HDFS NFS3 서비스 사용하기 위해 NFS3 게이트웨이 실행

Hdfs portmap : HDFS NFS3서비스 사용하기 위해 RPS portmap 실행

Hdfs secondarynamenode : secondary namenode 실행

Hdfs storagepolicies : storage policies 리스트 출력, 설정  

BlockStoragePolicy{PROVIDED:1, storageTypes=[PROVIDED, DISK], creationFallbacks=[PROVIDED, DISK]

, replicationFallbacks=[PROVIDED, DISK]}

Hdfs zkfc : zookeeper failover(장애대비기능) controller process 실행

hdfs dfsadmin -report

Configured Capacity: 248290449920 (231.24 GB)

Present Capacity: 194169229810 (180.83 GB)

DFS Remaining: 183161573874 (170.58 GB)

DFS Used: 11007655936 (10.25 GB)

DFS Used%: 5.67%

Replicated Blocks:

        Under replicated blocks: 0

        Blocks with corrupt replicas: 0

        Missing blocks: 0

        Missing blocks (with replication factor 1): 0

        Low redundancy blocks with highest priority to recover: 0

        Pending deletion blocks: 0

Erasure Coded Block Groups:

        Low redundancy block groups: 0

        Block groups with corrupt internal blocks: 0

        Missing block groups: 0

        Low redundancy blocks with highest priority to recover: 0

        Pending deletion blocks: 0

-------------------------------------------------

Live datanodes (3):

Name: 192.168.56.131:50010 

Hostname: bdd.co.kr

Decommission Status : Normal

Configured Capacity: 76060626432 (70.84 GB)

DFS Used: 3599179776 (3.35 GB)

Non DFS Used: 21608422912 (20.12 GB)

DFS Remaining: 50584588454 (47.11 GB)

DFS Used%: 4.73%

DFS Remaining%: 66.51%

Configured Cache Capacity: 0 (0 B)

Cache Used: 0 (0 B)

Cache Remaining: 0 (0 B)

Cache Used%: 100.00%

Cache Remaining%: 0.00%

Xceivers: 6

Last contact: Fri Sep 04 12:14:34 KST 2020

Last Block Report: Fri Sep 04 08:00:09 KST 2020

Num of Blocks: 2003

Hdfs dfsadmin –report –live : 살아있는 데이터 노드 포함 하둡 상태

Hdfs dfsadmin –report –dead: 죽은 데이터 노드 상태

Debug Commands

Hdfs debug verifyMeta : HDFS 메타데이터, 블록 파일 검증.

메타파일의 체크섬과 블록파일과 매치하여 검증

Hdfs debug computeMeta : 블록파일에서의 HDFS 메타데이터 계산,

블록파일에서 체크섬 계산하고 메타데이터 산출물에 저장함

Hdfs debug recoverLease : recoverLease를 클라이언트가 recoverLease를 몇 번 호출할지 설정(default = 1),

지정된 path에서 lease 회복

HDFS lease >> 클라이언트에게 쓰기 작업을 위해 파일 여는 것을 권한을 부여 받음

hue 설치 할 때 앞서 있던 하둡 에코시스템들이 어느정도 설치되었다고 가정하고 진행하겠다.

휴의 경우 설치하기전에 사전작업을 해줘야 한다.

postgres는 다른 포스트에서 설정을 다루기로 하고,

휴 설치 가이드 에서는 휴에서 사용할 데이터 베이스 생성정도만 다룰 예정이다.

사전작업

휴는 파이썬을 사용하기 때문에 환경변수로 파이썬 버전을 잡아줘야한다.

환경변수는 .bash_profile 에 추가하였다.

파이썬 환경변수 추가

$ sudo vi ~/..bash_profile

export PYTHON_VER=python3.8

psycopg2 설치 (전에 pip도 설치되어 있어야함)

$ pip install psycopg2

$ python setup.py build

$ sudo python setup.py install

$ pip install psycopg2-binary

nodejs 설치 (centos7 기준 이다.)

$ sudo yum install epel-release

$ sudo yum install nodejs

hue 에서 사용하는 package 설치

$ sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
cs

maven 설치

$ wget https://downloads.apache.org/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz -P /tmp

$ sudo tar xf /tmp/apache-maven-3.6.3-bin.tar.gz -C /opt

$ sudo ln -s /opt/apache-maven-3.6.0 /opt/maven 

$ sudo vi ~/.bash_profile

#MAVEN

export MAVEN_HOME=/opt/maven

export M2_HOME=$MAVEN_HOME

PATH=$PATH:$M2_HOME/bin:

$ source ~/.bash_profile

$ vi /opt/maven/conf/settings.xml

mirror 사이트 추가하기

maven build가 필요한 아파치 오픈소스들이 있는데, centos의 경우 yum install maven시 3.0.5가 설치된다.
3.0.5버전으로 빌드 시 fail이 빈번하기도하고, 공식사이트에서도 3.3이상 버전 사용하는 것을 추천하기 때문에
아파치 미러 사이트에서 최신버전 maven을 사용하는 것을 추천한다.

postgres에 hue db, user 추가하기

psql -U postgres

CREATE USER hue WITH PASSWORD 'hue';

CREATE DATABASE hue OWNER hue;

\l

휴 데이터베이스와 오너 확인하기

---

Solr 설치

https://n-a-y-a.tistory.com/m/68

---

휴 설치

$ wget https://cdn.gethue.com/downloads/hue-4.0.1.tgz

$ tar -xvzf hue-4.0.1.tgz

$ ln -s hue-4.0.0 hue

$ cd hue

$ export PREFIX=/usr/local

$ make 7$ make install

휴 실행

$ ./build/env/bin/supervisor &

$ netstat -nltp | grep 8888

입력시 서비스 올라온 것 확인할 수 있다.


***HDFS***
***HIVE***
***HBASE***
등 각 서비스들은 현재 연결된 상태는 아니므로
맞는 config값들을 찾아 수정해줘야한다.


참고사이트
docs.gethue.com/administrator/installation/

주키퍼란 분산 애플리케이션을 위한 분산 코디네이션이다.

znode(저널노드)가 각각의 서버에 위치해 있다.

각 하둡의 서비스들이 잘 동작하고 있는지 확인한다.

주기적으로 하트비트 요구하여 받는 방식으로,

따라서 주기퍼는 홀수로 클러스터를 구성하는데

여기서 들어가는 개념이 쿼럼이다.

쿼럼이란? 

다수결로 예를 들어 5개의 서버로 구성 되어있고,

2개의 서버가 죽는다고 가정했을 때 정상적으로 동작한다고 판단한다.

그리고 5개 중 3개의 서버가 죽었을 경우, 다수결로 인해 비정상이라고 판다한다.

그로 인해, 주키퍼는 홀수로 클러스터를 구성한다.

zookeeper 클러스터는

하나의 서버가 리더이고, 다른 서버는 팔로워이다

리더 서버를 기준으로 sync를 맞춘다.

자세한 내용은 공식 사이트 참조바람

주키퍼 설치 방법

주키퍼 파일 다운로드 후 압축 해제 후 테스트

주키퍼 conf에서 zoo.cfg 파일 생성

주키퍼 실행

jps로 주키퍼 실행 중인지 확인

netstat -nltp | grep 2181로 주키퍼 확인하기

주키퍼의 포트번호는 zoo.cfg 파일에서 변경할 수 있다.

livy-env.sh

export SPARK_HOME=/usr/lib/spark

export HADOOP_CONF_DIR=/etc/hadoop/conf

livy start

./bin/livy-server start

livy 정상동작하는지 spark에서 테스트하는 예제

sudo pip install requests

import json, pprint, requests, textwrap

host = 'http://localhost:8998'

data = {'kind': 'spark'}

headers = {'Content-Type': 'application/json'}

r = requests.post(host + '/sessions', data=json.dumps(data), headers=headers)

r.json() {u'state': u'starting', u'id': 0, u'kind': u'spark'}

https://dlcdn.apache.org/hive/hive-3.1.2/

apache mirror 사이트에서 원하는 hive 버전의 binary 폴더를 다운받는다. 

사전작업 - Hadoop Path 설정 되어있어야함

export HADOOP_HOME=<hadoop-install-dir>

압축해제

wget https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
tar xvzf apache-hive-3.1.2-bin.tar.gz

환경변수 설정

Hive 홈 환경변수를 설정해야한다.

.bash_prifile에서 수정하는 방식보단 /etc/profile.d/에 쉘 스크립트를 추가해줄것

vi /etc/profile.d/hive_home.sh

export HIVE_HOME=/opt/apache-hive-3.1.2-bin

export PATH=$PATH:$HIVE_HOME/bin

해당 파일 저장 후 한번 실행해준다.

chmod +x hive_home.sh
./hive_home.sh
source hive_home.sh

echo $HIVE_HOME

해당 명령어 결과로 정상적으로 반영되었는지 확인작업 필요하다.

Hadoop에 tmp, hive warehouse 디렉터리 생성

hadoop fs -mkdir       /tmp
hadoop fs -mkdir       /user/hive/warehouse
hadoop fs -chmod g+w   /tmp
hadoop fs -chmod g+w   /user/hive/warehouse

Hive CLI 실행

 $HIVE_HOME/bin/hive

 $HIVE_HOME/bin/schematool -dbType <db type> -initSchema

dbtype 은 기존에 설치되어있는 DB를 사용하려면 해당 부분에 mysql, oracle, postgres 를 입력하면 되고,

테스트를 위하면 derby라는 hive 내장 DB를 사용하면 된다.

HIVE Config 설정

cp /conf/hive-default.xml /conf/hive-site.xml

해당 템플릿을 hive-site로 복사

hive-site.xml 변경 - postgresql DB 사용시

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:postgresql://mypostgresql.testabcd1111.us-west-2.rds.amazonaws.com:5432/mypgdb</value>
    <description>PostgreSQL JDBC driver connection URL</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>org.postgresql.Driver</value>
    <description>PostgreSQL metastore driver class name</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>database_username</value>
    <description>the username for the DB instance</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>database_password</value>
    <description>the password for the DB instance</description>
  </property>