빅데이터 분야 중 데이터엔지니어링에 관한 책도 출간이 많이 늘었습니다.

리뷰할 책은 한빛미디어의 "견고한데이터엔지니어링"입니다.

https://www.yes24.com/Product/Goods/119712582

원서 제목은 오라일리사의 The Fundamental of Data Engineering 입니다.

해당 책은 데이터엔지니어에게 추천이 많은 책입니다. 꼭 데이터엔지니어가 아니더라도 해당 직무에 관심이있거나 빅데이터를 도입하거나 관심이 있는 분에게 추천합니다. 저도 출간되는것을 기다렸는데, 출간되고 운이좋게 이벤트로 책을 받아 볼 수 있었습니다.

간단한 목차를 보면 이렇게 구성되어있습니다.

[PART I 데이터 엔지니어링 기반 구축하기]
CHAPTER 1 데이터 엔지니어링 상세
CHAPTER 2 데이터 엔지니어링 수명 주기
CHAPTER 3 우수한 데이터 아키텍처 설계
CHAPTER 4 데이터 엔지니어링 수명 주기 전체에 걸친 기술 선택

[PART II 데이터 엔지니어링 수명 주기 심층 분석]
CHAPTER 5 1단계: 원천 시스템에서의 데이터 생성
CHAPTER 6 2단계: 데이터 저장
CHAPTER 7 3단계: 데이터 수집
CHAPTER 8 4단계: 쿼리 모델링 및 데이터 변환
CHAPTER 9 5단계: 분석, 머신러닝 및 역 ETL을 위한 데이터 서빙

[PART III 보안, 개인정보보호 및 데이터 엔지니어링의 미래]
CHAPTER 10 보안과 개인정보보호
CHAPTER 11 데이터 엔지니어링의 미래

총책은 약 534페이지정도로 많은 내용을 다루는 양이고, 관심이 있으신 분들은 꼭! 서점에서 보거나 구매해서 보기를 추천합

내용 중 챕터 4 "데이터 엔지니어링 수명 주기 전체에 걸친 기술 선택" 를 리뷰하고자 합니다.

들어가기전에 생각 정리

데이터엔지니어링팀 각 회사에서 부르는 명칭이 다양할 것 같습니다

데이터플랫폼팀, 데이터개발팀, 데이터엔지니어링팀 등등 명칭도 다양하고 그 팀에서 업무또한 회사마다 범위가 다를것같습니다.

하둡에코시스템 운영, 데이터 수집 및 적재, 타팀으로 데이터 딜리버리 넓게는 시각화 등등의 업무도 팀내 업무로 지정이 되어있을것으로 추측됩니다.

데이터팀에 이미 기존에 구축되어 있는 하둡플랫폼이 있고 좀 더 효율적인 업무진행을 위해서 새로운 오픈소스 도입 또는 추가개발이 없어진 오픈소스 제거 등등으로 기술 고민이 있었으며 앞으로도 관련된 고민이 늘어날 것이라 생각합니다.

가장 최근에는 클라우드 도입으로 인한 하둡마이그레이션 업무 또는 오픈소스교체 등의 업무를 진행하는 분들이 늘어났을 것이라 생각합니다.

견고한 데이터 엔지니어링 책은 실제 데이터엔지니어들이 하는 업무와 현재 업무에서 부딪힌 문제에 관련해서 힌트를 줍니다.

저는 많은 내용 중에 현재와 미래에 대한 기술비교 데이터 저장소의 위치 비교 등을 다룬 "데이터 엔지니어링 수명 주기 전체에 걸친 기술 선택" 챕터를 읽고 리뷰하고자 합니다.

데이터 엔지니어링 수명주기 전체에 걸친 기술 선택

아키텍쳐를 실현하는데 쓰이는 도구는 "어떻게" 구축할지 결정한

기술(도구)을 선택할 때 고려해야하는 사항이다.

1. 팀의 규모와 능력

2. 시장 출시 속도

3. 상호운용성

4. 비용최적화 및 비즈니스 가치

5. 현재와 미래: 불변의 기술과 일시적 기술 비교

6. 구축과 구매 비교

7. 모놀리식과 모듈식 비교

8. 서버리스와 서버의 비교

9. 최적화, 성능, 벤치마크

10. 데이터 엔지니어링 수명주기의 드러나지않는 요소

기술 선택에 고려해야하는 요소 중

5번 항목 현재와 미래의 불변의 기술과 일시적인 기술에 대해 비교해보자 한다.

처음에 보면 글씨로 접해 조금 어려운것 같으나 쉽게 다시 생각해보면 바뀌지 않는 기술들과 계속해서 트렌드과 바뀌는 기술들이 있다.

쉽게 바뀌지 않는 기술로는 네트워크, 보안 등이 있다.

쉽게 바뀌지않는 기술에 추가될 기술로는 AWS S3, GCP Bigquery, Azure Blob 등 으로 데이터를 객체 스토리지에 저장하는 것이 현명한 선택이다.

일시적인 기술로는 프론트엔드를 예를 들 수 있다. 프론트엔드에서 사용되는 프레임워크를 보면 과거에는 apache ambari 웹 개발에 사용된 프레임워크인 ember.js 등 에서 현재는 react로 트렌드가 바뀐 것을 볼 수 있다.

따라서, 나를 위한 기술(도구)를 선택할 때 불변의 기술을 내 기술로 삼고 일시적인 기술은 기술주위의 도구로 삼아야한다.

개인적으로는 불변의 기술로는 컴퓨터 공학의 기본을 내 기술로 삼고 그 외 오픈소스를 다루는 것은 기술주위의 도구로 삼으라하는 필자의 조언으로 느낄 수 있었다.

데이터 엔지니어링 도구를 선택할 때도 만에 하나라도 해당 도구를 사용할 수 없는 경우를 고려하여 선택해야한다.

예를들면 프로젝트가 없어지거나 회사가 없어지거나 등을 염려해두고 다른 도구로 전환해야하는 경우를 인지해야한다.

6번 구축과 구매 비교

책에서 OSS (오픈소스소프트웨어)와 상용 OSS를 비교해준다.

편하게 생각하면 OSS 에선 apache 재단의 오픈소스를 떠올리고 상용 OSS에선 apache spark기반 데이터브릭스 제품, apache kafka기반 confluent 제품을 떠올릴 수 있다.

구축과 구매 비교해보자면 장단점이 명확하다.

직접 구축은 데이터엔지니어에게 성장할 수 있는 밑거름이 된다. 환경 구성하며 부딪히는 트러블슈팅이나 환경에대한 이해도 높일 수 있다. 그러나 오픈소스이다 보니 known issue또는 새로운 이슈들이 생길 수 있으며 운영중인 환경에서 오픈소스 이슈를 해결하는데 상당히 많은 시간이 소요된다. 

상용 OSS를 구매하여 사용하는 경우 운영에 대한 부담이 덜한 편이다. 그리고 오픈소스소프트웨어가 아닌 상용이기때문에 지원이나 이슈대응을 받을 수 있다. 그러나 처음부터 상용 OSS를 사용한다면 직접 구축에 비해 이해도가 좀 떨어 질수도 있다는 생각도 드나 데이터엔지니어 개인이 공부만 한다면 차이를 극복할 수 있다고 생각한다. 그러나 단점도 있다. 비교적 큰 비용이 들며 업무 진행할 때 지원이나 문서지원에 대해서도 고민을 해봐야한다.

끝으로

저는 현재 데이터엔지니어로 재직중에 있습니다. 업무 진행하다 보다보면 궁금한게 생기면 웹 개발에 비해 정보가 부족한편이 사실입니다. 기술외적으로 고민되는 내용들 회사 동료의 생각도 듣고, 더 나아가 다른 사람들의 경험과 생각을 접하고 싶었는데 이 책을 읽고 어느정도 해소되는 것 같았습니다.

내용은 아무래도 경험이 전혀 없는 사람에게는 전부 이해는 좀 어려울 것 같으나 데이터엔지니어직무를 희망하는 분은 꼭 읽어보면 좋을 것 같습니다. 결국 시간이 지나면 책의 내용을 이해할 수 있을 것입니다.

한빛미디어에서 책을 제공 받아 작성된 서평입니다.

스칼라의 맛

스칼라 특징

정적 타입
구문 간결하며 읽기 쉬움
객체 지향 프로그래밍 과 함수형 프로그래밍 패러다임 지원
정교한 유형 추론 시스템?
JVM에서 실행되는 클래스파일 생성
자바 라이브러리 사용하기 쉬움

Hello, World

Hello.scala

object Hello expends App {
	println("Hello, World")
}

두 가지 유형의 변수

val : 불변 변수 - 자바에서 final과 같음
var : 가변 변수 - 특별한 이유가 있을 때만 사용

변수 유형 선언

유형을 선언하지 않고 변수를 만듦

val x = 1
val s = "string"
val p = new Persion("Regina")

데이터 유형을 유추할 수 있으며, 코드 간결하게 유지하는데 도움됨
유형 명시할 수 있으나 일반적으로 필요하지않음

제어 구조

if (test1) {
    doA()
} else if (test2) {
    doB()
} else if (test3) {
    doC()
} else {
    doD()
}

삼항 연산자

val x = if (a < b) a else b

match 표현식

스칼라에서 match는 자바에서 swtich와 유사함

val result = i match {
    case 1 => "one"
    case 2 => "two"
    case _ => "not 1 or 2"
}

정수로만 제한되않고 boolean을 포함한 모든 데이터 사용함

val booleanAsString = bool match {
    case true => "true"
    case false => "false"
}

try/catch 표현식

자바 try/catch와 유사하지만 match 표현식과 일치함

try {
    writeToFile(text)
} catch {
    case fnfe: FileNotFoundException => println(fnfe)
    case ioe: IOException => println(ioe)
}

for loop와 표현식

for (arg <- args) println(arg)

// "x to y" syntax
for (i <- 0 to 5) println(i)

// "x to y by" syntax
for (i <- 0 to 10 by 2) println(i)

for-loop에 키워드를 추가하여 결과를 산출하는 yeild 생성할 수 있음

val x = for (i <- 1 to 5) yield i * 2

while do/while 표현식

// while loop
while(condition) {
    statement(a)
    statement(b)
}

// do-while
do {
   statement(a)
   statement(b)
} 
while(condition)

클래스

class Person(var firstName: String, var lastName: String) {
    def printFullName() = println(s"$firstName $lastName")
}

val p = new Person("Julia", "Kern")
println(p.firstName)
p.lastName = "Manes"
p.printFullName()

스칼라 메서드

반환 유형 선언할 필요 없음

def sum(a: Int, b: Int) = a + b
def concatenate(s1: String, s2: String) = s1 + s2

메서드 호출하는 방법

def sum(a: Int, b: Int) = a + b
def concatenate(s1: String, s2: String) = s1 + s2

trait

추 후에 자세히 봐서 지금은 그냥 넘김

Collection Class

튜플

표현식은 여기서 대충 이해하고 넘길거임

HUE 다운로드

원하는 휴 선택하여 다운로드
https://github.com/cloudera/hue/tags

Dependency 무한고통

mvn, database 설치후 기본적인 세팅은 완료 (hue 데이터 베이스와 유저 생성 작업까지 !)

python pip upgrade

curl https://bootstrap.pypa.io/pip/2.7/get-pip.py -o get-pip.py
python get-pip.py
pip install --upgrade pip

python package 설치

pip install psycopg2
pip install psycopg2-binary

OS Package 설치

sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
libffi-devel python-devel openssl-devel -y

SQLite 버전 업그레이드 (hue django 때문에 너무 아래버전일수록 설치 안됨)

https://kojipkgs.fedoraproject.org/packages/sqlite/

여기서 맞는 sqlite rpm, sqlite-devel rpm 다운로드

wget https://kojipkgs.fedoraproject.org/packages/sqlite/3.12.2/1.fc24/x86_64/sqlite-3.12.2-1.fc24.x86_64.rpm
wget https://kojipkgs.fedoraproject.org/packages/sqlite/3.12.2/1.fc24/x86_64/sqlite-devel-3.12.2-1.fc24.x86_64.rpm

rpm -Uvh sqlite-3.12.2-1.fc24.x86_64.rpm sqlite-devel-3.12.2-1.fc24.x86_64.rpm

HUE Build

desktop/devtools.mk 수정

DEVTOOLS += \
        ipython[7.10.0] \
        ipdb[0.13.9] \

휴 빌드

cd ${HUE_SRC}
make apps

HUE Start

[hue database 동기화] build/env/bin/hue migrate 
[hue server 시작] build/env/bin/hue runserver 0.0.0.0:8000
[hue login] user id/ password -admin/admin
[hdfs user 생성] hdfs dfs -mkdir /user/admin
[hdfs user dir 권한변경] hdfs dfs -chown -R admin:admin /user/admin

HUE Configs

vi ${HUE_SRC}/desktop/conf/pseudo-distributed.ini
  [[database]]
    engine=postgresql_psycopg2
    host=1.2.3.4
    name=hue
    port=5432
    user=hue
    password=hue


[hadoop]
  # Configuration for HDFS NameNode
  # ------------------------------------------------------------------------
  [[hdfs_clusters]]
    # HA support by using HttpFs
    [[[default]]]
      # Enter the filesystem uri
      fs_defaultfs=hdfs://1.2.3.4:8020
      webhdfs_url=http://1.2.3.4:50070/webhdfs/v1
# ------------------------------------------------------------------------     
[beeswax]
  hive_server_host=1.2.3.4
  hive_server_port=10000
  hive_server_http_port=10001
  max_number_of_sessions=3
  thrift_version=11
  use_sasl=true
  # ------------------------------------------------------------------------
[hbase]
  hbase_clusters=(Cluster|1.2.3.4:9090)
  thrift_transport=buffered
  ssl_cert_ca_verify=false

스파크를 실행할 때, 메모리와 코어를 설정하여 실행할 수 있다.

x=sc.parallelize([“spark”, ”rdd”, ”example”, “sample”, “example”], 3)  병렬화(transformation)

x=x.map(lambda x:(x,1))  #입력값 : x   출력값:  (x,1)  매핑(transformation)

y.collect   집합(action)

[(‘spark’,1), (‘rdd’,1), (‘example’,1), (‘sample’,1), (‘example’,1)]

spark yarn 실행

scala : spark-shell --master yarn --queue queue_name

python : pyspark --master yarn --queue queue_name

--driver-memory 3G : spark driver가 사용할 메모리 default = 1024M

--executor-memory 3G : 각 spark executor가 사용할 메모리양

--executor-cores NUM : 각 spark executor의 코어의 양

작성한 파일 Spark에서 실행시키는 방법

파이썬 파일

spark-submit –master local[num] 파일명.py 

  (num은 쓰레드 개수,default 값은 2~4개 정도)

자바,스칼라

spark-submit \ --class “SimpleApp”\ --master local[num] /location~/name.jar

NoSQL 기반 데이터베이스이다.

하둡의 데이터를 NoSQL (Key, value) 쌍으로 저장함

$ /hadoop/sbin/start-all.sh

$ ./start-hbase.sh

$ ./hbase shell

### hbase test ###

create 'test', 'cf'

list 'test'

describe 'test'

put 'test', 'row1', 'cf:a', 'value1'

put 'test', 'row2', 'cf:b', 'value2'

put 'test', 'row3', 'cf:c', 'value3'

scan 'test'

------------------------

ROW COLUMN+CELL

row1 column=cf:a, timestamp=1612833812641, value=value1  

row2 column=cf:b, timestamp=1612833817184, value=value2

row3 column=cf:c, timestamp=1612833818011, value=value3

3 row(s)

Took 0.8014 seconds

whoami

grant 'username','RWXCA'

HIVE 테이블 관리

HIVE 테이블

1. 데이터를 HIVE 테이블로 가져오면?

HiveQL, 피그, 스파크 등을 활용하여 데이터를 처리 > 상호운영 보장

2. HIVE가 지원하는 테이블 종류

    - 내부 테이블 : HIVE가 관리, HIVE/ 데이터웨어하우스에 저장, 내부테이블 삭제 시 메타정의와 데이터까지 삭제됨,

   ORC같은 형식으로 저장되어 비교적 빠른 성능

    - 외부 테이블 : 하이브가 직접 관리하지 않음,

   하이브의 메타정의만 사용하여 원시 형태로 저장된 텍스트 데이터에 접근

   외부 테이블의 데이터를 삭제해도 테이블 메타 정의만 삭제되고 데이터는 유지됨.

   해당 데이터가 하이브 외부에 적재 되어있거나 테이블이 삭제되더라도 원본 데이터가 남아 있어야할 때 사용

3.csv 파일을 하이브 테이블로 가져오기

  1.names.csv 을 HDFS에 복사

  2. hdfs dfs –mkdir names

  3. hdfs dfs –put names.csv names

  4. hive 실행 후 쿼리로 테이블 생성  location ‘/directory’ 구문은 테이블이 사용할 입력 파일의 경로이다.

  5. select * from ~ 데이터 확인하기

  6. stored as orc > 내부 테이블

  7. 데이터 형식 – 텍스트 파일, 시퀀스 파일(k-v쌍), RC 파일, ORC 형식, Parquet 형식

외부 테이블 생성

su – hdfs

hdfs dfs –mkdir /Smartcar

hdfs dfs –put /txtfile.txt /Smartcar

hdfs dfs –chown –R hive /Smartcar

hdfs dfs –chmod –R 777 /Smartcar

su – hive

hive

create external table (~) ~ location /Smartcar;

내부 테이블 생성

create table (~) ~ location /Smartcar;

외부 테이블의 데이터 내부 테이블로 복사

insert overwrite table SmartCar_in

select * from SmartCar_ex;

내부 테이블 디렉터리 생성확인

hdfs dfs –ls /Smartcar

/Smartcar/base_0000001/bucket_00000/bucket_00000

하이브는 SQL과 유사해서

기존에 SQL을 공부했다면 어렵지않다.

하둡 버전 3.1 기준으로 

개인적으로 정리한 명령어이다.

기존에 리눅스에 대해 공부했다면 하둡 명령어를 공부하는데에 엄청 어렵진않다.

1.hdfs dfs –cat /tmp/Sample2.txt      #파일 읽기

2.hdfs dfs –checksum /tmp/Sample2.txt 데이터무결성

3.hdfs dfs –chgrp kyn /tmp/Sample2.txt

4.hdfs dfs –chown kyn /tmp/Sample2.txt

5.hdfs dfs –chmod –R 777 /tmp/Sample2.txt

6.hdfs dfs –copyFromLocal /tmp/Sample2.txt put유사

7.hdfs dfs –copyToLocal /tmp/Sample2.txt

8.hdfs dfs –count /tmp/Sample2.txt

9.hdfs dfs –cp /tmp/Sample2.txt /tmp/rename.txt

10. hdfs dfs –createSnapshot

11. hdfs dfs –deleteSnapshot

12.hdfs dfs -df -h /tmp/ 디스크 여유 공간

13.hdfs dfs –du –h /tmp/ 디스크 사용량

14.hdfs dfs –expunge 휴지통 비우기 (hdfs 파일 삭제 후 휴지통에 임시저장, 시간경과후 삭제함)

15.hdfs dfs –find /temp/Sample2.txt

16.hdfs dfs –get /temp/Sample2.txt

17.hdfs dfs –head /temp/Sample2.txt

18.hdfs dfs –help

20. hdfs dfs –ls /

21. hdfs dfs –mkdir /temp/test

22. hdfs dfs –moveFromLocal  (Local 에서 hdfs)

23. hdfs dfs –moveToLocal (hdfs에서 local)

24. hdfs dfs –mv /tmp/Sample2.txt /tmp/test

25. hdfs dfs –put /root/home/Sample.txt /tmp

26. hdfs dfs –renameSnapshot oldname newname

27. hdfs dfs –rmdir/test

28. hdfs dfs –rm /tmp/Sample2.txt

29. hdfs dfs –stat ‘%d %o %r %u %n’ /tmp/Sample2.txt

%b  파일 크기 %o 파일 블록 크기 $r 복제 수 %u 소유자 %n 파일명

30. hdfs dfs –tail –F /tmp/Sample2.txt

31. hdfs dfs –test ~  true > 0 false > -1

32. hdfs dfs –text /tmp/filename

33. hdfs dfs –touch /tmp/filename

34. hdfs dfs –touchz /tmp/filename (0 byte)

35. hdfs dfs –usage command 사용방법 출력

File system checking

1.hdfs fsck /

2.hdfs fsck delete

커럽트된 파일 삭제

3. hdfs fsck move

커럽트된 파일 이동

Status: HEALTHY

 Number of data-nodes:  3

 Number of racks:               1

 Total dirs:                    950

 Total symlinks:                0

Replicated Blocks:

 Total size:    3664434506 B (Total open files size: 1353 B)  현재 사용중인 byte

 Total files:   2127 (Files currently being written: 10)

 Total blocks (validated):      1998 (avg. block size 1834051 B)

 (Total open file blocks (not validated): 5)

 Minimally replicated blocks:   1998 (100.0 %)  최소개수로 복제된 블록

 Over-replicated blocks:        0 (0.0 %)     설정 값보다 더 복제된 블록

 Under-replicated blocks:       1998 (100.0 %)     설정 값보다 아래 복제블록

 Mis-replicated blocks:         0 (0.0 %)     규정 위반 블록

 Default replication factor:    3     dfs.replication 값

 Average block replication:     1.998999     복제값 평균

 Missing blocks:                0

 Corrupt blocks:                0     오류발생

 Missing replicas:              1998 (33.34446 %)       복제존재X블록

커럽트 상태

모든 블록에 문제 생겨

복구 못하는 상태

3copy 방식으로 데이터노드 중 문제 생기면

Reblancing을 통해 데이터의 크기를 맞추거나

유실된?데이터를 copy

NameNode 상태 관리

Hdsf dfsadmin –safemode enter  : Namenode 데이터 변경 못하게 safemode

Hdfs dfsadmin –safemode get : name node 확인

Hdfs dfsadmin –safemode leave : name node가 safemode 나감

hdfs envvars (환경변수 출력됨)

JAVA_HOME='/usr/java/jdk'

HADOOP_HDFS_HOME='/usr/hdp/3.1.0.0-78/hadoop-hdfs'

HDFS_DIR='./'

HDFS_LIB_JARS_DIR='lib'

HADOOP_CONF_DIR='/usr/hdp/3.1.0.0-78/hadoop/conf'

HADOOP_TOOLS_HOME='/usr/hdp/3.1.0.0-78/hadoop'

HADOOP_TOOLS_DIR='share/hadoop/tools'

HADOOP_TOOLS_LIB_JARS_DIR='share/hadoop/tools/lib'

hdfs httpfs

HttpFS 서버, HDFS HTTP 게이트웨이 실행

1.hdfs version  설치된 하둡 버전 확인

2.hdfs classpath 설치된 하둡 jar, 필요한 라이브러리 classpath 출력

3.hdfs groups  hdfs : hadoop hdfs kyn

4.hdfs lsSnapshottableDir 스냅샷 리스트 출력됨

5.hdfs jmxget jmx정보 출력

1.init: server=localhost;port=;service=NameNode;localVMUrl=null

2.Domains:

3.        Domain = JMImplementation

4.        Domain = com.sun.management

5.        Domain = java.lang

6.        Domain = java.nio

7.        Domain = java.util.logging

8.MBeanServer default domain = DefaultDomain

9.MBean count = 22

10.Query MBeanServer MBeans:

11.List of all the available keys:

JMX - 응용 프로그램(소프트웨어)/객체/장치 (프린터 등) 및 서비스 지향 네트워크 등을 감시 관리를 위한 도구를 제공하는 자바 API이다.

1.Hdfs oev   Hadoop offline edits viewer editlogs 파일 포맷 파싱

2.Hdfs oiv    Hadoop offline image viewer fsImage 사람이 읽을 수 있게 변경

3.Hdfs snapshotDiff [경로]

1.A스냅샷 B 스냅샷 A에서 B와 다른 점 출력

Administration Commands

Hdfs balancer : 블록 위치 분석, 데이터 노드를 통해 데이터 균형맞춤

Hdfs cacheadmin : cache pool과 상호작용 가능,

Hdfs cypto : 배치에서 반환할 수 있는 최대 enctyption zone 목록화, 네임노드 퍼포먼스 향상

Hdfs datanode : HDFS 데이터노드 실행, 롤백

Hdfs dfsrouter : DFS 라우터 실행

Hdfs dfsrouteradmin : 라우터 기반 조직 관리

Hdfs diskbalancer : diskbalancer 실행 (모든 디스크의 데이터노드에 데이터 분배하는 역할)

Hdfs ec : erasure conding _ 소거코드 관련된 명령어

Hdfs haadmin : namenode status 확인, namenode active 선정

Hdfs journalnode : journalnode 시작

Hdfs mover : data migration 실행

Hdfs namenode : namenode 실행, 백업, 회복, 업그레이드, 이전버전으로 롤백,,등

Hdfs nfs3 : HDFS NFS3 서비스 사용하기 위해 NFS3 게이트웨이 실행

Hdfs portmap : HDFS NFS3서비스 사용하기 위해 RPS portmap 실행

Hdfs secondarynamenode : secondary namenode 실행

Hdfs storagepolicies : storage policies 리스트 출력, 설정  

BlockStoragePolicy{PROVIDED:1, storageTypes=[PROVIDED, DISK], creationFallbacks=[PROVIDED, DISK]

, replicationFallbacks=[PROVIDED, DISK]}

Hdfs zkfc : zookeeper failover(장애대비기능) controller process 실행

hdfs dfsadmin -report

Configured Capacity: 248290449920 (231.24 GB)

Present Capacity: 194169229810 (180.83 GB)

DFS Remaining: 183161573874 (170.58 GB)

DFS Used: 11007655936 (10.25 GB)

DFS Used%: 5.67%

Replicated Blocks:

        Under replicated blocks: 0

        Blocks with corrupt replicas: 0

        Missing blocks: 0

        Missing blocks (with replication factor 1): 0

        Low redundancy blocks with highest priority to recover: 0

        Pending deletion blocks: 0

Erasure Coded Block Groups:

        Low redundancy block groups: 0

        Block groups with corrupt internal blocks: 0

        Missing block groups: 0

        Low redundancy blocks with highest priority to recover: 0

        Pending deletion blocks: 0

-------------------------------------------------

Live datanodes (3):

Name: 192.168.56.131:50010 

Hostname: bdd.co.kr

Decommission Status : Normal

Configured Capacity: 76060626432 (70.84 GB)

DFS Used: 3599179776 (3.35 GB)

Non DFS Used: 21608422912 (20.12 GB)

DFS Remaining: 50584588454 (47.11 GB)

DFS Used%: 4.73%

DFS Remaining%: 66.51%

Configured Cache Capacity: 0 (0 B)

Cache Used: 0 (0 B)

Cache Remaining: 0 (0 B)

Cache Used%: 100.00%

Cache Remaining%: 0.00%

Xceivers: 6

Last contact: Fri Sep 04 12:14:34 KST 2020

Last Block Report: Fri Sep 04 08:00:09 KST 2020

Num of Blocks: 2003

Hdfs dfsadmin –report –live : 살아있는 데이터 노드 포함 하둡 상태

Hdfs dfsadmin –report –dead: 죽은 데이터 노드 상태

Debug Commands

Hdfs debug verifyMeta : HDFS 메타데이터, 블록 파일 검증.

메타파일의 체크섬과 블록파일과 매치하여 검증

Hdfs debug computeMeta : 블록파일에서의 HDFS 메타데이터 계산,

블록파일에서 체크섬 계산하고 메타데이터 산출물에 저장함

Hdfs debug recoverLease : recoverLease를 클라이언트가 recoverLease를 몇 번 호출할지 설정(default = 1),

지정된 path에서 lease 회복

HDFS lease >> 클라이언트에게 쓰기 작업을 위해 파일 여는 것을 권한을 부여 받음

하둡의 문제점을 보완하기 위해 스파크 생김

하둡의 문제는

1. 반복적인 작업에는 비효율적임

2. 맵리듀스시 네트워크 트래픽으로 인해 성능저하됨.

스파크란?

기존 맵리듀스의 디스크 입출력을 보완하여

인 메모리기반 데이터 처리 프레임 워크 이다.

인 메모리 - 최초 데이터 입력, 출력에만 디스크에 작성함으로 네트워크 트래픽 발생 낮춤, 중간 결과는 병렬처리함

스파크의 주요기능 - 스파크 SQL, 스파크 스트리밍, 스파크 MLlib, 스파크 GraphX, 스파크 코어, 스파크 작업 처리

스파크 아키텍처

노드매니저 안에  드라이버 프로그램이 있음.

1. 드라이버 프로그램이 SparkContext 인스턴스 생성함(이때 yarn과 연결)

2. executors 를 요구

3. 애플리케이션 코드를 executors에 보낼 것

4. SparkContext 는 executors를 실행하기 위해 task를 보냄

Spark의 Driver는 YARN에서 Application Master와 같음

스파크 설치

스파크의 RDD

RDD의 개념(Resilient Distributed Datasets)

-스파크 내에 저장되는 데이터 셋 타입

-내부적으로 연산하는 데이터들을 모두 RDD 타입으로 처리

Immutable, Partitioned Collections of Records

여러 분산 노드에 나누어지며

다수의 파티션으로 관리됨

변경이 불가능한 데이터 셋

RDD의 생성

1. 외부로부터 데이터를 가져올 때

2. 코드에서 생성되는 데이터를 저장할 때

RDD를 제어하는 2개의 연산 타입

1.Transformation : RDD에서 새로운 RDD 생성하는 함수 (filter, map)

2.Action : RDD에서 RDD가 아닌 다른 타입의 데이터로 변환하는 함수(count, collect)

RDD 분산 처리 방법

1.Immutable : 데이터셋 생성 뒤 변하지 않음

2.Partitoned : 데이터셋을 잘게 자름

RDD Partitioning

하나의 RDD는 여러 개의 파티션으로 나뉜다.

파티션의 개수와 파티션을 선택할 수 있다.

RDD Dependency

-Narrow Dependency

파티션이 1:1로 매핑 되어 네트워크 필요 없고 하나의 노드에서 작업 가능하다, 그리고 파티션 복원 쉬움  

-Wide Dependency

파티션이 1:N로 매핑 되어 파티션 재계산 비용 비싸며, 네트워크를 사용한다.

RDD Lineage

RDD연산 순서 기록 -> DAG (순환되지않음)

 Fault tolerant : 계보로 똑같은 RDD 생성 가능함

 Lazy execution

-Transformation 연산 시 계보 작정 됨

-Action 연산 시 계보 실행됨

미리 작성된 계보로 자원할당 참고할 수 있음

현재 쓰고있는 자원, 앞으로 사용할 자원, Dependency로 작업 스케줄링에 활용 가능함

Spark YARN 실행

Spark Shell 입력 후 코드 작성해보기

x에 스파크 콘텍스트 병렬화로 생성함

y에 x를 맵형식으로 x값과 1 저장함

collect 써서 집합 출력함

작성한 스파크에서 실행하는 방법

파이썬 파일  (num은 쓰레드 개수, default 값은 2~4개 정도)

자바,스칼라 파일

스파크에서 맵리듀스

RDD (K1,V1) 데이터 입력

flatMap()연산 수행하여 RDD (K2,V2) 출력

RDD (K2,V2) 값으로 셔플함 , groupByKey()과 sortByKey()연산 수행함

RDD (K3, V3) 값에 shuffled후 flatMap() 연산한 결과값 저장함

아파치 에이브로란 ? 

- 특정 언어에 종속되지 않는 언어 중립적 데이터 직렬화 시스템

- 하둡 Writable의 주요 단점인 언어 이식성 해결 위해 생겨남

아파치 쓰리프트, 구글 프로토콜 버퍼와 다른 차별화된 특성가지고 있음

데이터는 다른 시스템과 비슷하게 언어 독립 스키마로 기술됨

에이브로에서 코드 생성은 선택사항임

데이터를 읽고 쓰는 시점에 스키마는 항상 존재한다 가정함 - 매우 간결한 코딩이 가능

스키마의 작성

JSON

데이터는 바이너리 포맷으로 인코딩

에이브로 명세 - 모든 구현체가 지원해야 하는 버이너리 포맷에 대한 자세한 내용

API - 에이브로 명세에서 빠져있는 내용임. 각 특정언어에 따라 다르게 작성됨. 언어의 바인딩 편의성 높이고 상호운영성 저하 문제 해결됨

스키마해석 - 신중하게 정의된 어떠한 제약조건에서도 데이터를 읽는 데 사용되는 스키마와 데이터를 쓰는 데 사용되는 스키마가 같지 않아도 된다.(스키마 변형 메커니즘)

ex ) 과거의 데이터를 읽을 때 사용한 스키마에 새로운 필드를 추가할 수 있다. 새로운 사용자와 기존 사용자는 모두 과거의 데이터를 문제없이 읽을 수 있으며새로운 사용자는 새로운 필드가 추가된 데이터를 쓸수 있다. 기존 사용자는 새로운 데이터를 보게되는데 새로운 필드는 무시하고 기존 데이터 작업처럼 처리할 수 있다.

객체 컨테이너 포맷 제공(하둡 시퀀스 파일과 유사함)

에이브로 데이터 파일은 스키마가 저장된 메타데이터 섹션을 포함하고 있어 자신을 설명하는 파일임

에이브로 데이터 파일은 압축과 분할 기능 제공

에이브로 자료형과 스키마

에이브로의 기본 자료형 표시

에이브로 복합 자료형

array 순서있는 객체 집합, 동일 타입

map 순서 없는 키-값, 동일 타입

record 임의의 자료형

enum 명명된 값의 집합

fixed 고정길이 8비트 부호 없는 바이트

union 스키마의 유니온, 배열의 각요소는 스키마임

에이브로 자료형과 다른 프로그래밍 언어 자료형 매핑 필요

자바 - 제네릭 매핑 : 스키마를 결정할 수 없을 때

자바, C++ - 구체적 매핑 : 스키마 데이터 표현 코드 생성

자바 - 리플렉트 매핑 : 에이브로 자료형을 기존 자바 자료형으로 매핑 

인메모리 직렬화와 역직렬화

에이브로 스키마 예시 - 해당 에이브로 스키마는 StringPair.avsc 에 저장됨 

파일을 클래스 경로에 저장한 후 로딩함

제네릭 API 를 사용하여 에이브로 레코드의 인스턴스를 생성함

출력 스트림에 레코드를 직렬화함

DatumReader : 데이터 객체를 인코더가 이해할 수 있는 자료형으로 반환

GenericDatumReader : GenericRecord의 필드를 인코더로 전달

이전의 생성된 인코더를 재사용하지 않기 때문에 인코더 팩토리에 null 전달

writer() 스트림 닫기 전에 필요하면 더 호출 가능

encoder.flush(); write메서드 호출 후 인코더 플러시하고 출력 스트림 닫음

해당 과정 반대로 하면 바이트 버퍼에서 객체 읽을 수 있음

구체적인 API

메이븐에 추가하여 자바로된 스키마 코드 생성할 수 있다.

에이브로 데이터 파일

인메모리 스트림에서 파일 읽기

데이터 파일 = 에이브로 스키마 +  헤더 (메타데이터 (싱크마커 포함)) +일련의 블록 (직렬화된 에이브로 객체가 있는)

데이터 파일에 기록된 객체는 반드시 파일의 스키마와 일치해야한다.

일치하지않는 경우에 append시 예외 발생할 수 있다.

파일에 포함된 메타데이터 참조하여 읽기 때문에 스키마를 따로 정의하지않아도됨

getSchema()를 이용하면 DataFileReader 인스턴스의 스키마 정보 얻을 수 있고 원본 객체에 사용한 스키마와 같은지 확인가능 

DataFileReader는 정규 자바 반복자로 hasNext, next메서드를 반복적으로 호출하여

모든 데이터 객체를 순환할 수 있다. 레코드가 한개만 있는지 확인하고 기대한 필드값 있는 지 확인

상호 운영성

파이썬 API

에이브로 도구

스키마 해석

기록할 때 사용한 writer 스키마와 다른 reader의 스키마를 사용하여 데이터를 다시 읽을 수 있다,.

추가된 필드 - reader 신규일 때, reader는 신규 필드의 기본값이용

추가된 필드 - writer 신규일 때, reader는 신규 필드 모르기 때문에 무시함

제거된 필드 - reader 신규일 때, 삭제된 필드 무시

제거된 필드 - writer 신규일 때, 제거된 필드 기록하지 않음. reader 의 스키마를 writer 스키마와 같게 맞추거나 이전으로 갱신함

정렬 순서

record를 제외안 모든 자료형에는 순서가 정해져있음

record는 order 속성 명시하여 정렬 제어할 수 있다.

오름차순 (기본)

내림차순 : descending

무시 : ignore

에이브로 맵리듀스

날씨 레코드 

최고 기온을 찾는 맵리듀스 프로그램, 에이브로 출력 만듦

프로그램 실행

결과물출력

에이브로 맵리듀스 이용해 정렬

에이브로 데이터 파일을 정렬하는 맵리듀스 프로그램

정렬은 맵리듀스 셔플 과정에서 일어나며 정렬기능은 에이브로의 스키마에 의해 정해짐

입력데이터 점검

프로그램사용하여 정렬

정렬 후 저장된 파일 출력