data_lab

HUE 다운로드

원하는 휴 선택하여 다운로드
https://github.com/cloudera/hue/tags

Dependency 무한고통

mvn, database 설치후 기본적인 세팅은 완료 (hue 데이터 베이스와 유저 생성 작업까지 !)

python pip upgrade

curl https://bootstrap.pypa.io/pip/2.7/get-pip.py -o get-pip.py
python get-pip.py
pip install --upgrade pip

python package 설치

pip install psycopg2
pip install psycopg2-binary

OS Package 설치

sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
libffi-devel python-devel openssl-devel -y

SQLite 버전 업그레이드 (hue django 때문에 너무 아래버전일수록 설치 안됨)

https://kojipkgs.fedoraproject.org/packages/sqlite/

여기서 맞는 sqlite rpm, sqlite-devel rpm 다운로드

wget https://kojipkgs.fedoraproject.org/packages/sqlite/3.12.2/1.fc24/x86_64/sqlite-3.12.2-1.fc24.x86_64.rpm
wget https://kojipkgs.fedoraproject.org/packages/sqlite/3.12.2/1.fc24/x86_64/sqlite-devel-3.12.2-1.fc24.x86_64.rpm

rpm -Uvh sqlite-3.12.2-1.fc24.x86_64.rpm sqlite-devel-3.12.2-1.fc24.x86_64.rpm

HUE Build

desktop/devtools.mk 수정

DEVTOOLS += \
        ipython[7.10.0] \
        ipdb[0.13.9] \

휴 빌드

cd ${HUE_SRC}
make apps

HUE Start

[hue database 동기화] build/env/bin/hue migrate 
[hue server 시작] build/env/bin/hue runserver 0.0.0.0:8000
[hue login] user id/ password -admin/admin
[hdfs user 생성] hdfs dfs -mkdir /user/admin
[hdfs user dir 권한변경] hdfs dfs -chown -R admin:admin /user/admin

HUE Configs

vi ${HUE_SRC}/desktop/conf/pseudo-distributed.ini
  [[database]]
    engine=postgresql_psycopg2
    host=1.2.3.4
    name=hue
    port=5432
    user=hue
    password=hue


[hadoop]
  # Configuration for HDFS NameNode
  # ------------------------------------------------------------------------
  [[hdfs_clusters]]
    # HA support by using HttpFs
    [[[default]]]
      # Enter the filesystem uri
      fs_defaultfs=hdfs://1.2.3.4:8020
      webhdfs_url=http://1.2.3.4:50070/webhdfs/v1
# ------------------------------------------------------------------------     
[beeswax]
  hive_server_host=1.2.3.4
  hive_server_port=10000
  hive_server_http_port=10001
  max_number_of_sessions=3
  thrift_version=11
  use_sasl=true
  # ------------------------------------------------------------------------
[hbase]
  hbase_clusters=(Cluster|1.2.3.4:9090)
  thrift_transport=buffered
  ssl_cert_ca_verify=false

사전작업 필요

1. root 계정에 JAVA_HOME 추가 필요함
2. solr 설치
3. Maven 3.6.3 설치
4. PostgreSQL 설치 및 DB - ranger, User - rangeradmin(pw:rangeradmin) 생성

작업들 실행할 때 root 또는 권한 가진 계정으로 해야함
solr 설치필요!
https://n-a-y-a.tistory.com/m/68

필요한 패키지들

Ranger 설치 및 MVN 빌드

mvn 빌드는 한시간 반정도 걸리고, mvn에서 빌드 에러는 나지않았음.
에러 날 경우, mvn 설정 값 확인 필요함.

Ranger - Admin 설치

Ranger - Admin Config 설정

/usr/share/java/ dir에 postgresql JDBC 설치 필요!

Solr 실행되어 있는 상태에서 solr-ranger set up

Solr 실행

Ranger-admin setup.sh 실행

성공로그

ranger-admin 실행

6080 포트 접속하면 ranger 화면 확인가능함.
ID/PW : admin

아파치 에이브로란 ? 

- 특정 언어에 종속되지 않는 언어 중립적 데이터 직렬화 시스템

- 하둡 Writable의 주요 단점인 언어 이식성 해결 위해 생겨남

아파치 쓰리프트, 구글 프로토콜 버퍼와 다른 차별화된 특성가지고 있음

데이터는 다른 시스템과 비슷하게 언어 독립 스키마로 기술됨

에이브로에서 코드 생성은 선택사항임

데이터를 읽고 쓰는 시점에 스키마는 항상 존재한다 가정함 - 매우 간결한 코딩이 가능

스키마의 작성

JSON

데이터는 바이너리 포맷으로 인코딩

에이브로 명세 - 모든 구현체가 지원해야 하는 버이너리 포맷에 대한 자세한 내용

API - 에이브로 명세에서 빠져있는 내용임. 각 특정언어에 따라 다르게 작성됨. 언어의 바인딩 편의성 높이고 상호운영성 저하 문제 해결됨

스키마해석 - 신중하게 정의된 어떠한 제약조건에서도 데이터를 읽는 데 사용되는 스키마와 데이터를 쓰는 데 사용되는 스키마가 같지 않아도 된다.(스키마 변형 메커니즘)

ex ) 과거의 데이터를 읽을 때 사용한 스키마에 새로운 필드를 추가할 수 있다. 새로운 사용자와 기존 사용자는 모두 과거의 데이터를 문제없이 읽을 수 있으며새로운 사용자는 새로운 필드가 추가된 데이터를 쓸수 있다. 기존 사용자는 새로운 데이터를 보게되는데 새로운 필드는 무시하고 기존 데이터 작업처럼 처리할 수 있다.

객체 컨테이너 포맷 제공(하둡 시퀀스 파일과 유사함)

에이브로 데이터 파일은 스키마가 저장된 메타데이터 섹션을 포함하고 있어 자신을 설명하는 파일임

에이브로 데이터 파일은 압축과 분할 기능 제공

에이브로 자료형과 스키마

에이브로의 기본 자료형 표시

에이브로 복합 자료형

array 순서있는 객체 집합, 동일 타입

map 순서 없는 키-값, 동일 타입

record 임의의 자료형

enum 명명된 값의 집합

fixed 고정길이 8비트 부호 없는 바이트

union 스키마의 유니온, 배열의 각요소는 스키마임

에이브로 자료형과 다른 프로그래밍 언어 자료형 매핑 필요

자바 - 제네릭 매핑 : 스키마를 결정할 수 없을 때

자바, C++ - 구체적 매핑 : 스키마 데이터 표현 코드 생성

자바 - 리플렉트 매핑 : 에이브로 자료형을 기존 자바 자료형으로 매핑 

인메모리 직렬화와 역직렬화

에이브로 스키마 예시 - 해당 에이브로 스키마는 StringPair.avsc 에 저장됨 

파일을 클래스 경로에 저장한 후 로딩함

제네릭 API 를 사용하여 에이브로 레코드의 인스턴스를 생성함

출력 스트림에 레코드를 직렬화함

DatumReader : 데이터 객체를 인코더가 이해할 수 있는 자료형으로 반환

GenericDatumReader : GenericRecord의 필드를 인코더로 전달

이전의 생성된 인코더를 재사용하지 않기 때문에 인코더 팩토리에 null 전달

writer() 스트림 닫기 전에 필요하면 더 호출 가능

encoder.flush(); write메서드 호출 후 인코더 플러시하고 출력 스트림 닫음

해당 과정 반대로 하면 바이트 버퍼에서 객체 읽을 수 있음

구체적인 API

메이븐에 추가하여 자바로된 스키마 코드 생성할 수 있다.

에이브로 데이터 파일

인메모리 스트림에서 파일 읽기

데이터 파일 = 에이브로 스키마 +  헤더 (메타데이터 (싱크마커 포함)) +일련의 블록 (직렬화된 에이브로 객체가 있는)

데이터 파일에 기록된 객체는 반드시 파일의 스키마와 일치해야한다.

일치하지않는 경우에 append시 예외 발생할 수 있다.

파일에 포함된 메타데이터 참조하여 읽기 때문에 스키마를 따로 정의하지않아도됨

getSchema()를 이용하면 DataFileReader 인스턴스의 스키마 정보 얻을 수 있고 원본 객체에 사용한 스키마와 같은지 확인가능 

DataFileReader는 정규 자바 반복자로 hasNext, next메서드를 반복적으로 호출하여

모든 데이터 객체를 순환할 수 있다. 레코드가 한개만 있는지 확인하고 기대한 필드값 있는 지 확인

상호 운영성

파이썬 API

에이브로 도구

스키마 해석

기록할 때 사용한 writer 스키마와 다른 reader의 스키마를 사용하여 데이터를 다시 읽을 수 있다,.

추가된 필드 - reader 신규일 때, reader는 신규 필드의 기본값이용

추가된 필드 - writer 신규일 때, reader는 신규 필드 모르기 때문에 무시함

제거된 필드 - reader 신규일 때, 삭제된 필드 무시

제거된 필드 - writer 신규일 때, 제거된 필드 기록하지 않음. reader 의 스키마를 writer 스키마와 같게 맞추거나 이전으로 갱신함

정렬 순서

record를 제외안 모든 자료형에는 순서가 정해져있음

record는 order 속성 명시하여 정렬 제어할 수 있다.

오름차순 (기본)

내림차순 : descending

무시 : ignore

에이브로 맵리듀스

날씨 레코드 

최고 기온을 찾는 맵리듀스 프로그램, 에이브로 출력 만듦

프로그램 실행

결과물출력

에이브로 맵리듀스 이용해 정렬

에이브로 데이터 파일을 정렬하는 맵리듀스 프로그램

정렬은 맵리듀스 셔플 과정에서 일어나며 정렬기능은 에이브로의 스키마에 의해 정해짐

입력데이터 점검

프로그램사용하여 정렬

정렬 후 저장된 파일 출력

hue 설치 할 때 앞서 있던 하둡 에코시스템들이 어느정도 설치되었다고 가정하고 진행하겠다.

휴의 경우 설치하기전에 사전작업을 해줘야 한다.

postgres는 다른 포스트에서 설정을 다루기로 하고,

휴 설치 가이드 에서는 휴에서 사용할 데이터 베이스 생성정도만 다룰 예정이다.

사전작업

휴는 파이썬을 사용하기 때문에 환경변수로 파이썬 버전을 잡아줘야한다.

환경변수는 .bash_profile 에 추가하였다.

파이썬 환경변수 추가

$ sudo vi ~/..bash_profile

export PYTHON_VER=python3.8

psycopg2 설치 (전에 pip도 설치되어 있어야함)

$ pip install psycopg2

$ python setup.py build

$ sudo python setup.py install

$ pip install psycopg2-binary

nodejs 설치 (centos7 기준 이다.)

$ sudo yum install epel-release

$ sudo yum install nodejs

hue 에서 사용하는 package 설치

$ sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
cs

maven 설치

$ wget https://downloads.apache.org/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz -P /tmp

$ sudo tar xf /tmp/apache-maven-3.6.3-bin.tar.gz -C /opt

$ sudo ln -s /opt/apache-maven-3.6.0 /opt/maven 

$ sudo vi ~/.bash_profile

#MAVEN

export MAVEN_HOME=/opt/maven

export M2_HOME=$MAVEN_HOME

PATH=$PATH:$M2_HOME/bin:

$ source ~/.bash_profile

$ vi /opt/maven/conf/settings.xml

mirror 사이트 추가하기

maven build가 필요한 아파치 오픈소스들이 있는데, centos의 경우 yum install maven시 3.0.5가 설치된다.
3.0.5버전으로 빌드 시 fail이 빈번하기도하고, 공식사이트에서도 3.3이상 버전 사용하는 것을 추천하기 때문에
아파치 미러 사이트에서 최신버전 maven을 사용하는 것을 추천한다.

postgres에 hue db, user 추가하기

psql -U postgres

CREATE USER hue WITH PASSWORD 'hue';

CREATE DATABASE hue OWNER hue;

\l

휴 데이터베이스와 오너 확인하기

---

Solr 설치

https://n-a-y-a.tistory.com/m/68

---

휴 설치

$ wget https://cdn.gethue.com/downloads/hue-4.0.1.tgz

$ tar -xvzf hue-4.0.1.tgz

$ ln -s hue-4.0.0 hue

$ cd hue

$ export PREFIX=/usr/local

$ make 7$ make install

휴 실행

$ ./build/env/bin/supervisor &

$ netstat -nltp | grep 8888

입력시 서비스 올라온 것 확인할 수 있다.


***HDFS***
***HIVE***
***HBASE***
등 각 서비스들은 현재 연결된 상태는 아니므로
맞는 config값들을 찾아 수정해줘야한다.


참고사이트
docs.gethue.com/administrator/installation/

주키퍼란 분산 애플리케이션을 위한 분산 코디네이션이다.

znode(저널노드)가 각각의 서버에 위치해 있다.

각 하둡의 서비스들이 잘 동작하고 있는지 확인한다.

주기적으로 하트비트 요구하여 받는 방식으로,

따라서 주기퍼는 홀수로 클러스터를 구성하는데

여기서 들어가는 개념이 쿼럼이다.

쿼럼이란? 

다수결로 예를 들어 5개의 서버로 구성 되어있고,

2개의 서버가 죽는다고 가정했을 때 정상적으로 동작한다고 판단한다.

그리고 5개 중 3개의 서버가 죽었을 경우, 다수결로 인해 비정상이라고 판다한다.

그로 인해, 주키퍼는 홀수로 클러스터를 구성한다.

zookeeper 클러스터는

하나의 서버가 리더이고, 다른 서버는 팔로워이다

리더 서버를 기준으로 sync를 맞춘다.

자세한 내용은 공식 사이트 참조바람

주키퍼 설치 방법

주키퍼 파일 다운로드 후 압축 해제 후 테스트

주키퍼 conf에서 zoo.cfg 파일 생성

주키퍼 실행

jps로 주키퍼 실행 중인지 확인

netstat -nltp | grep 2181로 주키퍼 확인하기

주키퍼의 포트번호는 zoo.cfg 파일에서 변경할 수 있다.

livy-env.sh

export SPARK_HOME=/usr/lib/spark

export HADOOP_CONF_DIR=/etc/hadoop/conf

livy start

./bin/livy-server start

livy 정상동작하는지 spark에서 테스트하는 예제

sudo pip install requests

import json, pprint, requests, textwrap

host = 'http://localhost:8998'

data = {'kind': 'spark'}

headers = {'Content-Type': 'application/json'}

r = requests.post(host + '/sessions', data=json.dumps(data), headers=headers)

r.json() {u'state': u'starting', u'id': 0, u'kind': u'spark'}

https://dlcdn.apache.org/hive/hive-3.1.2/

apache mirror 사이트에서 원하는 hive 버전의 binary 폴더를 다운받는다. 

사전작업 - Hadoop Path 설정 되어있어야함

export HADOOP_HOME=<hadoop-install-dir>

압축해제

wget https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
tar xvzf apache-hive-3.1.2-bin.tar.gz

환경변수 설정

Hive 홈 환경변수를 설정해야한다.

.bash_prifile에서 수정하는 방식보단 /etc/profile.d/에 쉘 스크립트를 추가해줄것

vi /etc/profile.d/hive_home.sh

export HIVE_HOME=/opt/apache-hive-3.1.2-bin

export PATH=$PATH:$HIVE_HOME/bin

해당 파일 저장 후 한번 실행해준다.

chmod +x hive_home.sh
./hive_home.sh
source hive_home.sh

echo $HIVE_HOME

해당 명령어 결과로 정상적으로 반영되었는지 확인작업 필요하다.

Hadoop에 tmp, hive warehouse 디렉터리 생성

hadoop fs -mkdir       /tmp
hadoop fs -mkdir       /user/hive/warehouse
hadoop fs -chmod g+w   /tmp
hadoop fs -chmod g+w   /user/hive/warehouse

Hive CLI 실행

 $HIVE_HOME/bin/hive

 $HIVE_HOME/bin/schematool -dbType <db type> -initSchema

dbtype 은 기존에 설치되어있는 DB를 사용하려면 해당 부분에 mysql, oracle, postgres 를 입력하면 되고,

테스트를 위하면 derby라는 hive 내장 DB를 사용하면 된다.

HIVE Config 설정

cp /conf/hive-default.xml /conf/hive-site.xml

해당 템플릿을 hive-site로 복사

hive-site.xml 변경 - postgresql DB 사용시

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:postgresql://mypostgresql.testabcd1111.us-west-2.rds.amazonaws.com:5432/mypgdb</value>
    <description>PostgreSQL JDBC driver connection URL</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>org.postgresql.Driver</value>
    <description>PostgreSQL metastore driver class name</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>database_username</value>
    <description>the username for the DB instance</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>database_password</value>
    <description>the password for the DB instance</description>
  </property>

RDBMS

스키마에 의존성 강함 으로

작업이 진행 불가능한 경우가 있음

 - 스키마가 제대로 정의되어 있지않거나

 - 쿼리를 통한 질의가 스키마에 맞지 않을 경우

대용량 데이터 처리하는데 부적절함 – 많은 시간 소요됨

HIVE

데이터웨어 하우징 인프라

데이터 저장, 처리에 스키마 검증 없음

스키마에 맞지 않는 쿼리는 null 리턴

• SQL과 유사한 HiveQL 사용
• MapReduce 프로그램 작성 대신 쿼리 인터페이스 서비스 제공
• 쿼리 실행 시 MapReduce 프로그램으로 전환되어 결과 생성
• 비 정형화된 입력 소스 분석에는 적합하지 않음

HIVE Architecture

-HIVE Client

-JDBC 응용 프로그램 지원 ,

-Thrift 기반 응용 프로그램 지원(서로 커뮤니케이션 할 수 있는 통신 프로토콜),

-ODBC기반 응용 프로그램 지원

-HIVE Server

-HIVE 서버 

-CLI Command line interface : 유저가 HIVE 쿼리 사용할 수 있는 인터페이스

-Hive Web Interface : 유저가 HIVE 쿼리 사용할 수 있는 웹 인터페이스

-Driver : HIVE에 job이 왔을 때 생성하고 행동함, meta-store에 물어 봄

-meta-store : 메타데이터를 저장하고 있는 저장공간(테이블정보 등)

-Apache Derby Database  : 실제 테이블의 내용물인 데이터 저장할 수 있음(HDFS를 주로 사용함)

HIVE 데이터 모델

Hadoop 상에 구축된 정형화된 데이터를 관리하고 쿼리하는 시스템

스토리지로 HDFS사용함

OLTP에는 적합하지 않음

데이터 관리 방식

테이블에 해당 되는 요소를 HDFS 디렉토리로 맵핑

파티션 테이블 요소를 파티셔닝 할 수 있는데 HDFS 서브 디렉터리

데이터는 HDFS의 파일로 생각하자.

HIVE 메타스토어

테이블의 메타정보를 저장함

칼럼의 데이터 타입 등 실제 데이터가 아닌 정보들은 메타정보로 간주

하이브 테이블은 메타스토어에 저장된 스키마로 구성되고 데이터는 HDFS에 저장됨

하이브 쿼리 인터페이스

-하이브 클라이언트(예전)

  hive 입력

  하이브 동작 과정 1. 서버가 사용자의 HiveQL 명령어 해석하여 맵리듀스 작업으로 변환

  2. 메타스토어에서 테이블 구조와 데이터 위치를 얻음

  3. 실제 데이터 질의 전달

-beeline 클라이언트(최신)

하이브와 Hcatalog

-에코시스템이 메타스토어에 접근 할 수 있는 중간고리 역할

-메타스토어 관리

HIVE 테이블 관리

HIVE 테이블

1. 데이터를 HIVE 테이블로 가져오면?

HiveQL, 피그, 스파크 등을 활용하여 데이터를 처리 > 상호운영 보장

2. HIVE가 지원하는 테이블 종류

    - 내부 테이블 : HIVE가 관리, HIVE/ 데이터웨어하우스에 저장, 내부테이블 삭제 시 메타정의와 데이터까지 삭제됨,

   ORC같은 형식으로 저장되어 비교적 빠른 성능

    - 외부 테이블 : 하이브가 직접 관리하지 않음,

   하이브의 메타정의만 사용하여 원시 형태로 저장된 텍스트 데이터에 접근

   외부 테이블의 데이터를 삭제해도 테이블 메타 정의만 삭제되고 데이터는 유지됨.

   해당 데이터가 하이브 외부에 적재 되어있거나 테이블이 삭제되더라도 원본 데이터가 남아 있어야할 때 사용

3.csv 파일을 하이브 테이블로 가져오기

  1.names.csv 을 HDFS에 복사

  2. hdfs dfs –mkdir names

  3. hdfs dfs –put names.csv names

  4. hive 실행 후 쿼리로 테이블 생성  location ‘/directory’ 구문은 테이블이 사용할 입력 파일의 경로이다.

  5. select * from ~ 데이터 확인하기

  6. stored as orc > 내부 테이블

  7. 데이터 형식 – 텍스트 파일, 시퀀스 파일(k-v쌍), RC 파일, ORC 형식, Parquet 형식

외부 테이블 생성

su – hdfs

hdfs dfs –mkdir /Smartcar

hdfs dfs –put /txtfile.txt /Smartcar

hdfs dfs –chown –R hive /Smartcar

hdfs dfs –chmod –R 777 /Smartcar

su – hive

hive

create external table (~) ~ location /Smartcar;

내부 테이블 생성

create table (~) ~ location /Smartcar;

외부 테이블의 데이터 내부 테이블로 복사

insert overwrite table SmartCar_in

select * from SmartCar_ex;

내부 테이블 디렉터리 생성확인

hdfs dfs –ls /Smartcar

/Smartcar/base_0000001/bucket_00000/bucket_00000

하둡에 들어가기 앞서 빅데이터가 뭔지 알아보려 한다.

빅데이터란 ? 

기존의 데이터베이스 관리 도구 방법으로 처리할 수 없는 규모로 복잡한 데이터 구조를 가지고 있다.

기존의 데이터 베이스는 OLTP성으로 빠르고 정확하다.

빅데이터는 정확성에 초점을 두기보다는 대용량 데이터를 분산처리하는데에 초점을 두고 있다.

따라서 pk, update등 안되고 데이터를 새로 put해야 한다.

빅데이터 3V

• Volume 
  
  • 대규모의 크기를 가지고 있다. (기업마다 차이는 있지만 수십테라바이트부터 수십페타데이터 이상)
• Variety
  
  • 존재하는 데이터의 방식이 다양하다.
  • 정형   : 의미 파악하기 쉬우며 규칙적인 데이터
  • 반정형: HTML, XML,JSON 형태로 한 텍스트에 column, value 같이
  • 비정형:텍스트, 음성, 영상 등으로 규칙적이지 않은 데이터이다. 예시로 메신저로 주고 받은 내용, 통화내용 등이 있다.
• Velocity
  
  • 데이터 처리 속도가 빠르고 효율적이여야 한다

하둡 이란?

대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원한다.

왜 하둡?

라이선스 비용 들지 않음 > 저렴한 구축 비용

대규모 데이터 빠른 처리

데이터의 복제 본 저장하기 때문에 데이터 복구 가능하다.

HDFS + MapReduce 구조

Hadoop Data File System

하둡은 서버를 두개를 쓴다.(분산처리를 위하여 - 서버 과부화 방지, 데이터 안전하게 복사하여 저장하기위해)

서버를 이중화 하는 방법은 여러가지 방법이 있는데 간단하게 Master-Slave방식으로만 이해했다.

Master 서버에는 "네임노드"가 있다.

여기서, 네임노드란 데이터의 Meta Data를 가진다.

Meta Data - 데이터의 FSImage (namespace정보, data node간의 block 매핑 정보),

         Editslog (메타데이터 변경 정보)를 가짐

데이터노드 - 는 3-copy방식으로 master에 한 개, slave서버에 2개가 저장되어 있고 실제 파일이다.

​

HDFS의 쓰기

-APP에서 HDFS CLient에 데이터 쓰기 정보 요청함.

client가 name node에게 데이터 노드 주소 3개를 줌.

그중 가장 앞에 있는 데이터 노드 주소에 데이터를 3군데 분산하여 저장함

HDFS의 읽기

-App에서 HDFS Client에 데이터 읽기 정보 요청함.

client가 name node에게 메타정보를 요청하고

 master, slave서버의 데이터 노드 주소를 제공하여

그 중 가장 가까운 주소로 부터 데이터를 제공한다.

MapReduce

간단하게 말하면 대용량 파일 처리 시스템으로

Map과 Reduce가 있다

Map의 역할

원시데이터를 64MB로 자르고

split하여 key/value 쌍으로 임시적으로 나눈다.

임시적으로 나눔 >> 디스크 상

나눈 데이터를 메모리 버퍼상에서

 파티션 함수로 파티션영역으로 구분한다.

Reduce 역할

구분한 중간파일을 Reduce로 합쳐 key에 의해 sort되고 reduce 함수로 결과물을 디스크에 저장한다.