data_lab

주키퍼란 분산 애플리케이션을 위한 분산 코디네이션이다.

znode(저널노드)가 각각의 서버에 위치해 있다.

각 하둡의 서비스들이 잘 동작하고 있는지 확인한다.

주기적으로 하트비트 요구하여 받는 방식으로,

따라서 주기퍼는 홀수로 클러스터를 구성하는데

여기서 들어가는 개념이 쿼럼이다.

쿼럼이란? 

다수결로 예를 들어 5개의 서버로 구성 되어있고,

2개의 서버가 죽는다고 가정했을 때 정상적으로 동작한다고 판단한다.

그리고 5개 중 3개의 서버가 죽었을 경우, 다수결로 인해 비정상이라고 판다한다.

그로 인해, 주키퍼는 홀수로 클러스터를 구성한다.

zookeeper 클러스터는

하나의 서버가 리더이고, 다른 서버는 팔로워이다

리더 서버를 기준으로 sync를 맞춘다.

자세한 내용은 공식 사이트 참조바람

주키퍼 설치 방법

주키퍼 파일 다운로드 후 압축 해제 후 테스트

주키퍼 conf에서 zoo.cfg 파일 생성

주키퍼 실행

jps로 주키퍼 실행 중인지 확인

netstat -nltp | grep 2181로 주키퍼 확인하기

주키퍼의 포트번호는 zoo.cfg 파일에서 변경할 수 있다.

RDBMS

스키마에 의존성 강함 으로

작업이 진행 불가능한 경우가 있음

 - 스키마가 제대로 정의되어 있지않거나

 - 쿼리를 통한 질의가 스키마에 맞지 않을 경우

대용량 데이터 처리하는데 부적절함 – 많은 시간 소요됨

HIVE

데이터웨어 하우징 인프라

데이터 저장, 처리에 스키마 검증 없음

스키마에 맞지 않는 쿼리는 null 리턴

• SQL과 유사한 HiveQL 사용
• MapReduce 프로그램 작성 대신 쿼리 인터페이스 서비스 제공
• 쿼리 실행 시 MapReduce 프로그램으로 전환되어 결과 생성
• 비 정형화된 입력 소스 분석에는 적합하지 않음

HIVE Architecture

-HIVE Client

-JDBC 응용 프로그램 지원 ,

-Thrift 기반 응용 프로그램 지원(서로 커뮤니케이션 할 수 있는 통신 프로토콜),

-ODBC기반 응용 프로그램 지원

-HIVE Server

-HIVE 서버 

-CLI Command line interface : 유저가 HIVE 쿼리 사용할 수 있는 인터페이스

-Hive Web Interface : 유저가 HIVE 쿼리 사용할 수 있는 웹 인터페이스

-Driver : HIVE에 job이 왔을 때 생성하고 행동함, meta-store에 물어 봄

-meta-store : 메타데이터를 저장하고 있는 저장공간(테이블정보 등)

-Apache Derby Database  : 실제 테이블의 내용물인 데이터 저장할 수 있음(HDFS를 주로 사용함)

HIVE 데이터 모델

Hadoop 상에 구축된 정형화된 데이터를 관리하고 쿼리하는 시스템

스토리지로 HDFS사용함

OLTP에는 적합하지 않음

데이터 관리 방식

테이블에 해당 되는 요소를 HDFS 디렉토리로 맵핑

파티션 테이블 요소를 파티셔닝 할 수 있는데 HDFS 서브 디렉터리

데이터는 HDFS의 파일로 생각하자.

HIVE 메타스토어

테이블의 메타정보를 저장함

칼럼의 데이터 타입 등 실제 데이터가 아닌 정보들은 메타정보로 간주

하이브 테이블은 메타스토어에 저장된 스키마로 구성되고 데이터는 HDFS에 저장됨

하이브 쿼리 인터페이스

-하이브 클라이언트(예전)

  hive 입력

  하이브 동작 과정 1. 서버가 사용자의 HiveQL 명령어 해석하여 맵리듀스 작업으로 변환

  2. 메타스토어에서 테이블 구조와 데이터 위치를 얻음

  3. 실제 데이터 질의 전달

-beeline 클라이언트(최신)

하이브와 Hcatalog

-에코시스템이 메타스토어에 접근 할 수 있는 중간고리 역할

-메타스토어 관리

HIVE 테이블 관리

HIVE 테이블

1. 데이터를 HIVE 테이블로 가져오면?

HiveQL, 피그, 스파크 등을 활용하여 데이터를 처리 > 상호운영 보장

2. HIVE가 지원하는 테이블 종류

    - 내부 테이블 : HIVE가 관리, HIVE/ 데이터웨어하우스에 저장, 내부테이블 삭제 시 메타정의와 데이터까지 삭제됨,

   ORC같은 형식으로 저장되어 비교적 빠른 성능

    - 외부 테이블 : 하이브가 직접 관리하지 않음,

   하이브의 메타정의만 사용하여 원시 형태로 저장된 텍스트 데이터에 접근

   외부 테이블의 데이터를 삭제해도 테이블 메타 정의만 삭제되고 데이터는 유지됨.

   해당 데이터가 하이브 외부에 적재 되어있거나 테이블이 삭제되더라도 원본 데이터가 남아 있어야할 때 사용

3.csv 파일을 하이브 테이블로 가져오기

  1.names.csv 을 HDFS에 복사

  2. hdfs dfs –mkdir names

  3. hdfs dfs –put names.csv names

  4. hive 실행 후 쿼리로 테이블 생성  location ‘/directory’ 구문은 테이블이 사용할 입력 파일의 경로이다.

  5. select * from ~ 데이터 확인하기

  6. stored as orc > 내부 테이블

  7. 데이터 형식 – 텍스트 파일, 시퀀스 파일(k-v쌍), RC 파일, ORC 형식, Parquet 형식

외부 테이블 생성

su – hdfs

hdfs dfs –mkdir /Smartcar

hdfs dfs –put /txtfile.txt /Smartcar

hdfs dfs –chown –R hive /Smartcar

hdfs dfs –chmod –R 777 /Smartcar

su – hive

hive

create external table (~) ~ location /Smartcar;

내부 테이블 생성

create table (~) ~ location /Smartcar;

외부 테이블의 데이터 내부 테이블로 복사

insert overwrite table SmartCar_in

select * from SmartCar_ex;

내부 테이블 디렉터리 생성확인

hdfs dfs –ls /Smartcar

/Smartcar/base_0000001/bucket_00000/bucket_00000