data_lab

https://www.acmicpc.net/problem/5585

방향성 비순환 그래프 DAG(Directed Acyclic Graph)

apche spark를 접해봤다면, DAG라는 용어가 익숙할 수 있다.
방향성 비순환 그래프라는 말자체 이해하기 좀 어렵지만 그림으로 보면 이해가 쉽다.

Airflow 🪁

최근 데이터 엔지니어 직무 채용공고를 보면 Airflow 사용경험을 우대해 주는 것을 볼 수 있다.

모든 오픈소스를 접해서 공부할 수 없다고 생각하기도 하지만, 간단하게 설치까지는 쉽게 할 수 있으니깐 ㅜ

그리고 오픈소스 한두개만 정해서 제대로 공부해도 다른걸 쓸때도 어렵지않게 사용하거나 금방 배울 수 있는 것 같다.
https://airflow.apache.org/docs/apache-airflow/stable/start/local.html

데이터 파이프라인 블록을 묶거나 오케스트레이션하는 플랫폼 또는 프레임워크 (간단하게는 스케줄러 느낌)

Hadoop에 종속되지않음 Python으로 개발가능함

1. 환경 세팅 (리눅스 RedHat)

kerberos openldap과 같은 패키지들 선 설치필요

  sudo yum install -y \
        freetds \
        freetds-devel \
        krb5-server krb5-libs krb5-auth-dialog \
        openldap openldap-clients openldap-servers \
        libffi \
        cyrus-sasl-plain cyrus-sasl\ (libsasl2  대신 )
        openssl-devel \
        redhat-lsb \
        sqlite \
        unixODBC

근데 보안까지 설정하면서 공부하지않을 예정이라 위과정은 생략 추후를 위해 (공식사이트엔 우분투기준 레드햇계열 찾아보던가해야한다)

2. Airflow 다운로드 방법

1. Apache Mirror에서 다운 https://dlcdn.apache.org/airflow/2.2.4/apache-airflow-2.2.4.tar.gz
2. Github git clone -b v2-2-stable --single-branch https://github.com/apache/airflow.git
3. 공식사이트 https://airflow.apache.org/docs/apache-airflow/stable/installation/installing-from-sources.html

1번 방법으로 Airflow 설치

$ sudo wget https://dlcdn.apache.org/airflow/2.2.4/apache-airflow-2.2.4.tar.gz --no-check-certificate

build

python3 -m venv /opt/apache-airflow-2.2.4/
source /opt/apache-airflow-2.2.4/bin/activate

airflow 실행

./airflow webserver -p 8080
  ____________       _____________
 ____    |__( )_________  __/__  /________      __
____  /| |_  /__  ___/_  /_ __  /_  __ \_ | /| / /
___  ___ |  / _  /   _  __/ _  / / /_/ /_ |/ |/ /
 _/_/  |_/_/  /_/    /_/    /_/  \____/____/|__/

Extract - 추출 

Transform - 변환

Load - 로드

ETL

ELT

EtLT

데이터 파이프라인 - 다양한 소스에서 새로운 가치를 얻을수 있는 대상으로 데이터를 옮기고 변환하는 일련의 과정이다

python3 -m pip install Django
django-admin startprogect web_study

01장: 데이터 파이프라인 소개

데이터 파이프라인이란?
누가 파이프라인을 구축할까?
___SQL과 데이터 웨어하우징 기초
___파이썬 그리고/또는 자바
___분산 컴퓨팅
___기본 시스템 관리
___목표 지향적 사고방식
왜 데이터 파이프라인을 구축할까?
어떻게 데이터 파이프라인을 구축할까?

02장: 최신 데이터 인프라

데이터 소스의 다양성
___소스 시스템 소유권
___수집 인터페이스 및 데이터 구조
___데이터 사이즈
___데이터 클렌징 작업과 유효성 검사
___소스 시스템의 지연 시간 및 대역폭
클라우드 데이터 웨어하우스 및 데이터 레이크
데이터 수집 도구
데이터 변환 및 모델링 도구
워크플로 오케스트레이션 플랫폼
___방향성 비순환 그래프
데이터 인프라 커스터마이징

03장: 일반적인 데이터 파이프라인 패턴

ETL과 ELT
ETL을 넘어선 ELT의 등장
EtLT 하위 패턴
데이터 분석을 위한 ELT
데이터 과학을 위한 ELT
데이터 제품 및 머신러닝을 위한 ELT
___머신러닝 파이프라인의 단계
___파이프라인에 피드백 통합
___ML 파이프라인에 대한 추가 자료

04장: 데이터 수집: 데이터 추출

파이썬 환경 설정
클라우드 파일 스토리지 설정
MySQL 데이터베이스에서 데이터 추출
___전체 또는 증분 MySQL 테이블 추출
___MySQL 데이터의 이진 로그 복제
PostgreSQL 데이터베이스에서 데이터 추출
___전체 또는 증분 Postgres 테이블 추출
___Write-Ahead 로그를 사용한 데이터 복제
MongoDB에서 데이터 추출
REST API에서 데이터 추출
카프카 및 Debezium을 통한 스트리밍 데이터 수집

05장: 데이터 수집: 데이터 로드

Amazon Redshift 웨어하우스를 대상으로 구성
Redshift 웨어하우스에 데이터 로드
___증분 및 전체 로드
___CDC 로그에서 추출한 데이터 로드
Snowflake 웨어하우스를 대상으로 구성3
Snowflake 데이터 웨어하우스에 데이터 로드
파일 스토리지를 데이터 레이크로 사용
오픈 소스 프레임워크
상업적 대안

06장: 데이터 변환하기

비문맥적 변환
___테이블에서 레코드 중복 제거
___URL 파싱
언제 변환할 것인가, 수집 중 혹은 수집 후?
데이터 모델링 기초
___주요 데이터 모델링 용어
___완전히 새로 고침 된 데이터 모델링
___완전히 새로 고침 된 데이터의 차원을 천천히 변경
___증분 수집된 데이터 모델링
___추가 전용(Append-only) 데이터 모델링
___변경 캡처 데이터 모델링

07장: 파이프라인 오케스트레이션

___방향성 비순환 그래프
아파치 에어플로우 설정 및 개요
___설치 및 구성
___에어플로우 데이터베이스
___웹 서버 및 UI
___스케줄러
___실행기(Executors)
___연산자(Operators)
에어플로우 DAG 구축
___간단한 DAG
___ELT 파이프라인 DAG
추가 파이프라인 작업
___경고 및 알림
___데이터 유효성 검사
고급 오케스트레이션 구성
___결합된 파이프라인 작업 대 결합되지 않은 파이프라인 작업
___DAG를 분할해야 하는 경우
___센서로 여러 DAG 조정
관리형 에어플로우 옵션
기타 오케스트레이션 프레임워크
일찍 그리고 자주 검증할 것

08장: 파이프라인의 데이터 검증

___소스 시스템 데이터 품질
___데이터 수집 위험
___데이터 분석가 검증 활성화
간단한 검증 프레임워크
___유효성 검사기 프레임워크 코드
___검증 테스트의 구조
___검증 테스트 실행
___에어플로우 DAG에서의 사용
___파이프라인을 중단해야 할 때와 경고하고 계속해야 할 때
___프레임워크의 확장
검증 테스트 예제
___수집 후 중복된 레코드
___수집 후의 예기치 않은 행 개수
___지표 값 변동
상용 및 오픈 소스 데이터 검증 프레임워크
소스 시스템의 변경 사항 처리

09장: 파이프라인 유지 관리 모범 사례

___추상화 도입
___데이터 계약 유지 관리
___Schema-on-Read의 고려사항
확장 복잡성
___데이터 수집 표준화
___데이터 모델링 로직의 재사용
___종속성 무결성 보장
중요 파이프라인 지표

10장: 파이프라인 성능 측정 및 모니터링

데이터 웨어하우스 준비
___데이터 인프라 스키마
성능 데이터 로깅 및 수집
___에어플로우에서 DAG 실행 기록 수집
___데이터 유효성 검사기에 로깅 추가
성능 데이터 변환
___DAG 성공률
___시간 경과에 따른 DAG 런타임 변경
___검증 테스트 볼륨 및 성공률
성능 파이프라인 조정
___DAG의 성능
성능 투명성

kudu가 뭔지, 사용해보지도 못하고 rpm 빌드를 해야하는 상황에서 글을 썼다가 최근에 다시 수정하게 되었다.

현재도 kudu는 사용해보지 못했다. 그러나 하둡에코시스템을 사용하다보면 대부분 아키텍쳐가 유사한 느낌이라 이해하는데 크게 어렵지는 않다.

처음에 kudu 찾아봤을 때

kudo의 아키텍쳐는 hbase와 유사한 점이 있다.

그래서 hbase를 사용해봤거나 했다면, kudu이해하는데엔 크게 어려움이 없을 것이다.

kudu에서 핵심 키워드는 key-value 이다.

일단, kudu를 검색해서 이것 저것 보다보면 그래서 hbase같은거라는 건가? 생각이 든다.

따라다니는 키워드가 key-value로 인데, hbase 또한 key-value가 핵심키워드이다.

kudu 전에 hbase

kudu를 알아보기전에 hbase에 대해 간략히 짚고 넘어가면 HDFS는 append-only , immutable의 특징을 가지고 있다. HDFS에 저장된 파일은 수정이 불가하다. (덮어쓰기해서 수정)

Hbase의 경우 HDFS와 달리 수정 가능하고 랜덤으로 접근해 읽고 쓰기가 가능하다. 접근이 빠르고 low latency로 input, output 과정에서 지연을 최소화 하는 것이다.

hbase와 kudu의 차이점은 ?

그럼 kudu와 어떻게 다를까??

hbase는 처리량이 낮고, kudu는 처리량이 높다고 비교할 수 있다.

hbase은 HDFS에서 JSON파일, kudu는 HDFS에서 parquet 파일을 처리한다

kudu는 parquet 와 hbase의 자식격이다.

parquet파일을 다뤄봤다면, 압축률이 높아(용량이 작음 등등) 처리량이 높다고 느낄 수 있다.

parquet이 먼디?

hbase처럼 칼럼베이스 스토리지이며, hbase같은 parquet parquet같은 hbase라고 생각해야한다고 한다.

Kudu는 Hbase와 parquet의 혼종 

실시간으로 데이터가 도착하여 저장할 땐, Hbase와 같은 특징을 가지며,
실시간으로 데이터에 대한 분석 워크로드 실행할 땐, parquet과 같은 특징을 가진다.

쿼리로 긴 기간 내역 데이터와 실시간 단기 데이터 결합을 쉽게 할 수 있다

Hbase in-memory + Parquet columar layout = kudu

Kudu와 상호작용 하는 것들?

• Impala
  • 별도의 질의 기능을 kudu에서 지원하지않기에 impala와 같은 질의 엔진 사용해야한다.
  • 확실히 하이브 쿼리와는 속도가 빠름을 느낄 수 있다. 무거운 쿼리만 돌리고 상주하는 워크플로우가 많다면 TEZ엔진 사용자체도 부담이 되는 경우가 있다. MR엔진 쓰는 하이브와는 매우 속도가 빠르다
• C++,java,python client
• MapReduce
• Spark
  
  

Kudu 아키텍쳐

Kudu Master

• Fault Tolerance 장애허용
• Failover to backup masters 백업으로 장애조치
• Raft used for electing new leaders 새로운 리더 뽑을때 Raft 사용
• Only leader serves client request 리더만 클라이언트 요청 수용

Tablets

• Hbase의 region과 비슷함
• 3- 5 개 복제가능함
• 복제는 합의를 위해 Raft의 리더/팔로워 패턴을 사용
• HDFS아닌 로컬에 데이터 저장함

Kudu 실행

https://n-a-y-a.tistory.com/108

Kudu Impala, Hive metastore 연동

https://n-a-y-a.tistory.com/110

꼭 하이브메타스토어와는 연동을 하지않아도 될것같지만, 기존에 하이브를 사용하고 있으면 연동해서 사용하는것이 편리할 것이다.

시스템간의 데이터 흐름을 자동화 한다. 

Web server - NiFi의 HTTP 기반 명령 및 제어 API를 호스팅

Flow Controller - 실행할 확장에 스레드를 제공하고 확장이 실행할 리소스를 수신하는 일정을 관리

Extension - JVM 내에서 작동하고 실행

FlowFile Repo - NiFi가 현재 흐름에서 활성 상태인 주어진 FlowFile에 대해 알고 있는 것의 상태를 추적하는 곳

Content Repo - 콘텐츠 저장소는 지정된 FlowFile의 실제 콘텐츠 바이트가 있는 곳

Provenance Repo - 모든 출처 이벤트 데이터가 저장, 플러그형이며 기본 구현은 하나 이상의 물리적 디스크 볼륨을 사용하는 것, 이벤트 데이터가 인덱싱 되고 검색 가능

NiFi 설치 

wget http://apache.mirrors.tds.net/nifi/1.15.0/nifi-1.15.0-bin.tar.gz
tar xvzf nifi-1.15.0-bin.tar.gz

NiFi 실행

cd ${NiFi_SRC}/bin
./nifi.sh start

NiFi Port - nifi.properties 에서 port 따로 지정

• 일괄 처리 계층(실행 부하 미달 경로)은 들어오는 모든 데이터를 원시 형식으로 저장하고 해당 데이터에 대해 일괄 처리를 수행합니다. 이러한 처리의 결과는 일괄 처리 보기 로 저장됩니다.
• 빠른 레이어(실행 부하 과다 경로)는 데이터를 실시간으로 분석합니다. 이 계층은 정확도는 떨어지지만 짧은 대기 시간을 제공하도록 디자인되었습니다.

hot path - 빠른레이어 -> 실시간으로 데이터를 처리함으로 실행이 빠르나 부하가 올 수 있다.

cold path - 일괄처리계층 -> 높은 정확도의 계산이 필요한 작업을 수행

-----------작성 중 ---------------

실제 빅데이터 플랫폼에선 어떤 방식일지? 아키텍쳐 찾아보기

https://docs.microsoft.com/ko-kr/azure/architecture/data-guide/big-data/

Name space

-디렉터리, 파일, 블록으로 구성

-파일 및 디렉터리 만들기, 삭제, 수정 및 목록 지정과 같은 네임스페이스 관련 모든 파일 시스템 작업을 지원

Block Storage Service

Block Management (Namenode에서 수행)

-등록 및 주기적인 하트비트를 처리하여 데이터노드 클러스터 구성원 자격을 제공

-블록 보고서를 처리하고 블록 위치를 유지

-블록 위치 생성, 삭제, 수정 및 가져오기 등의 블록 관련 작업을 지원

-복제본 배치를 관리하고, 복제되지 않은 블록에 대한 복제를 차단하며, 과도하게 복제된 블록을 삭제

Storage

-로컬 파일 시스템에 블록을 저장하고 읽기/쓰기 액세스를 허용함으로써 데이터노드에 의해 제공

HDFS Federation은 여러 네임노드/네임스페이스에 대한 지원을 HDFS에 추가하여 이러한 제한을 해결

Block Pool - 단일 네임스페이스에 속하는 블록집합으로 블록풀은 독립적으로 관리됨

네임스페이스 볼륨 = 네임스페이스 + 블록 풀

네임노드. 네임스테이스가 삭제되면 데이터노드의 해당 블록 풀이 삭제된다.

ClusterID -ID 식별자는 클러스터의 모든 노드를 식별하는 데 사용

네임노드를 포맷하면 이 식별자가 제공되거나 자동으로 생성됨. 이 ID는 다른 네임노드를 클러스터로 포맷하는 데 사용

네임노드와 데이터노드의 current 디렉터리 안에 VERSION 파일 존재

해당파일 읽으면 내용은 아래와 같다.

cat ~/hdfs/namenode/current/VERSION

Wed June 20 09:11:23 KST 2020

namespaceID=367232048

clusterID=CID-234sdaf234-3fsda-4949-v324-fsd3asfdf234

cTime=123123123342323

storageType=NAME_NODE

blockpoolID=BP-217871978-000.000.000.000-000000000000

layoutVersion=-64

이런 형식으로 각 ID를 확인 할 수 있다.