[7장] 파이프라인 오케스트레이션

방향성 비순환 그래프 DAG(Directed Acyclic Graph)

apche spark를 접해봤다면, DAG라는 용어가 익숙할 수 있다.
방향성 비순환 그래프라는 말자체 이해하기 좀 어렵지만 그림으로 보면 이해가 쉽다.

Airflow 🪁

최근 데이터 엔지니어 직무 채용공고를 보면 Airflow 사용경험을 우대해 주는 것을 볼 수 있다.

모든 오픈소스를 접해서 공부할 수 없다고 생각하기도 하지만, 간단하게 설치까지는 쉽게 할 수 있으니깐 ㅜ

그리고 오픈소스 한두개만 정해서 제대로 공부해도 다른걸 쓸때도 어렵지않게 사용하거나 금방 배울 수 있는 것 같다.
https://airflow.apache.org/docs/apache-airflow/stable/start/local.html

Running Airflow locally — Airflow Documentation

 

데이터 파이프라인 블록을 묶거나 오케스트레이션하는 플랫폼 또는 프레임워크 (간단하게는 스케줄러 느낌)

Hadoop에 종속되지않음 Python으로 개발가능함

1. 환경 세팅 (리눅스 RedHat)

kerberos openldap과 같은 패키지들 선 설치필요

  sudo yum install -y \
        freetds \
        freetds-devel \
        krb5-server krb5-libs krb5-auth-dialog \
        openldap openldap-clients openldap-servers \
        libffi \
        cyrus-sasl-plain cyrus-sasl\ (libsasl2  대신 )
        openssl-devel \
        redhat-lsb \
        sqlite \
        unixODBC

근데 보안까지 설정하면서 공부하지않을 예정이라 위과정은 생략 추후를 위해 (공식사이트엔 우분투기준 레드햇계열 찾아보던가해야한다)

2. Airflow 다운로드 방법

1. Apache Mirror에서 다운 https://dlcdn.apache.org/airflow/2.2.4/apache-airflow-2.2.4.tar.gz
2. Github git clone -b v2-2-stable --single-branch https://github.com/apache/airflow.git
3. 공식사이트 https://airflow.apache.org/docs/apache-airflow/stable/installation/installing-from-sources.html

1번 방법으로 Airflow 설치

$ sudo wget https://dlcdn.apache.org/airflow/2.2.4/apache-airflow-2.2.4.tar.gz --no-check-certificate

build

python3 -m venv /opt/apache-airflow-2.2.4/
source /opt/apache-airflow-2.2.4/bin/activate

airflow 실행

./airflow webserver -p 8080
  ____________       _____________
 ____    |__( )_________  __/__  /________      __
____  /| |_  /__  ___/_  /_ __  /_  __ \_ | /| / /
___  ___ |  / _  /   _  __/ _  / / /_/ /_ |/ |/ /
 _/_/  |_/_/  /_/    /_/    /_/  \____/____/|__/