data_lab

Airflow 설치 후 실행 nohup airflow webserver--port 8080 > webserver.log 2>&1 & Airflow Scheduler 실행 nohup airflow scheduler > scheduler.log 2>&1 & Aiflow DAG 리스트 확인 airflow dags list 실행 후 결과 dag_id | filepath | owner | paused ==============================+===============================+=========+======= example_bash_operator | /usr/local/lib/python3.7/site | airflow | False | -packages/airflow/exam..

방향성 비순환 그래프 DAG(Directed Acyclic Graph) apche spark를 접해봤다면, DAG라는 용어가 익숙할 수 있다. 방향성 비순환 그래프라는 말자체 이해하기 좀 어렵지만 그림으로 보면 이해가 쉽다. Airflow 🪁 최근 데이터 엔지니어 직무 채용공고를 보면 Airflow 사용경험을 우대해 주는 것을 볼 수 있다. 모든 오픈소스를 접해서 공부할 수 없다고 생각하기도 하지만, 간단하게 설치까지는 쉽게 할 수 있으니깐 ㅜ 그리고 오픈소스 한두개만 정해서 제대로 공부해도 다른걸 쓸때도 어렵지않게 사용하거나 금방 배울 수 있는 것 같다. https://airflow.apache.org/docs/apache-airflow/stable/start/local.html Running Airf..