data_lab

방향성 비순환 그래프 DAG(Directed Acyclic Graph) apche spark를 접해봤다면, DAG라는 용어가 익숙할 수 있다. 방향성 비순환 그래프라는 말자체 이해하기 좀 어렵지만 그림으로 보면 이해가 쉽다. Airflow 🪁 최근 데이터 엔지니어 직무 채용공고를 보면 Airflow 사용경험을 우대해 주는 것을 볼 수 있다. 모든 오픈소스를 접해서 공부할 수 없다고 생각하기도 하지만, 간단하게 설치까지는 쉽게 할 수 있으니깐 ㅜ 그리고 오픈소스 한두개만 정해서 제대로 공부해도 다른걸 쓸때도 어렵지않게 사용하거나 금방 배울 수 있는 것 같다. https://airflow.apache.org/docs/apache-airflow/stable/start/local.html Running Airf..

Extract - 추출 Transform - 변환 Load - 로드 ETL ELT EtLT

데이터 파이프라인 - 다양한 소스에서 새로운 가치를 얻을수 있는 대상으로 데이터를 옮기고 변환하는 일련의 과정이다

01장: 데이터 파이프라인 소개 데이터 파이프라인이란? 누가 파이프라인을 구축할까? ___SQL과 데이터 웨어하우징 기초 ___파이썬 그리고/또는 자바 ___분산 컴퓨팅 ___기본 시스템 관리 ___목표 지향적 사고방식 왜 데이터 파이프라인을 구축할까? 어떻게 데이터 파이프라인을 구축할까? 02장: 최신 데이터 인프라 데이터 소스의 다양성 ___소스 시스템 소유권 ___수집 인터페이스 및 데이터 구조 ___데이터 사이즈 ___데이터 클렌징 작업과 유효성 검사 ___소스 시스템의 지연 시간 및 대역폭 클라우드 데이터 웨어하우스 및 데이터 레이크 데이터 수집 도구 데이터 변환 및 모델링 도구 워크플로 오케스트레이션 플랫폼 ___방향성 비순환 그래프 데이터 인프라 커스터마이징 03장: 일반적인 데이터 파이프라..