data_lab

1. 데이터 브릭스 - spark 기반 데이터분석 플랫폼 (ex: aws EMR)
   1. 델타 레이크 - Databricks Lakehouse 플랫폼에 데이터 및 테이블을 저장하기 위한 기반을 제공하는 최적화된 스토리지 계층
      1. 파일기반 트랜잭션 로그를 사용해 parquet 데이터 파일을 확장 → ACID 트랜잭션 및 스케일링 가능한 메타데이터 처리
      2. 일괄 처리 및 스트리밍 작업 모두에 단일 데이터 복사본을 쉽게 사용하고 대규모로 증분 처리를 제공
      3. 데이터 브릭스의 기본 스토리지 형식은 델타레이크
      4. SQL 문법
         1. https://learn.microsoft.com/ko-kr/azure/databricks/sql/language-manual/#delta-lake-statements
      5. Python API
         1. https://docs.delta.io/latest/api/python/index.html

데이터레이크로 테이블 생성 시 DBFS에 저장됨

DBFS는 Data Bricks File System

애저 데이터 브릭스에서 사용하는 분산 파일 시스템은 DBFS

DBFS, 로컬 서버 사용 방법

https://learn.microsoft.com/ko-kr/azure/databricks/files/

데이터팩토리 - 여러 컴퓨팅 및 스토리지 서비스 사이에서 데이터를 처리 및 이동하고 온-프레미스 데이터 원본을 지정된 간격으로 처리 및 이동. 데이터 파이프라인을 만들기, 예약, 조정 및 관리 (ex: aws glue, data pipe line)