data_lab

데이터 브릭스 - spark 기반 데이터분석 플랫폼 (ex: aws EMR) 델타 레이크 - Databricks Lakehouse 플랫폼에 데이터 및 테이블을 저장하기 위한 기반을 제공하는 최적화된 스토리지 계층 파일기반 트랜잭션 로그를 사용해 parquet 데이터 파일을 확장 → ACID 트랜잭션 및 스케일링 가능한 메타데이터 처리 일괄 처리 및 스트리밍 작업 모두에 단일 데이터 복사본을 쉽게 사용하고 대규모로 증분 처리를 제공 데이터 브릭스의 기본 스토리지 형식은 델타레이크 SQL 문법 https://learn.microsoft.com/ko-kr/azure/databricks/sql/language-manual/#delta-lake-statements Python API https://docs.del..

스파크를 실행할 때, 메모리와 코어를 설정하여 실행할 수 있다. x=sc.parallelize([“spark”, ”rdd”, ”example”, “sample”, “example”], 3) 병렬화(transformation) x=x.map(lambda x:(x,1)) #입력값 : x 출력값: (x,1) 매핑(transformation) y.collect 집합(action) [(‘spark’,1), (‘rdd’,1), (‘example’,1), (‘sample’,1), (‘example’,1)] spark yarn 실행 scala : spark-shell --master yarn --queue queue_name python : pyspark --master yarn --queue queue_name --..