data_lab

partitionColumn파티션을 결정하는 데 사용해야 하는 열 lowerBound가져올 값의 범위 를 upperBound결정합니다. 전체 데이터 세트는 다음 쿼리에 해당하는 행을 사용 SELECT * FROM table WHERE partitionColumn BETWEEN lowerBound AND upperBound lowerBound: 0 upperBound: 1000 numPartitions: 10 Stride는 100이고 파티션은 다음 쿼리에 해당합니다. SELECT * FROM table WHERE partitionColumn BETWEEN 0 AND 100 SELECT * FROM table WHERE partitionColumn BETWEEN 100 AND 200 SELECT * FROM..

스파크 세션 생성 val spark = SparkSession .appName("Spark Session") .config("config.name",congfig.value") .getOrCreate() 스파크 애플리케이션 -> 스파크 드라이버 프로그램 -> 스파크 세션 객체 스파크 드라이버는 스파크 애플리케이션을 하나이상의 잡으로 변환 잡에는 연산이 여러개의 스파크 스테이지로 나뉨 각 스테이지는 최소 실행 단위이며 연합 실행되는 스파크 태스크들로 이루어짐