data_lab

스파크 세션 생성 val spark = SparkSession .appName("Spark Session") .config("config.name",congfig.value") .getOrCreate() 스파크 애플리케이션 -> 스파크 드라이버 프로그램 -> 스파크 세션 객체 스파크 드라이버는 스파크 애플리케이션을 하나이상의 잡으로 변환 잡에는 연산이 여러개의 스파크 스테이지로 나뉨 각 스테이지는 최소 실행 단위이며 연합 실행되는 스파크 태스크들로 이루어짐