Spark Session

스파크 세션 생성

val spark = SparkSession
    .appName("Spark Session")
    .config("config.name",congfig.value")
    .getOrCreate()

 

 

스파크 애플리케이션 -> 스파크 드라이버 프로그램 -> 스파크 세션 객체

 

스파크 드라이버는 스파크 애플리케이션을 하나이상의 잡으로 변환 

잡에는 연산이 여러개의 스파크 스테이지로 나뉨

각 스테이지는 최소 실행 단위이며 연합 실행되는 스파크 태스크들로 이루어짐