data_lab

partitionColumn파티션을 결정하는 데 사용해야 하는 열

lowerBound가져올 값의 범위 를 upperBound결정합니다. 

전체 데이터 세트는 다음 쿼리에 해당하는 행을 사용

SELECT * FROM table WHERE partitionColumn BETWEEN lowerBound AND upperBound

• lowerBound: 0
• upperBound: 1000
• numPartitions: 10

Stride는 100이고 파티션은 다음 쿼리에 해당합니다.

• SELECT * FROM table WHERE partitionColumn BETWEEN 0 AND 100
• SELECT * FROM table WHERE partitionColumn BETWEEN 100 AND 200
• SELECT * FROM table WHERE partitionColumn BETWEEN 900 AND 1000

upperBound / numPartitions - lowerBound / numPartitions

upperbound 구하는 법

query = f"""SELECT MIN({partitionColumn}), MAX({partitionColumn}) FROM ({db.table})"""
min_max_df = spark.read \
	.format("jdbc") \
	.option("url", "jdbc:postgresql:postgres") \
	.option("dbtable", "db.table") \
	.option("user", "user")\
	.option("password", "pass") \
	.option("query", query) \
	.load()
lowerBound, upperBound = min_max_df.collect()[0]

스파크 세션 생성

val spark = SparkSession
    .appName("Spark Session")
    .config("config.name",congfig.value")
    .getOrCreate()

스파크 애플리케이션 -> 스파크 드라이버 프로그램 -> 스파크 세션 객체

스파크 드라이버는 스파크 애플리케이션을 하나이상의 잡으로 변환 

잡에는 연산이 여러개의 스파크 스테이지로 나뉨

각 스테이지는 최소 실행 단위이며 연합 실행되는 스파크 태스크들로 이루어짐