data_lab

스파크를 실행할 때, 메모리와 코어를 설정하여 실행할 수 있다. x=sc.parallelize([“spark”, ”rdd”, ”example”, “sample”, “example”], 3) 병렬화(transformation) x=x.map(lambda x:(x,1)) #입력값 : x 출력값: (x,1) 매핑(transformation) y.collect 집합(action) [(‘spark’,1), (‘rdd’,1), (‘example’,1), (‘sample’,1), (‘example’,1)] spark yarn 실행 scala : spark-shell --master yarn --queue queue_name python : pyspark --master yarn --queue queue_name --..

하둡의 문제점을 보완하기 위해 스파크 생김 하둡의 문제는 1. 반복적인 작업에는 비효율적임 2. 맵리듀스시 네트워크 트래픽으로 인해 성능저하됨. 스파크란? 기존 맵리듀스의 디스크 입출력을 보완하여 인 메모리기반 데이터 처리 프레임 워크 이다. 인 메모리 - 최초 데이터 입력, 출력에만 디스크에 작성함으로 네트워크 트래픽 발생 낮춤, 중간 결과는 병렬처리함 스파크의 주요기능 - 스파크 SQL, 스파크 스트리밍, 스파크 MLlib, 스파크 GraphX, 스파크 코어, 스파크 작업 처리 스파크 아키텍처 노드매니저 안에 드라이버 프로그램이 있음. 1. 드라이버 프로그램이 SparkContext 인스턴스 생성함(이때 yarn과 연결) 2. executors 를 요구 3. 애플리케이션 코드를 executors에 보..