data_lab

해당 책은 SQLD 자격증 취득을 위한 수험서 입니다 SQL-Developer 는 SQL을 내포하는 데이터베이스 프로그램이나 응용 소프트웨어의 성능을 최적화하거나, 이러한 성능 최적화를 지원할 수 있는 데이터베이스 개체(뷰, 인덱스 등)의 설계와 구현 등의 직무를 수행하는 전문가를 의미합니다. 자격증 시험 일정 -> https://www.dataq.or.kr/www/accept/schedule.do 데이터자격시험 데이터아키텍처 준전문가 제54회 - 3.20~24 4.7 4.23(일) 5.12 5.19 - www.dataq.or.kr 이기적 SQL 개발자 이론서 + 기출문제 컴활 자격증 준비해본 사람들은 많이 접해본 '이기적'입니다 해당 책은 개발자 및 개발자 준비하는 취준생, 컴퓨터 전공 학생, 마케팅 ..

데이터 브릭스 - spark 기반 데이터분석 플랫폼 (ex: aws EMR) 델타 레이크 - Databricks Lakehouse 플랫폼에 데이터 및 테이블을 저장하기 위한 기반을 제공하는 최적화된 스토리지 계층 파일기반 트랜잭션 로그를 사용해 parquet 데이터 파일을 확장 → ACID 트랜잭션 및 스케일링 가능한 메타데이터 처리 일괄 처리 및 스트리밍 작업 모두에 단일 데이터 복사본을 쉽게 사용하고 대규모로 증분 처리를 제공 데이터 브릭스의 기본 스토리지 형식은 델타레이크 SQL 문법 https://learn.microsoft.com/ko-kr/azure/databricks/sql/language-manual/#delta-lake-statements Python API https://docs.del..

Secondary Namenode: HDFS의 Secondary Namenode는 주 Namenode의 메타데이터 정보를 주기적으로 수집하여 로그 파일을 합칩니다. 이러한 로그 파일은 주 Namenode가 고장 났을 때, 이전에 수집된 로그 정보를 사용하여 주 Namenode를 복구하고 메타데이터 정보를 복원하는 데 사용됩니다. 따라서, Secondary Namenode는 주 Namenode의 부하를 줄이고 HDFS 클러스터의 안정성을 높이는 데 도움이 됩니다. Standby Namenode: HDFS의 Standby Namenode는 주 Namenode와 함께 HDFS의 고가용성(High Availability, HA)를 제공합니다. Standby Namenode는 주 Namenode의 데이터와 메타데..

보호되어 있는 글입니다.

partitionColumn파티션을 결정하는 데 사용해야 하는 열 lowerBound가져올 값의 범위 를 upperBound결정합니다. 전체 데이터 세트는 다음 쿼리에 해당하는 행을 사용 SELECT * FROM table WHERE partitionColumn BETWEEN lowerBound AND upperBound lowerBound: 0 upperBound: 1000 numPartitions: 10 Stride는 100이고 파티션은 다음 쿼리에 해당합니다. SELECT * FROM table WHERE partitionColumn BETWEEN 0 AND 100 SELECT * FROM table WHERE partitionColumn BETWEEN 100 AND 200 SELECT * FROM..

스파크 세션 생성 val spark = SparkSession .appName("Spark Session") .config("config.name",congfig.value") .getOrCreate() 스파크 애플리케이션 -> 스파크 드라이버 프로그램 -> 스파크 세션 객체 스파크 드라이버는 스파크 애플리케이션을 하나이상의 잡으로 변환 잡에는 연산이 여러개의 스파크 스테이지로 나뉨 각 스테이지는 최소 실행 단위이며 연합 실행되는 스파크 태스크들로 이루어짐

AWS EMR 은 빅데이터 플랫폼 이다. (하둡 플랫폼) 클러스터 구성 - 마스터 Hadoop 의 HDFS Namenode, YARN Resource Manger가 실행되는 인스턴스 이다. - 코어 마스터 노드에서 관리하며, Hadoop 의 HDFS Datanode, Yarn Nodemanager, MapReduce Task Tracker, Spark Executor 실행함 - 태스크 Datanode 실행하지 않으며, HDFS에 데이터를 저장하지도 않음 Spark executor, MapReduce 와 같은 작업을 실행함

스칼라 클래스에 관해 정리함 https://docs.scala-lang.org/overviews/scala-book/classes.html 기본 클래스 생성자 class Person(var firstName: String, var lastName: String) val p = new Person("Bill", "Panner") println(p.firstName + " " + p.lastName) //Bill Panner p.firstName = "William" p.lastName = "Bernheim" val는 필드를 읽기 전용으로 만듦 val(value) : 변경할 수 없음 var(variable) : 변경할 수 있음 스칼라를 사용하여 객체 지향 프로그래밍 코드를 작성하는 경우 var 필드를 변경할..

스칼라의 맛 스칼라 특징 정적 타입 구문 간결하며 읽기 쉬움 객체 지향 프로그래밍 과 함수형 프로그래밍 패러다임 지원 정교한 유형 추론 시스템? JVM에서 실행되는 클래스파일 생성 자바 라이브러리 사용하기 쉬움 Hello, World Hello.scala object Hello expends App { println("Hello, World") } 두 가지 유형의 변수 val : 불변 변수 - 자바에서 final과 같음 var : 가변 변수 - 특별한 이유가 있을 때만 사용 변수 유형 선언 유형을 선언하지 않고 변수를 만듦 val x = 1 val s = "string" val p = new Persion("Regina") 데이터 유형을 유추할 수 있으며, 코드 간결하게 유지하는데 도움됨 유형 명시할 수..