data_lab

빅데이터 분야 중 데이터엔지니어링에 관한 책도 출간이 많이 늘었습니다. 리뷰할 책은 한빛미디어의 "견고한데이터엔지니어링"입니다. https://www.yes24.com/Product/Goods/119712582 견고한 데이터 엔지니어링 - YES24 실용적인 데이터 엔지니어링의 세계로 이끄는 최고의 안내서!고객 요구 사항에 맞는 시스템을 계획하고 구축하는 방법데이터 엔지니어링 분야가 빠르게 성장하면서 많은 소프트웨어 엔지니어 www.yes24.com 원서 제목은 오라일리사의 The Fundamental of Data Engineering 입니다. 해당 책은 데이터엔지니어에게 추천이 많은 책입니다. 꼭 데이터엔지니어가 아니더라도 해당 직무에 관심이있거나 빅데이터를 도입하거나 관심이 있는 분에게 추천합니다...

스칼라 클래스에 관해 정리함 https://docs.scala-lang.org/overviews/scala-book/classes.html 기본 클래스 생성자 class Person(var firstName: String, var lastName: String) val p = new Person("Bill", "Panner") println(p.firstName + " " + p.lastName) //Bill Panner p.firstName = "William" p.lastName = "Bernheim" val는 필드를 읽기 전용으로 만듦 val(value) : 변경할 수 없음 var(variable) : 변경할 수 있음 스칼라를 사용하여 객체 지향 프로그래밍 코드를 작성하는 경우 var 필드를 변경할..

스칼라의 맛 스칼라 특징 정적 타입 구문 간결하며 읽기 쉬움 객체 지향 프로그래밍 과 함수형 프로그래밍 패러다임 지원 정교한 유형 추론 시스템? JVM에서 실행되는 클래스파일 생성 자바 라이브러리 사용하기 쉬움 Hello, World Hello.scala object Hello expends App { println("Hello, World") } 두 가지 유형의 변수 val : 불변 변수 - 자바에서 final과 같음 var : 가변 변수 - 특별한 이유가 있을 때만 사용 변수 유형 선언 유형을 선언하지 않고 변수를 만듦 val x = 1 val s = "string" val p = new Persion("Regina") 데이터 유형을 유추할 수 있으며, 코드 간결하게 유지하는데 도움됨 유형 명시할 수..

HUE 다운로드 원하는 휴 선택하여 다운로드 https://github.com/cloudera/hue/tags GitHub - cloudera/hue: Open source SQL Query Assistant service for Databases/Warehouses Open source SQL Query Assistant service for Databases/Warehouses - GitHub - cloudera/hue: Open source SQL Query Assistant service for Databases/Warehouses github.com Dependency 무한고통 mvn, database 설치후 기본적인 세팅은 완료 (hue 데이터 베이스와 유저 생성 작업까지 !) python p..

스파크를 실행할 때, 메모리와 코어를 설정하여 실행할 수 있다. x=sc.parallelize([“spark”, ”rdd”, ”example”, “sample”, “example”], 3) 병렬화(transformation) x=x.map(lambda x:(x,1)) #입력값 : x 출력값: (x,1) 매핑(transformation) y.collect 집합(action) [(‘spark’,1), (‘rdd’,1), (‘example’,1), (‘sample’,1), (‘example’,1)] spark yarn 실행 scala : spark-shell --master yarn --queue queue_name python : pyspark --master yarn --queue queue_name --..

NoSQL 기반 데이터베이스이다. 하둡의 데이터를 NoSQL (Key, value) 쌍으로 저장함 $ /hadoop/sbin/start-all.sh $ ./start-hbase.sh $ ./hbase shell ### hbase test ### create 'test', 'cf' list 'test' describe 'test' put 'test', 'row1', 'cf:a', 'value1' put 'test', 'row2', 'cf:b', 'value2' put 'test', 'row3', 'cf:c', 'value3' scan 'test' ------------------------ ROW COLUMN+CELL row1 column=cf:a, timestamp=1612833812641, value=..

HIVE 테이블 관리 HIVE 테이블 1. 데이터를 HIVE 테이블로 가져오면? HiveQL, 피그, 스파크 등을 활용하여 데이터를 처리 > 상호운영 보장 2. HIVE가 지원하는 테이블 종류 - 내부 테이블 : HIVE가 관리, HIVE/ 데이터웨어하우스에 저장, 내부테이블 삭제 시 메타정의와 데이터까지 삭제됨, ORC같은 형식으로 저장되어 비교적 빠른 성능 - 외부 테이블 : 하이브가 직접 관리하지 않음, 하이브의 메타정의만 사용하여 원시 형태로 저장된 텍스트 데이터에 접근 외부 테이블의 데이터를 삭제해도 테이블 메타 정의만 삭제되고 데이터는 유지됨. 해당 데이터가 하이브 외부에 적재 되어있거나 테이블이 삭제되더라도 원본 데이터가 남아 있어야할 때 사용 3.csv 파일을 하이브 테이블로 가져오기 1...

하둡 버전 3.1 기준으로 개인적으로 정리한 명령어이다. 기존에 리눅스에 대해 공부했다면 하둡 명령어를 공부하는데에 엄청 어렵진않다. 1.hdfs dfs –cat /tmp/Sample2.txt #파일 읽기 2.hdfs dfs –checksum /tmp/Sample2.txt 데이터무결성 3.hdfs dfs –chgrp kyn /tmp/Sample2.txt 4.hdfs dfs –chown kyn /tmp/Sample2.txt 5.hdfs dfs –chmod –R 777 /tmp/Sample2.txt 6.hdfs dfs –copyFromLocal /tmp/Sample2.txt put유사 7.hdfs dfs –copyToLocal /tmp/Sample2.txt 8.hdfs dfs –count /tmp/Sampl..

하둡의 문제점을 보완하기 위해 스파크 생김 하둡의 문제는 1. 반복적인 작업에는 비효율적임 2. 맵리듀스시 네트워크 트래픽으로 인해 성능저하됨. 스파크란? 기존 맵리듀스의 디스크 입출력을 보완하여 인 메모리기반 데이터 처리 프레임 워크 이다. 인 메모리 - 최초 데이터 입력, 출력에만 디스크에 작성함으로 네트워크 트래픽 발생 낮춤, 중간 결과는 병렬처리함 스파크의 주요기능 - 스파크 SQL, 스파크 스트리밍, 스파크 MLlib, 스파크 GraphX, 스파크 코어, 스파크 작업 처리 스파크 아키텍처 노드매니저 안에 드라이버 프로그램이 있음. 1. 드라이버 프로그램이 SparkContext 인스턴스 생성함(이때 yarn과 연결) 2. executors 를 요구 3. 애플리케이션 코드를 executors에 보..

아파치 에이브로란 ? - 특정 언어에 종속되지 않는 언어 중립적 데이터 직렬화 시스템 - 하둡 Writable의 주요 단점인 언어 이식성 해결 위해 생겨남 아파치 쓰리프트, 구글 프로토콜 버퍼와 다른 차별화된 특성가지고 있음 데이터는 다른 시스템과 비슷하게 언어 독립 스키마로 기술됨 에이브로에서 코드 생성은 선택사항임 데이터를 읽고 쓰는 시점에 스키마는 항상 존재한다 가정함 - 매우 간결한 코딩이 가능 스키마의 작성 JSON 데이터는 바이너리 포맷으로 인코딩 에이브로 명세 - 모든 구현체가 지원해야 하는 버이너리 포맷에 대한 자세한 내용 API - 에이브로 명세에서 빠져있는 내용임. 각 특정언어에 따라 다르게 작성됨. 언어의 바인딩 편의성 높이고 상호운영성 저하 문제 해결됨 스키마해석 - 신중하게 정의된..