data_lab

빅데이터 분야 중 데이터엔지니어링에 관한 책도 출간이 많이 늘었습니다.

리뷰할 책은 한빛미디어의 "견고한데이터엔지니어링"입니다.

https://www.yes24.com/Product/Goods/119712582

원서 제목은 오라일리사의 The Fundamental of Data Engineering 입니다.

해당 책은 데이터엔지니어에게 추천이 많은 책입니다. 꼭 데이터엔지니어가 아니더라도 해당 직무에 관심이있거나 빅데이터를 도입하거나 관심이 있는 분에게 추천합니다. 저도 출간되는것을 기다렸는데, 출간되고 운이좋게 이벤트로 책을 받아 볼 수 있었습니다.

간단한 목차를 보면 이렇게 구성되어있습니다.

[PART I 데이터 엔지니어링 기반 구축하기]
CHAPTER 1 데이터 엔지니어링 상세
CHAPTER 2 데이터 엔지니어링 수명 주기
CHAPTER 3 우수한 데이터 아키텍처 설계
CHAPTER 4 데이터 엔지니어링 수명 주기 전체에 걸친 기술 선택

[PART II 데이터 엔지니어링 수명 주기 심층 분석]
CHAPTER 5 1단계: 원천 시스템에서의 데이터 생성
CHAPTER 6 2단계: 데이터 저장
CHAPTER 7 3단계: 데이터 수집
CHAPTER 8 4단계: 쿼리 모델링 및 데이터 변환
CHAPTER 9 5단계: 분석, 머신러닝 및 역 ETL을 위한 데이터 서빙

[PART III 보안, 개인정보보호 및 데이터 엔지니어링의 미래]
CHAPTER 10 보안과 개인정보보호
CHAPTER 11 데이터 엔지니어링의 미래

총책은 약 534페이지정도로 많은 내용을 다루는 양이고, 관심이 있으신 분들은 꼭! 서점에서 보거나 구매해서 보기를 추천합

내용 중 챕터 4 "데이터 엔지니어링 수명 주기 전체에 걸친 기술 선택" 를 리뷰하고자 합니다.

들어가기전에 생각 정리

데이터엔지니어링팀 각 회사에서 부르는 명칭이 다양할 것 같습니다

데이터플랫폼팀, 데이터개발팀, 데이터엔지니어링팀 등등 명칭도 다양하고 그 팀에서 업무또한 회사마다 범위가 다를것같습니다.

하둡에코시스템 운영, 데이터 수집 및 적재, 타팀으로 데이터 딜리버리 넓게는 시각화 등등의 업무도 팀내 업무로 지정이 되어있을것으로 추측됩니다.

데이터팀에 이미 기존에 구축되어 있는 하둡플랫폼이 있고 좀 더 효율적인 업무진행을 위해서 새로운 오픈소스 도입 또는 추가개발이 없어진 오픈소스 제거 등등으로 기술 고민이 있었으며 앞으로도 관련된 고민이 늘어날 것이라 생각합니다.

가장 최근에는 클라우드 도입으로 인한 하둡마이그레이션 업무 또는 오픈소스교체 등의 업무를 진행하는 분들이 늘어났을 것이라 생각합니다.

견고한 데이터 엔지니어링 책은 실제 데이터엔지니어들이 하는 업무와 현재 업무에서 부딪힌 문제에 관련해서 힌트를 줍니다.

저는 많은 내용 중에 현재와 미래에 대한 기술비교 데이터 저장소의 위치 비교 등을 다룬 "데이터 엔지니어링 수명 주기 전체에 걸친 기술 선택" 챕터를 읽고 리뷰하고자 합니다.

데이터 엔지니어링 수명주기 전체에 걸친 기술 선택

아키텍쳐를 실현하는데 쓰이는 도구는 "어떻게" 구축할지 결정한

기술(도구)을 선택할 때 고려해야하는 사항이다.

1. 팀의 규모와 능력

2. 시장 출시 속도

3. 상호운용성

4. 비용최적화 및 비즈니스 가치

5. 현재와 미래: 불변의 기술과 일시적 기술 비교

6. 구축과 구매 비교

7. 모놀리식과 모듈식 비교

8. 서버리스와 서버의 비교

9. 최적화, 성능, 벤치마크

10. 데이터 엔지니어링 수명주기의 드러나지않는 요소

기술 선택에 고려해야하는 요소 중

5번 항목 현재와 미래의 불변의 기술과 일시적인 기술에 대해 비교해보자 한다.

처음에 보면 글씨로 접해 조금 어려운것 같으나 쉽게 다시 생각해보면 바뀌지 않는 기술들과 계속해서 트렌드과 바뀌는 기술들이 있다.

쉽게 바뀌지 않는 기술로는 네트워크, 보안 등이 있다.

쉽게 바뀌지않는 기술에 추가될 기술로는 AWS S3, GCP Bigquery, Azure Blob 등 으로 데이터를 객체 스토리지에 저장하는 것이 현명한 선택이다.

일시적인 기술로는 프론트엔드를 예를 들 수 있다. 프론트엔드에서 사용되는 프레임워크를 보면 과거에는 apache ambari 웹 개발에 사용된 프레임워크인 ember.js 등 에서 현재는 react로 트렌드가 바뀐 것을 볼 수 있다.

따라서, 나를 위한 기술(도구)를 선택할 때 불변의 기술을 내 기술로 삼고 일시적인 기술은 기술주위의 도구로 삼아야한다.

개인적으로는 불변의 기술로는 컴퓨터 공학의 기본을 내 기술로 삼고 그 외 오픈소스를 다루는 것은 기술주위의 도구로 삼으라하는 필자의 조언으로 느낄 수 있었다.

데이터 엔지니어링 도구를 선택할 때도 만에 하나라도 해당 도구를 사용할 수 없는 경우를 고려하여 선택해야한다.

예를들면 프로젝트가 없어지거나 회사가 없어지거나 등을 염려해두고 다른 도구로 전환해야하는 경우를 인지해야한다.

6번 구축과 구매 비교

책에서 OSS (오픈소스소프트웨어)와 상용 OSS를 비교해준다.

편하게 생각하면 OSS 에선 apache 재단의 오픈소스를 떠올리고 상용 OSS에선 apache spark기반 데이터브릭스 제품, apache kafka기반 confluent 제품을 떠올릴 수 있다.

구축과 구매 비교해보자면 장단점이 명확하다.

직접 구축은 데이터엔지니어에게 성장할 수 있는 밑거름이 된다. 환경 구성하며 부딪히는 트러블슈팅이나 환경에대한 이해도 높일 수 있다. 그러나 오픈소스이다 보니 known issue또는 새로운 이슈들이 생길 수 있으며 운영중인 환경에서 오픈소스 이슈를 해결하는데 상당히 많은 시간이 소요된다. 

상용 OSS를 구매하여 사용하는 경우 운영에 대한 부담이 덜한 편이다. 그리고 오픈소스소프트웨어가 아닌 상용이기때문에 지원이나 이슈대응을 받을 수 있다. 그러나 처음부터 상용 OSS를 사용한다면 직접 구축에 비해 이해도가 좀 떨어 질수도 있다는 생각도 드나 데이터엔지니어 개인이 공부만 한다면 차이를 극복할 수 있다고 생각한다. 그러나 단점도 있다. 비교적 큰 비용이 들며 업무 진행할 때 지원이나 문서지원에 대해서도 고민을 해봐야한다.

끝으로

저는 현재 데이터엔지니어로 재직중에 있습니다. 업무 진행하다 보다보면 궁금한게 생기면 웹 개발에 비해 정보가 부족한편이 사실입니다. 기술외적으로 고민되는 내용들 회사 동료의 생각도 듣고, 더 나아가 다른 사람들의 경험과 생각을 접하고 싶었는데 이 책을 읽고 어느정도 해소되는 것 같았습니다.

내용은 아무래도 경험이 전혀 없는 사람에게는 전부 이해는 좀 어려울 것 같으나 데이터엔지니어직무를 희망하는 분은 꼭 읽어보면 좋을 것 같습니다. 결국 시간이 지나면 책의 내용을 이해할 수 있을 것입니다.

한빛미디어에서 책을 제공 받아 작성된 서평입니다.

GCP

주로 사용하는 GCP 항목은 다음과 같다.

1. 빅쿼리

2. 스토리지

3. 컴포저(에어플로우)

4. 데이터프록

5. 데이터스트림

데이터스트림은 실제로 사용해보니 장단점이 명확하다.

해당 책은  SQLD  자격증 취득을 위한 수험서 입니다

SQL-Developer 는 SQL을 내포하는 데이터베이스 프로그램이나 응용 소프트웨어의 성능을 최적화하거나, 이러한 성능 최적화를 지원할 수 있는 데이터베이스 개체(뷰, 인덱스 등)의 설계와 구현 등의 직무를 수행하는 전문가를 의미합니다.

자격증 시험 일정 -> https://www.dataq.or.kr/www/accept/schedule.do

이기적 SQL 개발자 이론서 + 기출문제

컴활 자격증 준비해본 사람들은 많이 접해본 '이기적'입니다

해당 책은 개발자 및 개발자 준비하는 취준생, 컴퓨터 전공 학생, 마케팅 직무 또는 준비하는 취준생에게 추천합니다!

요즘 SQL 쓰는 직무도 많고, 서로 협업하고 대화할 때 이해를 높이려면 공부하는게 좋을 것 같습니다

SQLD취득을 목표로 하면 이기적 SQLD 책 추천 합니다 

그리고 동영상 강의와 모바일/웹 CBT 환경도 제공해 자격증 취득에 대한 철저한 준비를할 수 있습니다.

책의 목차는 5개로 

SQL 설치 / 데이터 모델링 / SQL기본 및 활용 / 실전모의고사 150문제 / 최신기출문제 7회 로 구성되어있어

SQL이 처음인 사람도 설치부터 찬찬히 따라올 수 있는 구성입니다. SQL도 종류별로 설치가이드가 첫 목차여서 아예 안써보거나 특정 SQL만 설치해본 사람에게 도움이 많이 될 것 같았습니다.

실제 시험은 타자로 치는게 아니라 객관식에 주관식이 있어, 타자로 치는 연습뿐 아니라 실제 손으로도 SQL 작성하여 감을 익히는 것을 추천합니다!

책에서 외워야하는 부분도 정리가 잘되어있고 문제의 양이 많기 때문에, 영진 이기적 책으로 공부하면 짧은시간에 좋은 효율을 낼 수 있을것같습니다. 책의 앞부분에 자격증 취득에 있어 공부플랜도 짜여져 있으니 해당 플랜 참고하여 개개인의 일정에 맞춰서 공부하면 좋을 것 같습니다.

사진은 책에서 SQL 설치와 이론 부분입니다.

사실 중요한 부분이 책이 너무 두껍고, 크고 글씨가 작으면 공부하면서 너무 힘든데, 이기적 SQLD 책은 두께도 적당하고 글씨도 크고 색도 푸른색이라 눈의 피로도도 덜해서 너무 좋았습니다

본 게시글은 영진출판사 책 서평 이벤트에 당첨되어 이기적 SQL 개발자 책을 무상으로 제공받았습니다.

1. 데이터 브릭스 - spark 기반 데이터분석 플랫폼 (ex: aws EMR)
   1. 델타 레이크 - Databricks Lakehouse 플랫폼에 데이터 및 테이블을 저장하기 위한 기반을 제공하는 최적화된 스토리지 계층
      1. 파일기반 트랜잭션 로그를 사용해 parquet 데이터 파일을 확장 → ACID 트랜잭션 및 스케일링 가능한 메타데이터 처리
      2. 일괄 처리 및 스트리밍 작업 모두에 단일 데이터 복사본을 쉽게 사용하고 대규모로 증분 처리를 제공
      3. 데이터 브릭스의 기본 스토리지 형식은 델타레이크
      4. SQL 문법
         1. https://learn.microsoft.com/ko-kr/azure/databricks/sql/language-manual/#delta-lake-statements
      5. Python API
         1. https://docs.delta.io/latest/api/python/index.html

데이터레이크로 테이블 생성 시 DBFS에 저장됨

DBFS는 Data Bricks File System

애저 데이터 브릭스에서 사용하는 분산 파일 시스템은 DBFS

DBFS, 로컬 서버 사용 방법

https://learn.microsoft.com/ko-kr/azure/databricks/files/

데이터팩토리 - 여러 컴퓨팅 및 스토리지 서비스 사이에서 데이터를 처리 및 이동하고 온-프레미스 데이터 원본을 지정된 간격으로 처리 및 이동. 데이터 파이프라인을 만들기, 예약, 조정 및 관리 (ex: aws glue, data pipe line)

• Secondary Namenode: HDFS의 Secondary Namenode는 주 Namenode의 메타데이터 정보를 주기적으로 수집하여 로그 파일을 합칩니다. 이러한 로그 파일은 주 Namenode가 고장 났을 때, 이전에 수집된 로그 정보를 사용하여 주 Namenode를 복구하고 메타데이터 정보를 복원하는 데 사용됩니다. 따라서, Secondary Namenode는 주 Namenode의 부하를 줄이고 HDFS 클러스터의 안정성을 높이는 데 도움이 됩니다.
• Standby Namenode: HDFS의 Standby Namenode는 주 Namenode와 함께 HDFS의 고가용성(High Availability, HA)를 제공합니다. Standby Namenode는 주 Namenode의 데이터와 메타데이터 정보를 복제하여 항상 최신 상태를 유지합니다. 이를 통해, 주 Namenode가 고장 났을 때, Standby Namenode는 즉시 작동하여 주 Namenode 역할을 대신합니다. 이러한 HA 구성은 주 Namenode의 고장이나 유지 보수 때문에 downtime을 최소화하고 HDFS 클러스터의 가용성을 보장하는 데 도움이 됩니다.

따라서, Secondary Namenode와 Standby Namenode는 모두 주 Namenode의 안정성과 가용성을 높이는 데 중요한 역할을 합니다. 하지만, Secondary Namenode는 HA 구성이 아니며, 주 Namenode가 고장 났을 때 더 많은 복구 시간이 필요할 수 있습니다. 반면에 Standby Namenode는 HA 구성이므로 주 Namenode의 고장 시간을 최소화하고 클러스터의 가용성을 높이는 데 더욱 효과적입니다.

partitionColumn파티션을 결정하는 데 사용해야 하는 열

lowerBound가져올 값의 범위 를 upperBound결정합니다. 

전체 데이터 세트는 다음 쿼리에 해당하는 행을 사용

SELECT * FROM table WHERE partitionColumn BETWEEN lowerBound AND upperBound

• lowerBound: 0
• upperBound: 1000
• numPartitions: 10

Stride는 100이고 파티션은 다음 쿼리에 해당합니다.

• SELECT * FROM table WHERE partitionColumn BETWEEN 0 AND 100
• SELECT * FROM table WHERE partitionColumn BETWEEN 100 AND 200
• SELECT * FROM table WHERE partitionColumn BETWEEN 900 AND 1000

upperBound / numPartitions - lowerBound / numPartitions

upperbound 구하는 법

query = f"""SELECT MIN({partitionColumn}), MAX({partitionColumn}) FROM ({db.table})"""
min_max_df = spark.read \
	.format("jdbc") \
	.option("url", "jdbc:postgresql:postgres") \
	.option("dbtable", "db.table") \
	.option("user", "user")\
	.option("password", "pass") \
	.option("query", query) \
	.load()
lowerBound, upperBound = min_max_df.collect()[0]

스파크 세션 생성

val spark = SparkSession
    .appName("Spark Session")
    .config("config.name",congfig.value")
    .getOrCreate()

스파크 애플리케이션 -> 스파크 드라이버 프로그램 -> 스파크 세션 객체

스파크 드라이버는 스파크 애플리케이션을 하나이상의 잡으로 변환 

잡에는 연산이 여러개의 스파크 스테이지로 나뉨

각 스테이지는 최소 실행 단위이며 연합 실행되는 스파크 태스크들로 이루어짐

AWS EMR 은 빅데이터 플랫폼 이다. (하둡 플랫폼)

클러스터 구성

- 마스터 

Hadoop 의 HDFS Namenode, YARN Resource Manger가 실행되는 인스턴스 이다.

- 코어

마스터 노드에서 관리하며, Hadoop 의 HDFS Datanode, Yarn Nodemanager, MapReduce Task Tracker, Spark Executor 실행함

- 태스크 

Datanode 실행하지 않으며, HDFS에 데이터를 저장하지도 않음

Spark executor, MapReduce 와 같은 작업을 실행함