견고한 데이터 엔지니어링 리뷰

빅데이터 분야 중 데이터엔지니어링에 관한 책도 출간이 많이 늘었습니다.

리뷰할 책은 한빛미디어의 "견고한데이터엔지니어링"입니다.

https://www.yes24.com/Product/Goods/119712582

견고한 데이터 엔지니어링 - YES24

원서 제목은 오라일리사의 The Fundamental of Data Engineering 입니다.

 

 

해당 책은 데이터엔지니어에게 추천이 많은 책입니다. 꼭 데이터엔지니어가 아니더라도 해당 직무에 관심이있거나 빅데이터를 도입하거나 관심이 있는 분에게 추천합니다. 저도 출간되는것을 기다렸는데, 출간되고 운이좋게 이벤트로 책을 받아 볼 수 있었습니다.

 

간단한 목차를 보면 이렇게 구성되어있습니다.

[PART I 데이터 엔지니어링 기반 구축하기]
CHAPTER 1 데이터 엔지니어링 상세
CHAPTER 2 데이터 엔지니어링 수명 주기
CHAPTER 3 우수한 데이터 아키텍처 설계
CHAPTER 4 데이터 엔지니어링 수명 주기 전체에 걸친 기술 선택

[PART II 데이터 엔지니어링 수명 주기 심층 분석]
CHAPTER 5 1단계: 원천 시스템에서의 데이터 생성
CHAPTER 6 2단계: 데이터 저장
CHAPTER 7 3단계: 데이터 수집
CHAPTER 8 4단계: 쿼리 모델링 및 데이터 변환
CHAPTER 9 5단계: 분석, 머신러닝 및 역 ETL을 위한 데이터 서빙

[PART III 보안, 개인정보보호 및 데이터 엔지니어링의 미래]
CHAPTER 10 보안과 개인정보보호
CHAPTER 11 데이터 엔지니어링의 미래

총책은 약 534페이지정도로 많은 내용을 다루는 양이고, 관심이 있으신 분들은 꼭! 서점에서 보거나 구매해서 보기를 추천합

내용 중 챕터 4 "데이터 엔지니어링 수명 주기 전체에 걸친 기술 선택" 를 리뷰하고자 합니다.

 

들어가기전에 생각 정리

데이터엔지니어링팀 각 회사에서 부르는 명칭이 다양할 것 같습니다

데이터플랫폼팀, 데이터개발팀, 데이터엔지니어링팀 등등 명칭도 다양하고 그 팀에서 업무또한 회사마다 범위가 다를것같습니다.

하둡에코시스템 운영, 데이터 수집 및 적재, 타팀으로 데이터 딜리버리 넓게는 시각화 등등의 업무도 팀내 업무로 지정이 되어있을것으로 추측됩니다.

데이터팀에 이미 기존에 구축되어 있는 하둡플랫폼이 있고 좀 더 효율적인 업무진행을 위해서 새로운 오픈소스 도입 또는 추가개발이 없어진 오픈소스 제거 등등으로 기술 고민이 있었으며 앞으로도 관련된 고민이 늘어날 것이라 생각합니다.

가장 최근에는 클라우드 도입으로 인한 하둡마이그레이션 업무 또는 오픈소스교체 등의 업무를 진행하는 분들이 늘어났을 것이라 생각합니다.

견고한 데이터 엔지니어링 책은 실제 데이터엔지니어들이 하는 업무와 현재 업무에서 부딪힌 문제에 관련해서 힌트를 줍니다.

저는 많은 내용 중에 현재와 미래에 대한 기술비교 데이터 저장소의 위치 비교 등을 다룬 "데이터 엔지니어링 수명 주기 전체에 걸친 기술 선택" 챕터를 읽고 리뷰하고자 합니다.

 

데이터 엔지니어링 수명주기 전체에 걸친 기술 선택

아키텍쳐를 실현하는데 쓰이는 도구는 "어떻게" 구축할지 결정한

기술(도구)을 선택할 때 고려해야하는 사항이다.

 

1. 팀의 규모와 능력

2. 시장 출시 속도

3. 상호운용성

4. 비용최적화 및 비즈니스 가치

5. 현재와 미래: 불변의 기술과 일시적 기술 비교

6. 구축과 구매 비교

7. 모놀리식과 모듈식 비교

8. 서버리스와 서버의 비교

9. 최적화, 성능, 벤치마크

10. 데이터 엔지니어링 수명주기의 드러나지않는 요소

 

기술 선택에 고려해야하는 요소 중

5번 항목 현재와 미래의 불변의 기술과 일시적인 기술에 대해 비교해보자 한다.

처음에 보면 글씨로 접해 조금 어려운것 같으나 쉽게 다시 생각해보면 바뀌지 않는 기술들과 계속해서 트렌드과 바뀌는 기술들이 있다.

쉽게 바뀌지 않는 기술로는 네트워크, 보안 등이 있다.

쉽게 바뀌지않는 기술에 추가될 기술로는 AWS S3, GCP Bigquery, Azure Blob 등 으로 데이터를 객체 스토리지에 저장하는 것이 현명한 선택이다.

일시적인 기술로는 프론트엔드를 예를 들 수 있다. 프론트엔드에서 사용되는 프레임워크를 보면 과거에는 apache ambari 웹 개발에 사용된 프레임워크인 ember.js 등 에서 현재는 react로 트렌드가 바뀐 것을 볼 수 있다.

따라서, 나를 위한 기술(도구)를 선택할 때 불변의 기술을 내 기술로 삼고 일시적인 기술은 기술주위의 도구로 삼아야한다.

개인적으로는 불변의 기술로는 컴퓨터 공학의 기본을 내 기술로 삼고 그 외 오픈소스를 다루는 것은 기술주위의 도구로 삼으라하는 필자의 조언으로 느낄 수 있었다.

데이터 엔지니어링 도구를 선택할 때도 만에 하나라도 해당 도구를 사용할 수 없는 경우를 고려하여 선택해야한다.

예를들면 프로젝트가 없어지거나 회사가 없어지거나 등을 염려해두고 다른 도구로 전환해야하는 경우를 인지해야한다.

 

6번 구축과 구매 비교

책에서 OSS (오픈소스소프트웨어)와 상용 OSS를 비교해준다.

편하게 생각하면 OSS 에선 apache 재단의 오픈소스를 떠올리고 상용 OSS에선 apache spark기반 데이터브릭스 제품, apache kafka기반 confluent 제품을 떠올릴 수 있다.

구축과 구매 비교해보자면 장단점이 명확하다.

직접 구축은 데이터엔지니어에게 성장할 수 있는 밑거름이 된다. 환경 구성하며 부딪히는 트러블슈팅이나 환경에대한 이해도 높일 수 있다. 그러나 오픈소스이다 보니 known issue또는 새로운 이슈들이 생길 수 있으며 운영중인 환경에서 오픈소스 이슈를 해결하는데 상당히 많은 시간이 소요된다. 

상용 OSS를 구매하여 사용하는 경우 운영에 대한 부담이 덜한 편이다. 그리고 오픈소스소프트웨어가 아닌 상용이기때문에 지원이나 이슈대응을 받을 수 있다. 그러나 처음부터 상용 OSS를 사용한다면 직접 구축에 비해 이해도가 좀 떨어 질수도 있다는 생각도 드나 데이터엔지니어 개인이 공부만 한다면 차이를 극복할 수 있다고 생각한다. 그러나 단점도 있다. 비교적 큰 비용이 들며 업무 진행할 때 지원이나 문서지원에 대해서도 고민을 해봐야한다.

 

끝으로

저는 현재 데이터엔지니어로 재직중에 있습니다. 업무 진행하다 보다보면 궁금한게 생기면 웹 개발에 비해 정보가 부족한편이 사실입니다. 기술외적으로 고민되는 내용들 회사 동료의 생각도 듣고, 더 나아가 다른 사람들의 경험과 생각을 접하고 싶었는데 이 책을 읽고 어느정도 해소되는 것 같았습니다.

내용은 아무래도 경험이 전혀 없는 사람에게는 전부 이해는 좀 어려울 것 같으나 데이터엔지니어직무를 희망하는 분은 꼭 읽어보면 좋을 것 같습니다. 결국 시간이 지나면 책의 내용을 이해할 수 있을 것입니다.

 

 

한빛미디어에서 책을 제공 받아 작성된 서평입니다.