data_lab

하둡에 들어가기 앞서 빅데이터가 뭔지 알아보려 한다.

빅데이터란 ? 

기존의 데이터베이스 관리 도구 방법으로 처리할 수 없는 규모로 복잡한 데이터 구조를 가지고 있다.

기존의 데이터 베이스는 OLTP성으로 빠르고 정확하다.

빅데이터는 정확성에 초점을 두기보다는 대용량 데이터를 분산처리하는데에 초점을 두고 있다.

따라서 pk, update등 안되고 데이터를 새로 put해야 한다.

빅데이터 3V

• Volume 
  
  • 대규모의 크기를 가지고 있다. (기업마다 차이는 있지만 수십테라바이트부터 수십페타데이터 이상)
• Variety
  
  • 존재하는 데이터의 방식이 다양하다.
  • 정형   : 의미 파악하기 쉬우며 규칙적인 데이터
  • 반정형: HTML, XML,JSON 형태로 한 텍스트에 column, value 같이
  • 비정형:텍스트, 음성, 영상 등으로 규칙적이지 않은 데이터이다. 예시로 메신저로 주고 받은 내용, 통화내용 등이 있다.
• Velocity
  
  • 데이터 처리 속도가 빠르고 효율적이여야 한다

하둡 이란?

대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원한다.

왜 하둡?

라이선스 비용 들지 않음 > 저렴한 구축 비용

대규모 데이터 빠른 처리

데이터의 복제 본 저장하기 때문에 데이터 복구 가능하다.

HDFS + MapReduce 구조

Hadoop Data File System

하둡은 서버를 두개를 쓴다.(분산처리를 위하여 - 서버 과부화 방지, 데이터 안전하게 복사하여 저장하기위해)

서버를 이중화 하는 방법은 여러가지 방법이 있는데 간단하게 Master-Slave방식으로만 이해했다.

Master 서버에는 "네임노드"가 있다.

여기서, 네임노드란 데이터의 Meta Data를 가진다.

Meta Data - 데이터의 FSImage (namespace정보, data node간의 block 매핑 정보),

         Editslog (메타데이터 변경 정보)를 가짐

데이터노드 - 는 3-copy방식으로 master에 한 개, slave서버에 2개가 저장되어 있고 실제 파일이다.

​

HDFS의 쓰기

-APP에서 HDFS CLient에 데이터 쓰기 정보 요청함.

client가 name node에게 데이터 노드 주소 3개를 줌.

그중 가장 앞에 있는 데이터 노드 주소에 데이터를 3군데 분산하여 저장함

HDFS의 읽기

-App에서 HDFS Client에 데이터 읽기 정보 요청함.

client가 name node에게 메타정보를 요청하고

 master, slave서버의 데이터 노드 주소를 제공하여

그 중 가장 가까운 주소로 부터 데이터를 제공한다.

MapReduce

간단하게 말하면 대용량 파일 처리 시스템으로

Map과 Reduce가 있다

Map의 역할

원시데이터를 64MB로 자르고

split하여 key/value 쌍으로 임시적으로 나눈다.

임시적으로 나눔 >> 디스크 상

나눈 데이터를 메모리 버퍼상에서

 파티션 함수로 파티션영역으로 구분한다.

Reduce 역할

구분한 중간파일을 Reduce로 합쳐 key에 의해 sort되고 reduce 함수로 결과물을 디스크에 저장한다.