책 정리 중

하둡기초

하둡과의 만남

 

맵리듀스

데이터 처리를 위한 프로그래밍이다.

맵과 리듀스

각 단계는 입력과 출력으로 키-값 쌍

입력 - 맵 - 셔플 - 리듀스 - 출력

맵리듀스 잡 - 클라이언트가 수행하는 작업의 기본 단위

잡 - 맵 태스크, 리듀스 태스크

각 태스크는 YARN을 이용해 스케쥴링됨

맵 태스크의 결과는 HDFS가 아닌 로컬에 저장됨

잡이 완료된 후 맵 태스크의 결과는 버림

 

 

하둡 분산 파일시스템

분산파일시스템 - 네트워크로 연결된 여러 머신의 스토리지를 관리하는 파일시스템

네트워크 프로그램의 복잡성을 가지고 있으며, 최대 난제는 특정 노드에 장애가 발생해도 자료가 유실되지않음

HDFS의 기본블록단위는 128MB로 굉장히 큰 단위 -> 탐색 비용을 최소화 하기위함

블록이 매우 크면 블록의 시작점을 탐색하는 데 걸리는 시간 단축 가능

데이터를 전송하는 데 더 많은 시간을 할애할 수 잇음

HDFS는 단일 디스크를 위한 파일시스템처럼 특정 블록 크기의 청크로 쪼개지고 각 청크는 독립적으로 저장

 

YARN

 

하둡 I/O

데이터 압축 포맷 - snappy

직렬화 - 네트워크 전송을 위해 구조화된 객체를 바이트 스트림으로 전환하는 과정

역직렬화 - 바이트 스트림을 일련의 구조화된 객체로 역전환하는 과정

 

맵리듀스

맵리듀스 프로그래밍

 

맵리듀스 작동방법

 

맵리듀스 타입과 포맷 

 

맵리듀스 기능

 

하둡운영

하둡 클러스터 설정

 

하둡 관리

파이시스템ㅁ의 클라이언트가 쓰기 동작(파일 생성이나 이동)을 하면 일단 에디트 로그에 해당 내역이 기록네임노드는 파일시스템의 메타데이터를 인메모리로 관리하는데에티트 로그를 먼저 변경한 후 메모리상의 메타데이터도 변경함

 

클라이언트의 읽기 요청에는 인메모리 메타데이터만 사용한다

 

에디트 로그는 개념적으로는 단일 개체지만 디스크에서는 다수의 파일로 관리됨각 파일을 세그먼트라고함

 

네임노드는 쓰기동작이 끝날 때 마다 성공했다는 결과를 클라이언트에 알려주기 전에 에디트로그를 플러시하여 동기화시킨다.네임노드는 여러개의 디렉터리에 에디트로그를 기록할 수 있기 떄문에 변경 내역을 모든 에디트 로그 복제본 파일에 플러시하고 동기화한 후 성공했다는 것을 알려주어야함 -> 어떠한 기계적 결함에도 데이터가 손실되지않기를 위함

 

각각의 fsimage 는 파일시스템 메타데이터의 완전하고 영속적인 체크포인트쓰기 동작이 있을 때 마다 fsimage를 변경하지는 않음 -> fsimage가 기가바이트 단위로 커지면 성능이 매우느려지기 때문

 

만약 네임노드 장애 발생 시-> fsimage 를 메모리에 로드하고 에디트 로그파일에서 특정 지점 이후에 발생한 변경 내역들을 메모리에 반영하여 파일시스템의 메타데이터를 최신상태로 복원할 수 있고 이와 동일한 과정이 네임노드 서비스가 시작될 때 수행된다.

 

네임노드가 재시작될 경우 매우 큰 에디트 로그의 변경 내역을 모두 적용하기 위해서는 상당한 시간이 소요됨이작업이 수행되는 동안은 파일시스템을 사용하지 못함--> 문제의 해결책은 Secondary Namenode를 운영하는 것이다.Namenode의 메모리에 있는 파일시스템의 메타데이터의 체크포인트를 만드는 것