[Hadoop] Block Pool

Name space

-디렉터리, 파일, 블록으로 구성

-파일 및 디렉터리 만들기, 삭제, 수정 및 목록 지정과 같은 네임스페이스 관련 모든 파일 시스템 작업을 지원

Block Storage Service

Block Management (Namenode에서 수행)

-등록 및 주기적인 하트비트를 처리하여 데이터노드 클러스터 구성원 자격을 제공

-블록 보고서를 처리하고 블록 위치를 유지

-블록 위치 생성, 삭제, 수정 및 가져오기 등의 블록 관련 작업을 지원

-복제본 배치를 관리하고, 복제되지 않은 블록에 대한 복제를 차단하며, 과도하게 복제된 블록을 삭제

Storage

-로컬 파일 시스템에 블록을 저장하고 읽기/쓰기 액세스를 허용함으로써 데이터노드에 의해 제공

HDFS Federation은 여러 네임노드/네임스페이스에 대한 지원을 HDFS에 추가하여 이러한 제한을 해결

 

Block Pool - 단일 네임스페이스에 속하는 블록집합으로 블록풀은 독립적으로 관리됨

네임스페이스 볼륨 = 네임스페이스 + 블록 풀

네임노드. 네임스테이스가 삭제되면 데이터노드의 해당 블록 풀이 삭제된다.

ClusterID -ID 식별자는 클러스터의 모든 노드를 식별하는 데 사용

네임노드를 포맷하면 이 식별자가 제공되거나 자동으로 생성됨. 이 ID는 다른 네임노드를 클러스터로 포맷하는 데 사용

 

 

네임노드와 데이터노드의 current 디렉터리 안에 VERSION 파일 존재

해당파일 읽으면 내용은 아래와 같다.

 

cat ~/hdfs/namenode/current/VERSION

 

Wed June 20 09:11:23 KST 2020

namespaceID=367232048

clusterID=CID-234sdaf234-3fsda-4949-v324-fsd3asfdf234

cTime=123123123342323

storageType=NAME_NODE

blockpoolID=BP-217871978-000.000.000.000-000000000000

layoutVersion=-64

 

이런 형식으로 각 ID를 확인 할 수 있다.