[Hadoop 3] Eraser coding

목적

• 복제 비용이 많이 듭니다. HDFS의 기본 3배 복제 체계는 스토리지 공간 및 기타 리소스(예: 네트워크 대역폭)에서 오버헤드가 200%입니다.
• 상대적으로 I/O 작업이 적은 Warm및 Cold 데이터셋의 경우 일반 작업 중에는 추가 블록 복제본에 거의 액세스하지 않지만 첫 번째 복제본과 동일한 양의 리소스를 사용합니다.
  • Hot : 빠른 쿼리, fresh 데이터, 동시성높음
  • warm : hot, cold 데이터의 사이
  • cold data : 느린쿼리, not fresh 데이터, 리포팅, 플랜, 동시성 낮음
• 훨씬 적은 스토리지 공간으로 하둡 이전버전의 동일한 수준의 내결함성을 제공합니다. 일반적인 Eraser Coding(EC) 설정에서 스토리지 오버헤드는 50%를 넘지 않습니다. EC 파일의 복제 팩터는 의미가 없습니다. 이 값은 항상 1이며 -setrep 명령을 통해 변경할 수 없습니다.

배경

• RAID는 스트라이핑을 통해 EC를 구현
  • 스트라이핑
    • RAID-0
      • 스트라이핑 기술 이용해 빠른 입출력속도
      • 데이터를 중복이나 패리티없이 디스크에 분산 기록
      • 처리속도 빠르나 오류 발생시 복구 불가
    • RAID-2
      • 에러를 감지하고 수정하기 위해 ECC (Error Check & Correction) 정보 사용
    • RAID-3
      • 패리티 정보를 저장하기 위해 별도로 하나의 디스크 사용
      • 입출력 겹치게 할 수 없으며 보통 대형 레코드가 많은 시스템에서 사용
    • RAID-4
      • 블록 형태의 스트라이핑 기술을 사용하여 디스크 구성함
      • 단일 디스크로부터 레코드 읽을 수 있고 데이터 읽을 때 중첩 입출력의 장점이있음
      • 쓰기 - 패리티 연산사용, 입출력의 중첩이 불가능하고 시스템에 병목현상 발생할 수 있음
    • RAID-5
      • 패리티 정보를 이용하여 하나의 디스크가 고장이 발생한 경우에도 사용이 가능함 , 최소 3개 이상의 디스크
      • 패리티는 별도의 디스크를 사용하지 않고 디스크에 분산 기록해 데이터를 중복저장하지않음
  • 미러링
    • RAID-1
  • LVM - Logical Volume Manager
    • 리눅스 설치할 때나 하드디스크를 추가하면 파티션을 분할하고 할단하는데 크기가 고정되어 변경이나 증설이 어려움. LVM은 여러개의 하드디스크를 하나로 또는 하나를 여러개로 사용할 수 있다.
  • RAID 기술
    • 스트라이핑: 연속된 데이터를 디스크에 라운드로빈 방식으로 기록한다. 서로 겹쳐서 읽거나 쓸 수 있는 네개의 드라이브가 있을 경우, 네개의 섹터를 동시에 읽을 우 있다.
    • 미러링: 디스크에 에러 발생 시 데이터 손실을 막기위해 하나 이상의 장치에 중복 저장하는 기술. 결함 허용
• 스트라이핑은 논리적으로 순차적인 데이터(예: 비트, 바이트 또는 블록)를 더 작은 단위(예: 비트, 바이트 또는 블록)로 나누고 연속된 장치를 서로 다른 디스크에 저장 (RAID 에서 Reed-Solomon의 계산방식)
• 스트리핑 분포 단위를 스트리핑 셀이라고 한다.
• 인코딩 - 원본 데이터 셀의 각 스트라이프에 대해 특정 수의 패리티 셀이 계산되고 저장
• 디코딩 - 스트라이핑 셀의 오류는 남아 있는 데이터와 패리티 셀을 기반으로 계산하여 복구가능
• EC를 HDFS와 통합하면 스토리지 효율성을 향상시키는 동시에 기존 복제 기반 HDFS 구축과 유사한 데이터 내구성을 제공
• EC사용X - 6개인 3배 복제된 파일은 6*3 = 18블록의 디스크 공간을 사용
• EC(6개의 데이터, 3개의 패리티)를 구축하면 Disk 공간을 9개만 사용

아키텍쳐

• 온라인 EC(EC 형식으로 즉시 데이터 쓰기)를 지원하여 변환 단계를 피하고 스토리지 공간을 즉시 절약
• 온라인 EC는 여러 Disk 스핀들을 병렬로 활용하여 순차 I/O 성능을 향상
  • 하이엔드 네트워킹이 있는 클러스터에서 특히 유용
• 작은 파일을 여러 DataNode에 자연스럽게 배포하므로 여러 파일을 단일 코딩 그룹으로 묶을 필요가 없음
• 삭제, 할당량 보고 및 연합 네임스페이스 간 마이그레이션과 같은 파일 작업이 크게 간소화

NameNode Extensions

• 스트라이프 HDFS 파일은 논리적으로 블록 그룹으로 구성되며, 각 그룹에는 특정 수의 내부 블록이 포함되어 있습니다. 이러한 추가 블록으로부터 NameNode 메모리 소비를 줄이기 위해, 새로운 계층적 블록 명명 프로토콜이 도입되었습니다. 블록 그룹의 ID는 내부 블록의 ID에서 유추할 수 있습니다. 따라서 블록이 아닌 블록 그룹 수준에서 관리할 수 있습니다.

DataNode Extensions

• DataNode는 실패한 삭제 코드 블록의 백그라운드 복구를 위해 EraseCodingWorker(ECWorker) 작업을 추가로 실행합니다. 장애가 발생한 EC 블록은 NameNode에 의해 감지되고, NameNode는 복구 작업을 수행할 DataNode를 선택합니다. 복구 태스크는 하트비트 응답으로 전달됩니다. 이 프로세스는 복제된 블록이 실패 시 복제되는 방식과 유사합니다. Reconstruction(재구성)은 다음 세 가지 주요 작업을 수행합니다.
• 소스 노드에서 데이터를 읽습니다. 전용 스레드 풀을 사용하여 소스 노드에서 입력 데이터를 병렬로 읽습니다. EC 정책에 따라 모든 소스 대상에 대한 읽기 요청을 스케줄링하고 재구성을 위한 최소 입력 블록 수만 읽습니다.
• 데이터를 디코딩하고 출력 데이터를 생성합니다. 입력 데이터에서 새로운 데이터 및 패리티 블록이 디코딩됩니다. 모든 결측 데이터와 패리티 블록이 함께 디코딩됩니다.
• 생성된 데이터 블록을 대상 노드로 전송합니다. 디코딩이 완료되면 복구된 블록이 대상 DataNode로 전송됩니다.

The Difference Between Hot, Warm and Cold Data

The Difference Between Hot, Warm and Cold Data

NEW Hadoop3와 Erasure Coding

NEW Hadoop3와 Erasure Coding