[Hadoop] Hadoop 3.1.1 버전 테스트 / 하둡 테스트 방법

하둡을 설치하고 환경에 맞게 세팅한 후 정상적으로 설치가 되었는지 확인할 필요가 있다.

 

기본적으로 제공하는 example.jar 파일을 통해

 

임의의 데이터를 생성하고 병렬처리하여 정렬, 정렬된 데이터의 유효성을 검사하여 기본적인 성능을 테스트하는 방법이다.

 

공식사이트에서는 예제 찾기 힘들었고, microsoft azure를 참고하여 테스트를 진행했다.

 

https://docs.microsoft.com/ko-kr/azure/hdinsight/hadoop/apache-hadoop-run-samples-linux

HDInsight에서 Apache Hadoop MapReduce 예제 실행 - Azure

 

10GB GraySort 예제

• TeraGen: 정렬할 데이터의 행을 생성하는 MapReduce 프로그램
• TeraSort: 입력 데이터를 샘플링하고 MapReduce를 사용하여 데이터를 전체 순서로 정렬
• TeraSort는 사용자 지정 파티셔너를 제외하고 표준 MapReduce 정렬입니다. 파티셔너는 각 reduce의 키 범위를 정의하는 N-1 샘플 키의 정렬된 목록을 사용합니다. 특히, sample[i-1] <= key < sample[i]와 같은 모든 키는 reduce i로 전송됩니다. 이 파티셔너는 reduce i의 출력이 모두 reduce i+1의 출력보다 작도록 보증합니다.
• TeraValidate: 출력이 전역으로 정렬되는지 확인하는 MapReduce 프로그램

클러스터의 기본 스토리지에 저장되는 10GB의 데이터를 생성합니다.

$ yarn jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar teragen -Dmapred.map.tasks=50 100000000 /example/data/10GB-sort-input

 

데이터를 정렬합니다.

$ yarn jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar terasort -Dmapred.map.tasks=50 -Dmapred.reduce.tasks=25 /example/data/10GB-sort-input /example/data/10GB-sort-output

 

 생성된 데이터의 유효성을 검사합니다.

$ yarn jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar teravalidate -Dmapred.map.tasks=50 -Dmapred.reduce.tasks=25 /example/data/10GB-sort-output /example/data/10GB-sort-validate

 

example.jar 파일의 명과 위치는 하둡의 버전에 따라 상이하다.

 

jps 명령어로 하둡 데몬들이 올라와 있는지 확인 후 테스트가 필요하다.

해당 테스트에 문제 없으면 Map, Reduce 함수가 동작한다.

 

테스트가 정상적으로 동작하지 않을 때, config 값들을 수정해줘야한다.

 

그리고 네임노드와 데이터 노드가 정상적으로 연결되어있지않을 때도 테스트가 정상적으로 진행되지않는다.

hdfs dfsadmin -report로 확인해줘야하며, 대체적으로 data노드에서 data노드의 정보가 저장되는 디렉터리를 삭제 후 재시작하면 정상적으로 동작한다.

 

아래 로그는 테라소트가 정상적으로 끝난 후의 로그이다.

 

2021-06-28 11:04:18,129 INFO mapreduce.Job: Job job_1624841289722_0002 completed successfully
2021-06-28 11:04:18,257 INFO mapreduce.Job: Counters: 55
        File System Counters
                FILE: Number of bytes read=10400013350
                FILE: Number of bytes written=20816541505
                FILE: Number of read operations=0
                FILE: Number of large read operations=0
                FILE: Number of write operations=0
                HDFS: Number of bytes read=10000006150
                HDFS: Number of bytes written=10000000000
                HDFS: Number of read operations=275
                HDFS: Number of large read operations=0
                HDFS: Number of write operations=50
        Job Counters
                Killed map tasks=2
                Killed reduce tasks=2
                Launched map tasks=50
                Launched reduce tasks=27
                Data-local map tasks=50
                Total time spent by all maps in occupied slots (ms)=3529488
                Total time spent by all reduces in occupied slots (ms)=4102629
                Total time spent by all map tasks (ms)=1764744
                Total time spent by all reduce tasks (ms)=1367543
                Total vcore-milliseconds taken by all map tasks=1764744
                Total vcore-milliseconds taken by all reduce tasks=1367543
                Total megabyte-milliseconds taken by all map tasks=3614195712
                Total megabyte-milliseconds taken by all reduce tasks=4201092096
        Map-Reduce Framework
                Map input records=100000000
                Map output records=100000000
                Map output bytes=10200000000
                Map output materialized bytes=10400007500
                Input split bytes=6150
                Combine input records=0
                Combine output records=0
                Reduce input groups=100000000
                Reduce shuffle bytes=10400007500
                Reduce input records=100000000
                Reduce output records=100000000
                Spilled Records=200000000
                Shuffled Maps =1250
                Failed Shuffles=0
                Merged Map outputs=1250
                GC time elapsed (ms)=32863
                CPU time spent (ms)=581450
                Physical memory (bytes) snapshot=61669625856
                Virtual memory (bytes) snapshot=247083884544
                Total committed heap usage (bytes)=68783828992
                Peak Map Physical memory (bytes)=817356800
                Peak Map Virtual memory (bytes)=2748321792
                Peak Reduce Physical memory (bytes)=869761024
                Peak Reduce Virtual memory (bytes)=4411772928
        Shuffle Errors
                BAD_ID=0
                CONNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters
                Bytes Read=10000000000
        File Output Format Counters
                Bytes Written=10000000000
2021-06-28 11:04:18,273 INFO terasort.TeraSort: done