[Hadoop] 하둡 명령어 정리 / Hadoop 명령어 정리

하둡 버전 3.1 기준으로 

개인적으로 정리한 명령어이다.

 

기존에 리눅스에 대해 공부했다면 하둡 명령어를 공부하는데에 엄청 어렵진않다.

 

1.hdfs dfs –cat /tmp/Sample2.txt      #파일 읽기

2.hdfs dfs –checksum /tmp/Sample2.txt 데이터무결성

3.hdfs dfs –chgrp kyn /tmp/Sample2.txt

4.hdfs dfs –chown kyn /tmp/Sample2.txt

5.hdfs dfs –chmod –R 777 /tmp/Sample2.txt

6.hdfs dfs –copyFromLocal /tmp/Sample2.txt put유사

7.hdfs dfs –copyToLocal /tmp/Sample2.txt

8.hdfs dfs –count /tmp/Sample2.txt

9.hdfs dfs –cp /tmp/Sample2.txt /tmp/rename.txt

10. hdfs dfs –createSnapshot

11. hdfs dfs –deleteSnapshot

12.hdfs dfs -df -h /tmp/ 디스크 여유 공간

13.hdfs dfs –du –h /tmp/ 디스크 사용량

14.hdfs dfs –expunge 휴지통 비우기 (hdfs 파일 삭제 후 휴지통에 임시저장, 시간경과후 삭제함)

15.hdfs dfs –find /temp/Sample2.txt

16.hdfs dfs –get /temp/Sample2.txt

17.hdfs dfs –head /temp/Sample2.txt

18.hdfs dfs –help

20. hdfs dfs –ls /

21. hdfs dfs –mkdir /temp/test

22. hdfs dfs –moveFromLocal  (Local 에서 hdfs)

23. hdfs dfs –moveToLocal (hdfs에서 local)

24. hdfs dfs –mv /tmp/Sample2.txt /tmp/test

25. hdfs dfs –put /root/home/Sample.txt /tmp

26. hdfs dfs –renameSnapshot oldname newname

27. hdfs dfs –rmdir/test

28. hdfs dfs –rm /tmp/Sample2.txt

29. hdfs dfs –stat ‘%d %o %r %u %n’ /tmp/Sample2.txt

%b  파일 크기 %o 파일 블록 크기 $r 복제 수 %u 소유자 %n 파일명

30. hdfs dfs –tail –F /tmp/Sample2.txt

31. hdfs dfs –test ~  true > 0 false > -1

32. hdfs dfs –text /tmp/filename

33. hdfs dfs –touch /tmp/filename

34. hdfs dfs –touchz /tmp/filename (0 byte)

35. hdfs dfs –usage command 사용방법 출력

 

File system checking

1.hdfs fsck /

2.hdfs fsck delete

커럽트된 파일 삭제

3. hdfs fsck move

커럽트된 파일 이동

 

Status: HEALTHY

 Number of data-nodes:  3

 Number of racks:               1

 Total dirs:                    950

 Total symlinks:                0

Replicated Blocks:

 Total size:    3664434506 B (Total open files size: 1353 B)  현재 사용중인 byte

 Total files:   2127 (Files currently being written: 10)

 Total blocks (validated):      1998 (avg. block size 1834051 B)

 (Total open file blocks (not validated): 5)

 Minimally replicated blocks:   1998 (100.0 %)  최소개수로 복제된 블록

 Over-replicated blocks:        0 (0.0 %)     설정 값보다 더 복제된 블록

 Under-replicated blocks:       1998 (100.0 %)     설정 값보다 아래 복제블록

 Mis-replicated blocks:         0 (0.0 %)     규정 위반 블록

 Default replication factor:    3     dfs.replication 값

 Average block replication:     1.998999     복제값 평균

 Missing blocks:                0

 Corrupt blocks:                0     오류발생

 Missing replicas:              1998 (33.34446 %)       복제존재X블록

 

 

커럽트 상태

모든 블록에 문제 생겨

복구 못하는 상태

3copy 방식으로 데이터노드 중 문제 생기면

Reblancing을 통해 데이터의 크기를 맞추거나

유실된?데이터를 copy

 

 

 

NameNode 상태 관리

Hdsf dfsadmin –safemode enter  : Namenode 데이터 변경 못하게 safemode

Hdfs dfsadmin –safemode get : name node 확인

Hdfs dfsadmin –safemode leave : name node가 safemode 나감

 

hdfs envvars (환경변수 출력됨)

JAVA_HOME='/usr/java/jdk'

HADOOP_HDFS_HOME='/usr/hdp/3.1.0.0-78/hadoop-hdfs'

HDFS_DIR='./'

HDFS_LIB_JARS_DIR='lib'

HADOOP_CONF_DIR='/usr/hdp/3.1.0.0-78/hadoop/conf'

HADOOP_TOOLS_HOME='/usr/hdp/3.1.0.0-78/hadoop'

HADOOP_TOOLS_DIR='share/hadoop/tools'

HADOOP_TOOLS_LIB_JARS_DIR='share/hadoop/tools/lib'

 

 

hdfs httpfs

HttpFS 서버, HDFS HTTP 게이트웨이 실행

 

1.hdfs version  설치된 하둡 버전 확인

2.hdfs classpath 설치된 하둡 jar, 필요한 라이브러리 classpath 출력

3.hdfs groups  hdfs : hadoop hdfs kyn

4.hdfs lsSnapshottableDir 스냅샷 리스트 출력됨

5.hdfs jmxget jmx정보 출력

 

 

1.init: server=localhost;port=;service=NameNode;localVMUrl=null

2.Domains:

3.        Domain = JMImplementation

4.        Domain = com.sun.management

5.        Domain = java.lang

6.        Domain = java.nio

7.        Domain = java.util.logging

8.MBeanServer default domain = DefaultDomain

9.MBean count = 22

10.Query MBeanServer MBeans:

11.List of all the available keys:

 

JMX - 응용 프로그램(소프트웨어)/객체/장치 (프린터 등) 및 서비스 지향 네트워크 등을 감시 관리를 위한 도구를 제공하는 자바 API이다.

 

 

1.Hdfs oev   Hadoop offline edits viewer editlogs 파일 포맷 파싱

2.Hdfs oiv    Hadoop offline image viewer fsImage 사람이 읽을 수 있게 변경

3.Hdfs snapshotDiff [경로]

1.A스냅샷 B 스냅샷 A에서 B와 다른 점 출력

 

 

 

Administration Commands

 

Hdfs balancer : 블록 위치 분석, 데이터 노드를 통해 데이터 균형맞춤

Hdfs cacheadmin : cache pool과 상호작용 가능,

Hdfs cypto : 배치에서 반환할 수 있는 최대 enctyption zone 목록화, 네임노드 퍼포먼스 향상

Hdfs datanode : HDFS 데이터노드 실행, 롤백

Hdfs dfsrouter : DFS 라우터 실행

Hdfs dfsrouteradmin : 라우터 기반 조직 관리

Hdfs diskbalancer : diskbalancer 실행 (모든 디스크의 데이터노드에 데이터 분배하는 역할)

Hdfs ec : erasure conding _ 소거코드 관련된 명령어

Hdfs haadmin : namenode status 확인, namenode active 선정

Hdfs journalnode : journalnode 시작

Hdfs mover : data migration 실행

Hdfs namenode : namenode 실행, 백업, 회복, 업그레이드, 이전버전으로 롤백,,등

Hdfs nfs3 : HDFS NFS3 서비스 사용하기 위해 NFS3 게이트웨이 실행

Hdfs portmap : HDFS NFS3서비스 사용하기 위해 RPS portmap 실행

Hdfs secondarynamenode : secondary namenode 실행

Hdfs storagepolicies : storage policies 리스트 출력, 설정  

BlockStoragePolicy{PROVIDED:1, storageTypes=[PROVIDED, DISK], creationFallbacks=[PROVIDED, DISK]

, replicationFallbacks=[PROVIDED, DISK]}

Hdfs zkfc : zookeeper failover(장애대비기능) controller process 실행

 

hdfs dfsadmin -report

Configured Capacity: 248290449920 (231.24 GB)

Present Capacity: 194169229810 (180.83 GB)

DFS Remaining: 183161573874 (170.58 GB)

DFS Used: 11007655936 (10.25 GB)

DFS Used%: 5.67%

Replicated Blocks:

        Under replicated blocks: 0

        Blocks with corrupt replicas: 0

        Missing blocks: 0

        Missing blocks (with replication factor 1): 0

        Low redundancy blocks with highest priority to recover: 0

        Pending deletion blocks: 0

Erasure Coded Block Groups:

        Low redundancy block groups: 0

        Block groups with corrupt internal blocks: 0

        Missing block groups: 0

        Low redundancy blocks with highest priority to recover: 0

        Pending deletion blocks: 0

-------------------------------------------------

 

Live datanodes (3):

Name: 192.168.56.131:50010 

Hostname: bdd.co.kr

Decommission Status : Normal

Configured Capacity: 76060626432 (70.84 GB)

DFS Used: 3599179776 (3.35 GB)

Non DFS Used: 21608422912 (20.12 GB)

DFS Remaining: 50584588454 (47.11 GB)

DFS Used%: 4.73%

DFS Remaining%: 66.51%

Configured Cache Capacity: 0 (0 B)

Cache Used: 0 (0 B)

Cache Remaining: 0 (0 B)

Cache Used%: 100.00%

Cache Remaining%: 0.00%

Xceivers: 6

Last contact: Fri Sep 04 12:14:34 KST 2020

Last Block Report: Fri Sep 04 08:00:09 KST 2020

Num of Blocks: 2003

 

 

Hdfs dfsadmin –report –live : 살아있는 데이터 노드 포함 하둡 상태

Hdfs dfsadmin –report –dead: 죽은 데이터 노드 상태

 

 

Debug Commands

Hdfs debug verifyMeta : HDFS 메타데이터, 블록 파일 검증.

메타파일의 체크섬과 블록파일과 매치하여 검증

Hdfs debug computeMeta : 블록파일에서의 HDFS 메타데이터 계산,

블록파일에서 체크섬 계산하고 메타데이터 산출물에 저장함

Hdfs debug recoverLease : recoverLease를 클라이언트가 recoverLease를 몇 번 호출할지 설정(default = 1),

지정된 path에서 lease 회복

HDFS lease >> 클라이언트에게 쓰기 작업을 위해 파일 여는 것을 권한을 부여 받음