data_lab

yum 명령어로 설치하는했을 때 내가 원하는 버전과 다른 경우가 있다.

이미 설치하고나서 다시 지우고 할때 좀 번거로운 부분이 있어서 

설치할 때 원하는 버전으로 설치하는게 깔끔하다.

설치과정은 centos7버전 기준이며, OS와 OS버전에 맞게 공식사이트에서 명령어를 제공해주니 참고하면된다. 

sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
sudo yum install -y postgresql12-server
sudo /usr/pgsql-12/bin/postgresql-12-setup initdb
sudo systemctl enable postgresql-12
sudo systemctl start postgresql-12

Linux CentOS 7 v 기준으로 작성되었음

rpm 파일 압축해제 

rpm 파일 설치 

rpm 파일 제거 

--noscript 같은 옵션을 써서 강제삭제함

rpm 파일 검증

명령어 옵션을 찾아보면 더 있다.

SPEC 파일의 양식에 대해 알아보려한다.

Name: RPM_NAME          rpmbuild후 생성되는 rpm파일의 이름
Version: 1                    rpmbuild후 생성되는 rpm파일의 버전  
Release: 1                    rpmbuild후 생성되는 rpm파일의 릴리즈버전
Summary: Test
License: ASL 2.0
URL: http://hadoop.apache.org/core/
Group: Development/Libraries
Source0: example      rpmbuild 시 사용되는 Source 파일
BuildArch: noarch    rpmbuild의 아키텍쳐 형식 

%description  rpm파일 만드려는 파일의 설명. 해당부분없을 시 빌드 실패
example~

%filees 
/test1

Name-Version-Release.BuildArch.rpm

=> RPM_NAME-1-1.noarch.rpm 이다.

spec 파일을 아래와 같이 나누면

%package test
Summary: aa
Group: System/Daemons

%description test
package test

%files test
/test2

1. RPM_NAME-1-1.noarch.rpm

• 설치되는 파일 디렉터리 및 파일 /test1

2. RPM_NAME-test-1-1.noarch.rpm

• 설치되는 파일 디렉터리 및 파일 /test2

이다.

spec 파일에 상세 하게 나눌 수 있는데

%pre : 설치하기 전에

%prep (빌드 전에 빌드 환경이나 작업 공간을 준비하는 명령)

%build (source 파일 압축해제후 메이븐 빌드과정)

%install (빌드완료한 후 파일을 사용자가 원하는 방식으로 디렉터리 분리와 링크 생성 BUILD 디렉터리에서 BUILDROOT디렉터리로 복사)

%post : 설치한 후 (유저 추가. 서비스 실행 등등의 과정)

%preun : 제거하기 전에 (유저 삭제. 서비스 멈춤 등등의 과정)

스펙파일안에서 사용하는 매크로들이 있다.

해당 매크로들을 적절하게 사용하여 rpm파일을 만들면되는데

이해가 잘가지 않을경우 그냥 남이 만들어놓은거를 보고 분석하는게 제일 빠르다

Linux CentOS 기준 **

rpm = redhat package manager 의 줄임말로

rpm 파일을 설치하면, 원하는 디렉터리에 파일이 저장되고 유저가 추가나 심볼링 링크까지 한번에 해결할 수 있다.

rpm파일은 spec이라는 파일로 만드는데

일단 spec 파일을 rpm 파일로 빌드하기위해 rpmbuild 디렉터리 구조를 알아보려한다.

rpmbuild를 리눅스에서 설치한다.

-bb 옵션은 바이너리 파일만 생성 (아마도 rpm만 생성일 듯)

-ba 옵션은 소스와 바이너리 파일 모두 생성 (srpm, rpm 모두 생성일 것)

나는 -ba 옵션만 사용해서 잘 모르겠,,

https://docs.ansible.com/ansible/latest/index.html

설치전 요구 사항

• you can use any machine with Python 2 (version 2.7) or Python 3 (versions 3.5 and higher) installed

설치환경은 Cent OS로 진행하였다.

/etc/ansible 이 생긴 것을 확인 할 수 있다.

하둡 버전 3.1 기준으로 

개인적으로 정리한 명령어이다.

기존에 리눅스에 대해 공부했다면 하둡 명령어를 공부하는데에 엄청 어렵진않다.

1.hdfs dfs –cat /tmp/Sample2.txt      #파일 읽기

2.hdfs dfs –checksum /tmp/Sample2.txt 데이터무결성

3.hdfs dfs –chgrp kyn /tmp/Sample2.txt

4.hdfs dfs –chown kyn /tmp/Sample2.txt

5.hdfs dfs –chmod –R 777 /tmp/Sample2.txt

6.hdfs dfs –copyFromLocal /tmp/Sample2.txt put유사

7.hdfs dfs –copyToLocal /tmp/Sample2.txt

8.hdfs dfs –count /tmp/Sample2.txt

9.hdfs dfs –cp /tmp/Sample2.txt /tmp/rename.txt

10. hdfs dfs –createSnapshot

11. hdfs dfs –deleteSnapshot

12.hdfs dfs -df -h /tmp/ 디스크 여유 공간

13.hdfs dfs –du –h /tmp/ 디스크 사용량

14.hdfs dfs –expunge 휴지통 비우기 (hdfs 파일 삭제 후 휴지통에 임시저장, 시간경과후 삭제함)

15.hdfs dfs –find /temp/Sample2.txt

16.hdfs dfs –get /temp/Sample2.txt

17.hdfs dfs –head /temp/Sample2.txt

18.hdfs dfs –help

20. hdfs dfs –ls /

21. hdfs dfs –mkdir /temp/test

22. hdfs dfs –moveFromLocal  (Local 에서 hdfs)

23. hdfs dfs –moveToLocal (hdfs에서 local)

24. hdfs dfs –mv /tmp/Sample2.txt /tmp/test

25. hdfs dfs –put /root/home/Sample.txt /tmp

26. hdfs dfs –renameSnapshot oldname newname

27. hdfs dfs –rmdir/test

28. hdfs dfs –rm /tmp/Sample2.txt

29. hdfs dfs –stat ‘%d %o %r %u %n’ /tmp/Sample2.txt

%b  파일 크기 %o 파일 블록 크기 $r 복제 수 %u 소유자 %n 파일명

30. hdfs dfs –tail –F /tmp/Sample2.txt

31. hdfs dfs –test ~  true > 0 false > -1

32. hdfs dfs –text /tmp/filename

33. hdfs dfs –touch /tmp/filename

34. hdfs dfs –touchz /tmp/filename (0 byte)

35. hdfs dfs –usage command 사용방법 출력

File system checking

1.hdfs fsck /

2.hdfs fsck delete

커럽트된 파일 삭제

3. hdfs fsck move

커럽트된 파일 이동

Status: HEALTHY

 Number of data-nodes:  3

 Number of racks:               1

 Total dirs:                    950

 Total symlinks:                0

Replicated Blocks:

 Total size:    3664434506 B (Total open files size: 1353 B)  현재 사용중인 byte

 Total files:   2127 (Files currently being written: 10)

 Total blocks (validated):      1998 (avg. block size 1834051 B)

 (Total open file blocks (not validated): 5)

 Minimally replicated blocks:   1998 (100.0 %)  최소개수로 복제된 블록

 Over-replicated blocks:        0 (0.0 %)     설정 값보다 더 복제된 블록

 Under-replicated blocks:       1998 (100.0 %)     설정 값보다 아래 복제블록

 Mis-replicated blocks:         0 (0.0 %)     규정 위반 블록

 Default replication factor:    3     dfs.replication 값

 Average block replication:     1.998999     복제값 평균

 Missing blocks:                0

 Corrupt blocks:                0     오류발생

 Missing replicas:              1998 (33.34446 %)       복제존재X블록

커럽트 상태

모든 블록에 문제 생겨

복구 못하는 상태

3copy 방식으로 데이터노드 중 문제 생기면

Reblancing을 통해 데이터의 크기를 맞추거나

유실된?데이터를 copy

NameNode 상태 관리

Hdsf dfsadmin –safemode enter  : Namenode 데이터 변경 못하게 safemode

Hdfs dfsadmin –safemode get : name node 확인

Hdfs dfsadmin –safemode leave : name node가 safemode 나감

hdfs envvars (환경변수 출력됨)

JAVA_HOME='/usr/java/jdk'

HADOOP_HDFS_HOME='/usr/hdp/3.1.0.0-78/hadoop-hdfs'

HDFS_DIR='./'

HDFS_LIB_JARS_DIR='lib'

HADOOP_CONF_DIR='/usr/hdp/3.1.0.0-78/hadoop/conf'

HADOOP_TOOLS_HOME='/usr/hdp/3.1.0.0-78/hadoop'

HADOOP_TOOLS_DIR='share/hadoop/tools'

HADOOP_TOOLS_LIB_JARS_DIR='share/hadoop/tools/lib'

hdfs httpfs

HttpFS 서버, HDFS HTTP 게이트웨이 실행

1.hdfs version  설치된 하둡 버전 확인

2.hdfs classpath 설치된 하둡 jar, 필요한 라이브러리 classpath 출력

3.hdfs groups  hdfs : hadoop hdfs kyn

4.hdfs lsSnapshottableDir 스냅샷 리스트 출력됨

5.hdfs jmxget jmx정보 출력

1.init: server=localhost;port=;service=NameNode;localVMUrl=null

2.Domains:

3.        Domain = JMImplementation

4.        Domain = com.sun.management

5.        Domain = java.lang

6.        Domain = java.nio

7.        Domain = java.util.logging

8.MBeanServer default domain = DefaultDomain

9.MBean count = 22

10.Query MBeanServer MBeans:

11.List of all the available keys:

JMX - 응용 프로그램(소프트웨어)/객체/장치 (프린터 등) 및 서비스 지향 네트워크 등을 감시 관리를 위한 도구를 제공하는 자바 API이다.

1.Hdfs oev   Hadoop offline edits viewer editlogs 파일 포맷 파싱

2.Hdfs oiv    Hadoop offline image viewer fsImage 사람이 읽을 수 있게 변경

3.Hdfs snapshotDiff [경로]

1.A스냅샷 B 스냅샷 A에서 B와 다른 점 출력

Administration Commands

Hdfs balancer : 블록 위치 분석, 데이터 노드를 통해 데이터 균형맞춤

Hdfs cacheadmin : cache pool과 상호작용 가능,

Hdfs cypto : 배치에서 반환할 수 있는 최대 enctyption zone 목록화, 네임노드 퍼포먼스 향상

Hdfs datanode : HDFS 데이터노드 실행, 롤백

Hdfs dfsrouter : DFS 라우터 실행

Hdfs dfsrouteradmin : 라우터 기반 조직 관리

Hdfs diskbalancer : diskbalancer 실행 (모든 디스크의 데이터노드에 데이터 분배하는 역할)

Hdfs ec : erasure conding _ 소거코드 관련된 명령어

Hdfs haadmin : namenode status 확인, namenode active 선정

Hdfs journalnode : journalnode 시작

Hdfs mover : data migration 실행

Hdfs namenode : namenode 실행, 백업, 회복, 업그레이드, 이전버전으로 롤백,,등

Hdfs nfs3 : HDFS NFS3 서비스 사용하기 위해 NFS3 게이트웨이 실행

Hdfs portmap : HDFS NFS3서비스 사용하기 위해 RPS portmap 실행

Hdfs secondarynamenode : secondary namenode 실행

Hdfs storagepolicies : storage policies 리스트 출력, 설정  

BlockStoragePolicy{PROVIDED:1, storageTypes=[PROVIDED, DISK], creationFallbacks=[PROVIDED, DISK]

, replicationFallbacks=[PROVIDED, DISK]}

Hdfs zkfc : zookeeper failover(장애대비기능) controller process 실행

hdfs dfsadmin -report

Configured Capacity: 248290449920 (231.24 GB)

Present Capacity: 194169229810 (180.83 GB)

DFS Remaining: 183161573874 (170.58 GB)

DFS Used: 11007655936 (10.25 GB)

DFS Used%: 5.67%

Replicated Blocks:

        Under replicated blocks: 0

        Blocks with corrupt replicas: 0

        Missing blocks: 0

        Missing blocks (with replication factor 1): 0

        Low redundancy blocks with highest priority to recover: 0

        Pending deletion blocks: 0

Erasure Coded Block Groups:

        Low redundancy block groups: 0

        Block groups with corrupt internal blocks: 0

        Missing block groups: 0

        Low redundancy blocks with highest priority to recover: 0

        Pending deletion blocks: 0

-------------------------------------------------

Live datanodes (3):

Name: 192.168.56.131:50010 

Hostname: bdd.co.kr

Decommission Status : Normal

Configured Capacity: 76060626432 (70.84 GB)

DFS Used: 3599179776 (3.35 GB)

Non DFS Used: 21608422912 (20.12 GB)

DFS Remaining: 50584588454 (47.11 GB)

DFS Used%: 4.73%

DFS Remaining%: 66.51%

Configured Cache Capacity: 0 (0 B)

Cache Used: 0 (0 B)

Cache Remaining: 0 (0 B)

Cache Used%: 100.00%

Cache Remaining%: 0.00%

Xceivers: 6

Last contact: Fri Sep 04 12:14:34 KST 2020

Last Block Report: Fri Sep 04 08:00:09 KST 2020

Num of Blocks: 2003

Hdfs dfsadmin –report –live : 살아있는 데이터 노드 포함 하둡 상태

Hdfs dfsadmin –report –dead: 죽은 데이터 노드 상태

Debug Commands

Hdfs debug verifyMeta : HDFS 메타데이터, 블록 파일 검증.

메타파일의 체크섬과 블록파일과 매치하여 검증

Hdfs debug computeMeta : 블록파일에서의 HDFS 메타데이터 계산,

블록파일에서 체크섬 계산하고 메타데이터 산출물에 저장함

Hdfs debug recoverLease : recoverLease를 클라이언트가 recoverLease를 몇 번 호출할지 설정(default = 1),

지정된 path에서 lease 회복

HDFS lease >> 클라이언트에게 쓰기 작업을 위해 파일 여는 것을 권한을 부여 받음