'하둡설치' 태그의 글 목록

하둡설치

[Apache zookeeper] zookeeper 설치 / 아파치 주키퍼 설치 2021.03.05
[Apache Hadoop] Apache Hadoop / 하둡 싱글서버 설치 3버전 2021.03.05

[Apache zookeeper] zookeeper 설치 / 아파치 주키퍼 설치

🐰히히 2021. 3. 5. 01:50

2021. 3. 5. 01:50

주키퍼란 분산 애플리케이션을 위한 분산 코디네이션이다.

znode(저널노드)가 각각의 서버에 위치해 있다.

각 하둡의 서비스들이 잘 동작하고 있는지 확인한다.

주기적으로 하트비트 요구하여 받는 방식으로,

따라서 주기퍼는 홀수로 클러스터를 구성하는데

여기서 들어가는 개념이 쿼럼이다.

쿼럼이란?

다수결로 예를 들어 5개의 서버로 구성 되어있고,

2개의 서버가 죽는다고 가정했을 때 정상적으로 동작한다고 판단한다.

그리고 5개 중 3개의 서버가 죽었을 경우, 다수결로 인해 비정상이라고 판다한다.

그로 인해, 주키퍼는 홀수로 클러스터를 구성한다.

zookeeper 클러스터는

하나의 서버가 리더이고, 다른 서버는 팔로워이다

리더 서버를 기준으로 sync를 맞춘다.

자세한 내용은 공식 사이트 참조바람

주키퍼 설치 방법

주키퍼 파일 다운로드 후 압축 해제 후 테스트

1
2
3
4
wget https://mirror.navercorp.com/apache/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9.tar.gz
tar xvzf apache-zookeeper-3.5.9.tar.gz
cd bin/zkCli.sh -server 127.0.0.1:2181
./zkCli.sh -server 127.0.0.1:2181
Colored by Color Scripter
cs

주키퍼 conf에서 zoo.cfg 파일 생성

1
2
3
4
5
6
$ vi $ZOOKEEPER_HOME/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/userDIr/zookeeper
clientPort=2181
cs

주키퍼 실행

1
bin/zkServer.sh start
cs

jps로 주키퍼 실행 중인지 확인

1
2
3
jps
-------------------
Quorumpeermain
cs

netstat -nltp | grep 2181로 주키퍼 확인하기

주키퍼의 포트번호는 zoo.cfg 파일에서 변경할 수 있다.

728x90

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

[설치 전 준비] 하둡에코시스템을 설치전에 준비해야할 것 (0)	2021.03.06
[Hue] 휴 설치 가이드 / Hue 설치 가이드 4.0.1 (0)	2021.03.05
[Apache Livy] 아파치 리비 / Apache Livy standalone Install (0)	2021.03.05
[Apache Spark] Apache Spark standalone Install / 아파치 스파크 설치 (0)	2021.03.05
[Apache Hbase] HBASE 2.2.0 standalone install / Hbase 설치 싱글서버 (0)	2021.03.05

[Apache Hadoop] Apache Hadoop / 하둡 싱글서버 설치 3버전

🐰히히 2021. 3. 5. 01:31

2021. 3. 5. 01:31

싱글노드에서 하둡을 어떻게 설치하는지 작성하려한다.

하둡을 설치하기 전에 기본적으로 os에서 설정을 바꿔야 하는게 있다.

일단 기본적으로 os 버전은 cent os7.x 이다.

인프라를 운영할 때 root 계정은 사용하지 않는다.

다른 계정을 생성하여 sudo 권한을 부여받고 최대한 그 계정으로 설치를 진행한다.

하둡을 설치하기 전에?

방화벽을 내리고 selinux disabled 그리고 유저계정을 추가하여 되도록 root계정을 사용하지 않고 진행하려한다.
자바는 open jdk 1.8버전을 설치하여 환경변수 추가한다.

해당 내용은 추후에 추가예정이다.

하둡 설치

설치 버전 : Apache Hadoop 3.1.1

https://hadoop.apache.org/release/3.1.1.html
tar.gz 버전으로 다운로드 실행
환경설정은 하기 페이지 참고하여 진행함
- https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation
분산 모드로 설치하여 진행할 때 하기 페이지 참고하여 환경 변수 설정
- https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/ClusterSetup.html

Apache Hadoop 3.1.1 – Hadoop Cluster Setup

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
$ sudo yum install openssh*
 
$ wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
$ sudo tar xvzf hadoop-3.1.1.tar.gz -C /home/hadoop
$ cd /home/hadoop
 
$ vi .bash_profile
#JAVA
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
ClASSPATH=$JAVA_HOME/lib/*:$CLASSPATH
 
#HADOOP
export HADOOP_HOME=/data/platform/hadoop-3.1.1
PATH=$PATH:$HOME/.local/bin:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH CLASSPATH 
 
$ source .bash_profile
 
Colored by Color Scripter
cs

하둡 설치 후 하둡 config 설정 하기 [싱글노드 기준// 클러스터일 경우 port, hostname 등등 고려하여 설정해야함]

hadoop-env.sh

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
$ vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
 
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
 
# To prevent accidents, shell commands be (superficially) locked
# to only allow certain users to execute certain subcommands.
# It uses the format of (command)_(subcommand)_USER.
#
# For example, to limit who can execute the namenode command,
# export HDFS_NAMENODE_USER=hdfs
 
# export HADOOP_CLASSPATH=
 
export HDFS_NAMENODE_USER="user_name"
export HDFS_DATANODE_USER="user_name"
export HDFS_SECONDARYNAMENODE_USER="user_name"
cs

yarn-env.sh

1
2
3
4
$ vi $HADOOP_HOME/etc/hadoop/yarn-env.sh
#YARN USER SETTING
export YARN_RESOURCEMANAGER_USER="user_name"
export YARN_NODAMANAGER_USER="user_name"
cs

core-site.xml

1
2
3
4
5
6
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
cs

hdfs-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
<configuration>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
    <property>
      <name>dfs.namenode.rpc-bind-host</name>
      <value>0.0.0.0</value>
    </property>
    <property>
      <name>dfs.namenode.servicerpc-bind-host</name>
      <value>0.0.0.0</value>
    </property>
    <property>
      <name>dfs.namenode.http-bind-host</name>
      <value>0.0.0.0</value>
    </property>
    <property>
      <name>dfs.namenode.https-bind-host</name>
      <value>0.0.0.0</value>
    </property>
    <property>
      <name>dfs.client.datanode-restart.timeout</name>
      <value>30</value>
    </property>
</configuration>
Colored by Color Scripter
cs

mapred-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>1024</value>
  </property>
  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>2560</value>
  </property>
  <property>
    <name>mapreduce.application.classpath</name>
    <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hostname:10020</value>
 </property>
</configuration>
Colored by Color Scripter
cs

yarn-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>hostname:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hostname:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>hostname:8031</value>
    </property>    
</configuration>
Colored by Color Scripter
cs

여기서 데이터노드, 네임노드의 포트번호는 추후 다른 하둡에코시스템 설치할 때 도 동일하게 설정해줘야하는 부분이있다.

* 1GB = 1024 MB

* 1GiB = 1000MB

728x90

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

[Apache Spark] Apache Spark standalone Install / 아파치 스파크 설치 (0)	2021.03.05
[Apache Hbase] HBASE 2.2.0 standalone install / Hbase 설치 싱글서버 (0)	2021.03.05
[Apache Hive] Apache Hive / 하이브 standalone Install (0)	2021.03.05
하이브란? (0)	2021.03.05
하둡이란? (0)	2021.03.05

PREV 이전 1 NEXT 다음

내 블로그 - 관리자 홈 전환	`Q` `Q`
새 글 쓰기	`W` `W`

글 수정 (권한 있는 경우)	`E` `E`
댓글 영역으로 이동	`C` `C`

이 페이지의 URL 복사	`S` `S`
맨 위로 이동	`T` `T`
티스토리 홈 이동	`H` `H`
단축키 안내	`Shift` + `/` `⇧` + `/`

data_lab

하둡설치

[Apache zookeeper] zookeeper 설치 / 아파치 주키퍼 설치

주키퍼란 분산 애플리케이션을 위한 분산 코디네이션이다.

쿼럼이란?

주키퍼 설치 방법

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

[Apache Hadoop] Apache Hadoop / 하둡 싱글서버 설치 3버전

하둡을 설치하기 전에?

하둡 설치

hadoop-env.sh

yarn-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

+ Recent posts

티스토리툴바

단축키

내 블로그

블로그 게시글

모든 영역