[Apache Hadoop] Apache Hadoop / 하둡 싱글서버 설치 3버전

싱글노드에서 하둡을 어떻게 설치하는지 작성하려한다.

하둡을 설치하기 전에 기본적으로 os에서 설정을 바꿔야 하는게 있다.

일단 기본적으로 os 버전은 cent os7.x 이다.

인프라를 운영할 때 root 계정은 사용하지 않는다.

 

다른 계정을 생성하여 sudo 권한을 부여받고 최대한 그 계정으로 설치를 진행한다.

 

하둡을 설치하기 전에?

방화벽을 내리고 selinux disabled 그리고 유저계정을 추가하여 되도록 root계정을 사용하지 않고 진행하려한다.
자바는 open jdk 1.8버전을 설치하여 환경변수 추가한다. 

해당 내용은 추후에 추가예정이다.

하둡 설치

설치 버전 : Apache Hadoop 3.1.1

• https://hadoop.apache.org/release/3.1.1.html

• tar.gz 버전으로 다운로드 실행

• 환경설정은 하기 페이지 참고하여 진행함

  • https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation

• 분산 모드로 설치하여 진행할 때 하기 페이지 참고하여 환경 변수 설정

  • https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/ClusterSetup.html

Apache Hadoop 3.1.1 – Hadoop Cluster Setup

$ sudo yum install openssh*
 
$ wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
$ sudo tar xvzf hadoop-3.1.1.tar.gz -C /home/hadoop
$ cd /home/hadoop
 
$ vi .bash_profile
#JAVA
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
ClASSPATH=$JAVA_HOME/lib/*:$CLASSPATH
 
#HADOOP
export HADOOP_HOME=/data/platform/hadoop-3.1.1
PATH=$PATH:$HOME/.local/bin:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH CLASSPATH 
 
$ source .bash_profile
 

 

하둡 설치 후 하둡 config 설정 하기 [싱글노드 기준// 클러스터일 경우 port, hostname 등등 고려하여 설정해야함]

 

hadoop-env.sh

$ vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
 
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
 
# To prevent accidents, shell commands be (superficially) locked
# to only allow certain users to execute certain subcommands.
# It uses the format of (command)_(subcommand)_USER.
#
# For example, to limit who can execute the namenode command,
# export HDFS_NAMENODE_USER=hdfs
 
# export HADOOP_CLASSPATH=
 
export HDFS_NAMENODE_USER="user_name"
export HDFS_DATANODE_USER="user_name"
export HDFS_SECONDARYNAMENODE_USER="user_name"

yarn-env.sh

$ vi $HADOOP_HOME/etc/hadoop/yarn-env.sh
#YARN USER SETTING
export YARN_RESOURCEMANAGER_USER="user_name"
export YARN_NODAMANAGER_USER="user_name"

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

 

hdfs-site.xml

<configuration>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
    <property>
      <name>dfs.namenode.rpc-bind-host</name>
      <value>0.0.0.0</value>
    </property>
    <property>
      <name>dfs.namenode.servicerpc-bind-host</name>
      <value>0.0.0.0</value>
    </property>
    <property>
      <name>dfs.namenode.http-bind-host</name>
      <value>0.0.0.0</value>
    </property>
    <property>
      <name>dfs.namenode.https-bind-host</name>
      <value>0.0.0.0</value>
    </property>
    <property>
      <name>dfs.client.datanode-restart.timeout</name>
      <value>30</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>1024</value>
  </property>
  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>2560</value>
  </property>
  <property>
    <name>mapreduce.application.classpath</name>
    <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hostname:10020</value>
 </property>
</configuration>

 

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>hostname:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hostname:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>hostname:8031</value>
    </property>    
</configuration>

 

여기서 데이터노드, 네임노드의 포트번호는 추후 다른 하둡에코시스템 설치할 때 도 동일하게 설정해줘야하는 부분이있다.

 

 

* 1GB = 1024 MB

* 1GiB = 1000MB