data_lab

주키퍼란 분산 애플리케이션을 위한 분산 코디네이션이다. znode(저널노드)가 각각의 서버에 위치해 있다.각 하둡의 서비스들이 잘 동작하고 있는지 확인한다.주기적으로 하트비트 요구하여 받는 방식으로, 따라서 주기퍼는 홀수로 클러스터를 구성하는데여기서 들어가는 개념이 쿼럼이다. 쿼럼이란? 다수결로 예를 들어 5개의 서버로 구성 되어있고,2개의 서버가 죽는다고 가정했을 때 정상적으로 동작한다고 판단한다.그리고 5개 중 3개의 서버가 죽었을 경우, 다수결로 인해 비정상이라고 판다한다.그로 인해, 주키퍼는 홀수로 클러스터를 구성한다. zookeeper 클러스터는하나의 서버가 리더이고, 다른 서버는 팔로워이다리더 서버를 기준으로 sync를 맞춘다. 자세한 내용은 공식 사이트 참조바람 주키퍼 설치 방법주키퍼 파일 ..

싱글노드에서 하둡을 어떻게 설치하는지 작성하려한다. 하둡을 설치하기 전에 기본적으로 os에서 설정을 바꿔야 하는게 있다. 일단 기본적으로 os 버전은 cent os7.x 이다. 인프라를 운영할 때 root 계정은 사용하지 않는다. 다른 계정을 생성하여 sudo 권한을 부여받고 최대한 그 계정으로 설치를 진행한다. 하둡을 설치하기 전에?방화벽을 내리고 selinux disabled 그리고 유저계정을 추가하여 되도록 root계정을 사용하지 않고 진행하려한다. 자바는 open jdk 1.8버전을 설치하여 환경변수 추가한다. 해당 내용은 추후에 추가예정이다.하둡 설치설치 버전 : Apache Hadoop 3.1.1https://hadoop.apache.org/release/3.1.1.htmltar.gz 버전으로..