data_lab

주키퍼란 분산 애플리케이션을 위한 분산 코디네이션이다. znode(저널노드)가 각각의 서버에 위치해 있다.각 하둡의 서비스들이 잘 동작하고 있는지 확인한다.주기적으로 하트비트 요구하여 받는 방식으로, 따라서 주기퍼는 홀수로 클러스터를 구성하는데여기서 들어가는 개념이 쿼럼이다. 쿼럼이란? 다수결로 예를 들어 5개의 서버로 구성 되어있고,2개의 서버가 죽는다고 가정했을 때 정상적으로 동작한다고 판단한다.그리고 5개 중 3개의 서버가 죽었을 경우, 다수결로 인해 비정상이라고 판다한다.그로 인해, 주키퍼는 홀수로 클러스터를 구성한다. zookeeper 클러스터는하나의 서버가 리더이고, 다른 서버는 팔로워이다리더 서버를 기준으로 sync를 맞춘다. 자세한 내용은 공식 사이트 참조바람 주키퍼 설치 방법주키퍼 파일 ..

RDBMS 스키마에 의존성 강함 으로 작업이 진행 불가능한 경우가 있음 - 스키마가 제대로 정의되어 있지않거나 - 쿼리를 통한 질의가 스키마에 맞지 않을 경우 대용량 데이터 처리하는데 부적절함 – 많은 시간 소요됨 HIVE 데이터웨어 하우징 인프라 데이터 저장, 처리에 스키마 검증 없음 스키마에 맞지 않는 쿼리는 null 리턴 SQL과 유사한 HiveQL 사용 MapReduce 프로그램 작성 대신 쿼리 인터페이스 서비스 제공 쿼리 실행 시 MapReduce 프로그램으로 전환되어 결과 생성 비 정형화된 입력 소스 분석에는 적합하지 않음 HIVE Architecture -HIVE Client -JDBC 응용 프로그램 지원 , -Thrift 기반 응용 프로그램 지원(서로 커뮤니케이션 할 수 있는 통신 프로토콜..