Imapa VS Hive

해당 글은 유투브보고 번역 및 정리한 글입니다.

	Hive	Impala
아키텍쳐	맵리듀스 기반으로 실행 되었으나, 다양한 엔진 지원 - 맵리듀스 - tez - 스파크 최근엔 tez가 기본엔진으로 나온다고 들었는데 확인필요함	대규모 병렬 컴퓨터 RAM 많이 씀
언어	자바	C++
사용 예시	ETL 과거 일괄 처리 Tez 및 LLAP를 통해 interactive query에 가까운 쿼리를 제공	지연시간 짧음, interactive query
장점	Fault Torelance 큰 테이블끼리 조인 가능	interactive query 향상 (Fault Tolerance 아님) 스타 스키마 형태 조인 최적화
지원 파일 형식	하둡 파일 포맷 다양한 구조와 반정형 데이터 형식	다양하게 지원하지만 Parquet형식이 제일

 

 

실제로 설치해보니

Hive Metastore가 실행되어 있지 않으면 Impala는 실행할 수 없다.

Metastore를 공유해서 쓰는거 같은데 더 찾아봐야할듯..

 

 

 

 

 

 

 

 

 

 

 

 

 

유투브 주소 - https://www.youtube.com/watch?v=vmiWOlcnFW8