data_lab

HIVE 테이블 관리 HIVE 테이블 1. 데이터를 HIVE 테이블로 가져오면? HiveQL, 피그, 스파크 등을 활용하여 데이터를 처리 > 상호운영 보장 2. HIVE가 지원하는 테이블 종류 - 내부 테이블 : HIVE가 관리, HIVE/ 데이터웨어하우스에 저장, 내부테이블 삭제 시 메타정의와 데이터까지 삭제됨, ORC같은 형식으로 저장되어 비교적 빠른 성능 - 외부 테이블 : 하이브가 직접 관리하지 않음, 하이브의 메타정의만 사용하여 원시 형태로 저장된 텍스트 데이터에 접근 외부 테이블의 데이터를 삭제해도 테이블 메타 정의만 삭제되고 데이터는 유지됨. 해당 데이터가 하이브 외부에 적재 되어있거나 테이블이 삭제되더라도 원본 데이터가 남아 있어야할 때 사용 3.csv 파일을 하이브 테이블로 가져오기 1...

RDBMS 스키마에 의존성 강함 으로 작업이 진행 불가능한 경우가 있음 - 스키마가 제대로 정의되어 있지않거나 - 쿼리를 통한 질의가 스키마에 맞지 않을 경우 대용량 데이터 처리하는데 부적절함 – 많은 시간 소요됨 HIVE 데이터웨어 하우징 인프라 데이터 저장, 처리에 스키마 검증 없음 스키마에 맞지 않는 쿼리는 null 리턴 SQL과 유사한 HiveQL 사용 MapReduce 프로그램 작성 대신 쿼리 인터페이스 서비스 제공 쿼리 실행 시 MapReduce 프로그램으로 전환되어 결과 생성 비 정형화된 입력 소스 분석에는 적합하지 않음 HIVE Architecture -HIVE Client -JDBC 응용 프로그램 지원 , -Thrift 기반 응용 프로그램 지원(서로 커뮤니케이션 할 수 있는 통신 프로토콜..