[Hive] 하이브 명령어 정리/ Hive 명령어 정리

HIVE 테이블 관리

HIVE 테이블

1. 데이터를 HIVE 테이블로 가져오면?

HiveQL, 피그, 스파크 등을 활용하여 데이터를 처리 > 상호운영 보장

2. HIVE가 지원하는 테이블 종류

    - 내부 테이블 : HIVE가 관리, HIVE/ 데이터웨어하우스에 저장, 내부테이블 삭제 시 메타정의와 데이터까지 삭제됨,

   ORC같은 형식으로 저장되어 비교적 빠른 성능

    - 외부 테이블 : 하이브가 직접 관리하지 않음,

   하이브의 메타정의만 사용하여 원시 형태로 저장된 텍스트 데이터에 접근

   외부 테이블의 데이터를 삭제해도 테이블 메타 정의만 삭제되고 데이터는 유지됨.

   해당 데이터가 하이브 외부에 적재 되어있거나 테이블이 삭제되더라도 원본 데이터가 남아 있어야할 때 사용

3.csv 파일을 하이브 테이블로 가져오기

  1.names.csv 을 HDFS에 복사

  2. hdfs dfs –mkdir names

  3. hdfs dfs –put names.csv names

  4. hive 실행 후 쿼리로 테이블 생성  location ‘/directory’ 구문은 테이블이 사용할 입력 파일의 경로이다.

  5. select * from ~ 데이터 확인하기

  6. stored as orc > 내부 테이블

  7. 데이터 형식 – 텍스트 파일, 시퀀스 파일(k-v쌍), RC 파일, ORC 형식, Parquet 형식

 

외부 테이블 생성

su – hdfs

hdfs dfs –mkdir /Smartcar

hdfs dfs –put /txtfile.txt /Smartcar

hdfs dfs –chown –R hive /Smartcar

hdfs dfs –chmod –R 777 /Smartcar

su – hive

hive

create external table (~) ~ location /Smartcar;

내부 테이블 생성

create table (~) ~ location /Smartcar;

외부 테이블의 데이터 내부 테이블로 복사

insert overwrite table SmartCar_in

select * from SmartCar_ex;

내부 테이블 디렉터리 생성확인

hdfs dfs –ls /Smartcar

/Smartcar/base_0000001/bucket_00000/bucket_00000

 

하이브는 SQL과 유사해서

기존에 SQL을 공부했다면 어렵지않다.