data_lab

GCP에서 제공하는 제품 중 하나이다.

SQL로 데이터를 빠르게 조회할 수 있다.

빅쿼리 저장소 개요

https://cloud.google.com/bigquery/docs/storage_overview?hl=ko

빅쿼리 지원 파일 형태

우선 23.10.21 기준 snappy 압축 형태는 지원하지않는다.

후에 지원될지는 모르나 snappy 형태 지원하지않는게 아쉬움이 크다.

여러가지 압축형태로 업로드 해봤는데,

우선 저장하려는 데이터형식이 이쁘게 딱딱 떨어지는 데이터면 CSV형태로 저장해도 나쁘진않을것같다.

근데 원천데이터 자체가 이쁘지않으면 CSV는 매우 비추

parquet나 avro 로 새롭게 압축해서 적재하는 방식을 추천한다.

json형태도 있는데 json경우도 적재하는데 생각보다 쫌 애먹었었다.

데이터중 숫자 데이터들이 좀 특이하게 저장되어있어서 빅쿼리에서 인식이 잘안됐었다.

avro 랑 parquet 작업 속도나 압축률 비교하여 선택하면 될 것 같다.

난 parquet 형식을 사용했다.

hive에서 쿼리로 parquet로 추출하는 것도 지원하고 코드로도 예제가 많다.

그리고 압축률도 좋아서 용량도 작고 avro는 용량이 어찌될지 모르겠다.

parquet로 추출할 때 칼럼명도 같이 추출될 수 있게 작업해주는 것이 좋다.

빅쿼리 파티션

파티션 유무로 쿼리 실행시 슬롯 사용의 갯수가 다른 것으로 알고있다.

아직 파티션 사용해보진않았는데, 후의 가격적인 면까지 고려한다면 테이블 설계시 파티션도 설계를 해야한다.

후에 시간될 때 파티션쪽 확인해볼 예정이다.