data_lab

참고 사이트 https://www.bucketplace.com/post/2021-04-13-%EB%B2%84%ED%82%B7%ED%94%8C%EB%A0%88%EC%9D%B4%EC%8A%A4-airflow-%EB%8F%84%EC%9E%85%EA%B8%B0/ 버킷플레이스 Airflow 도입기 - 오늘의집 블로그 탁월한 데이터플랫폼을 위한 Airflow 도입기 www.bucketplace.com

Secondary Namenode: HDFS의 Secondary Namenode는 주 Namenode의 메타데이터 정보를 주기적으로 수집하여 로그 파일을 합칩니다. 이러한 로그 파일은 주 Namenode가 고장 났을 때, 이전에 수집된 로그 정보를 사용하여 주 Namenode를 복구하고 메타데이터 정보를 복원하는 데 사용됩니다. 따라서, Secondary Namenode는 주 Namenode의 부하를 줄이고 HDFS 클러스터의 안정성을 높이는 데 도움이 됩니다. Standby Namenode: HDFS의 Standby Namenode는 주 Namenode와 함께 HDFS의 고가용성(High Availability, HA)를 제공합니다. Standby Namenode는 주 Namenode의 데이터와 메타데..

Prometheus 다운로드 wget https://github.com/prometheus/prometheus/releases/download/v2.35.0/prometheus-2.35.0.linux-amd64.tar.gz tar xvzf prometheus-2.35.0.linux-amd64.tar.gz Prometheus 실행 nohup ./prometheus --config.file=prometheus.yml >> ./prometheus_run.log 2>&1 & 야믈파일에 적힌 config 값들을 토대로 prometheus 실행됨 address=0.0.0.0:9090 Grafana 다운로드 wget https://dl.grafana.com/enterprise/release/grafana-enterp..

서버 구성도 예시 Zookeeper HDFS YARN MapReduce Master quorumpeermain journal node /Name Node (active) ResourceManager Job Histroyserver Standby Master quorumpeer journal node/ Name Node (stand by) ResourceManager Worker 1 quorumpeer journal node/ Data Node 1 NodeManager Worker 2 Data Node 2 NodeManager Worker 3 Data Node 3 NodeManager 1. zookeeper 실행 - 각 서버 zkServer.sh start - quorumpeer, quorumpeermai..

HUE 다운로드 원하는 휴 선택하여 다운로드 https://github.com/cloudera/hue/tags GitHub - cloudera/hue: Open source SQL Query Assistant service for Databases/Warehouses Open source SQL Query Assistant service for Databases/Warehouses - GitHub - cloudera/hue: Open source SQL Query Assistant service for Databases/Warehouses github.com Dependency 무한고통 mvn, database 설치후 기본적인 세팅은 완료 (hue 데이터 베이스와 유저 생성 작업까지 !) python p..

해당 글은 유투브보고 번역 및 정리한 글입니다. Hive Impala 아키텍쳐 맵리듀스 기반으로 실행 되었으나, 다양한 엔진 지원 - 맵리듀스 - tez - 스파크 최근엔 tez가 기본엔진으로 나온다고 들었는데 확인필요함 대규모 병렬 컴퓨터 RAM 많이 씀 언어 자바 C++ 사용 예시 ETL 과거 일괄 처리 Tez 및 LLAP를 통해 interactive query에 가까운 쿼리를 제공 지연시간 짧음, interactive query 장점 Fault Torelance 큰 테이블끼리 조인 가능 interactive query 향상 (Fault Tolerance 아님) 스타 스키마 형태 조인 최적화 지원 파일 형식 하둡 파일 포맷 다양한 구조와 반정형 데이터 형식 다양하게 지원하지만 Parquet형식이 제일..

Kudu Cluster 구성정보 예시 kudu1.com kudu master kudu2.com kudu master kudu3.com kudu tserver kudu4.com kudu tserver kudu5.com kudu tserver Master Server kudu1 노드 [user@kudu1 ~] ${KUDU_HOME}/sbin/kudu-master/sbin/kudu-master --rpc_bind_addresses=0.0.0.0:7051 \ --log-dir=${KUDU_HOME}/logs/master \ --fs_wal_dir=${KUDU_HOME}/logs/master \ --fs_data_dirs=${KUDU_HOME}/logs/master \ --webserver_port=8051 \ ..

Airflow 설치 후 실행 nohup airflow webserver--port 8080 > webserver.log 2>&1 & Airflow Scheduler 실행 nohup airflow scheduler > scheduler.log 2>&1 & Aiflow DAG 리스트 확인 airflow dags list 실행 후 결과 dag_id | filepath | owner | paused ==============================+===============================+=========+======= example_bash_operator | /usr/local/lib/python3.7/site | airflow | False | -packages/airflow/exam..

List of relations Schema | Name | Type | Owner --------+-------------------------------+-------+------- public | BUCKETING_COLS | table | hive public | CDS | table | hive public | COLUMNS_V2 | table | hive public | CTLGS | table | hive public | DATABASE_PARAMS | table | hive public | DBS | table | hive public | DB_PRIVS | table | hive public | DELEGATION_TOKENS | table | hive public | FUNCS | ta..

kudu가 뭔지, 사용해보지도 못하고 rpm 빌드를 해야하는 상황에서 글을 썼다가 최근에 다시 수정하게 되었다. 현재도 kudu는 사용해보지 못했다. 그러나 하둡에코시스템을 사용하다보면 대부분 아키텍쳐가 유사한 느낌이라 이해하는데 크게 어렵지는 않다. 처음에 kudu 찾아봤을 때 kudo의 아키텍쳐는 hbase와 유사한 점이 있다. 그래서 hbase를 사용해봤거나 했다면, kudu이해하는데엔 크게 어려움이 없을 것이다. kudu에서 핵심 키워드는 key-value 이다. 일단, kudu를 검색해서 이것 저것 보다보면 그래서 hbase같은거라는 건가? 생각이 든다. 따라다니는 키워드가 key-value로 인데, hbase 또한 key-value가 핵심키워드이다. kudu 전에 hbase kudu를 알아보기..