data_lab

참고 사이트

https://www.bucketplace.com/post/2021-04-13-%EB%B2%84%ED%82%B7%ED%94%8C%EB%A0%88%EC%9D%B4%EC%8A%A4-airflow-%EB%8F%84%EC%9E%85%EA%B8%B0/

• Secondary Namenode: HDFS의 Secondary Namenode는 주 Namenode의 메타데이터 정보를 주기적으로 수집하여 로그 파일을 합칩니다. 이러한 로그 파일은 주 Namenode가 고장 났을 때, 이전에 수집된 로그 정보를 사용하여 주 Namenode를 복구하고 메타데이터 정보를 복원하는 데 사용됩니다. 따라서, Secondary Namenode는 주 Namenode의 부하를 줄이고 HDFS 클러스터의 안정성을 높이는 데 도움이 됩니다.
• Standby Namenode: HDFS의 Standby Namenode는 주 Namenode와 함께 HDFS의 고가용성(High Availability, HA)를 제공합니다. Standby Namenode는 주 Namenode의 데이터와 메타데이터 정보를 복제하여 항상 최신 상태를 유지합니다. 이를 통해, 주 Namenode가 고장 났을 때, Standby Namenode는 즉시 작동하여 주 Namenode 역할을 대신합니다. 이러한 HA 구성은 주 Namenode의 고장이나 유지 보수 때문에 downtime을 최소화하고 HDFS 클러스터의 가용성을 보장하는 데 도움이 됩니다.

따라서, Secondary Namenode와 Standby Namenode는 모두 주 Namenode의 안정성과 가용성을 높이는 데 중요한 역할을 합니다. 하지만, Secondary Namenode는 HA 구성이 아니며, 주 Namenode가 고장 났을 때 더 많은 복구 시간이 필요할 수 있습니다. 반면에 Standby Namenode는 HA 구성이므로 주 Namenode의 고장 시간을 최소화하고 클러스터의 가용성을 높이는 데 더욱 효과적입니다.

Prometheus 다운로드

1. wget https://github.com/prometheus/prometheus/releases/download/v2.35.0/prometheus-2.35.0.linux-amd64.tar.gz 
2. tar xvzf prometheus-2.35.0.linux-amd64.tar.gz

Prometheus 실행

nohup ./prometheus --config.file=prometheus.yml >> ./prometheus_run.log 2>&1 &

야믈파일에 적힌 config 값들을 토대로 prometheus 실행됨

address=0.0.0.0:9090

Grafana 다운로드

1. wget https://dl.grafana.com/enterprise/release/grafana-enterprise-8.5.3-1.x86_64.rpm
2. sudo yum install grafana-enterprise-8.5.3-1.x86_64.rpm

Grafana 실행

1. sudo systemctl daemon-reload
2. sudo systemctl start grafana-server
3. sudo systemctl status grafana-server
   1. grafana-server.service - Grafana instance
         Loaded: loaded (/usr/lib/systemd/system/grafana-server.service; disabled; vendor preset: disabled)
         Active: active (running) since Wed 2022-05-25 17:15:47 KST; 5s ago
           Docs: http://docs.grafana.org
       Main PID: 15426 (grafana-server)
          Tasks: 9
         CGroup: /system.slice/grafana-server.service
                 └─15426 /usr/sbin/grafana-server --config=/etc/grafana/grafana.ini --pidfile=/var/run/grafana/grafana-
4. sudo systemctl enable grafana-server

서버 구성도 예시

1.  zookeeper 실행

- 각 서버 zkServer.sh start 

- quorumpeer, quorumpeermain 실행 됨

- leader, follower 선정은 랜덤임

2. journal node 실행 - zk서버 실행한 서버에서 실행함 (Namenode HA를 위함)

- 실행해야 8485 포트 열림. 실행안하면 네임노드 포맷시 에러뜸

3. active Namenode 를 실행할 서버에서 작업

- Namenode resset

- Namenode start

4. standby Namenode 실행할 서버에서 작업

- active Namenode의 metadata 복사

- hdfs namenode -bootstrapStandby

- Namenode start

5. namenode 서버에 zookeeper failcontroller 실행

6. Worker 1-3 서버에서 Datanode 실행

7. RM, NM 각 서버에서 실행

- Resource Manager 도 HA 구성 가능함

8. Master 서버에서 MR job historyserver 데몬 실행

HUE 다운로드

원하는 휴 선택하여 다운로드
https://github.com/cloudera/hue/tags

Dependency 무한고통

mvn, database 설치후 기본적인 세팅은 완료 (hue 데이터 베이스와 유저 생성 작업까지 !)

python pip upgrade

curl https://bootstrap.pypa.io/pip/2.7/get-pip.py -o get-pip.py
python get-pip.py
pip install --upgrade pip

python package 설치

pip install psycopg2
pip install psycopg2-binary

OS Package 설치

sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
libffi-devel python-devel openssl-devel -y

SQLite 버전 업그레이드 (hue django 때문에 너무 아래버전일수록 설치 안됨)

https://kojipkgs.fedoraproject.org/packages/sqlite/

여기서 맞는 sqlite rpm, sqlite-devel rpm 다운로드

wget https://kojipkgs.fedoraproject.org/packages/sqlite/3.12.2/1.fc24/x86_64/sqlite-3.12.2-1.fc24.x86_64.rpm
wget https://kojipkgs.fedoraproject.org/packages/sqlite/3.12.2/1.fc24/x86_64/sqlite-devel-3.12.2-1.fc24.x86_64.rpm

rpm -Uvh sqlite-3.12.2-1.fc24.x86_64.rpm sqlite-devel-3.12.2-1.fc24.x86_64.rpm

HUE Build

desktop/devtools.mk 수정

DEVTOOLS += \
        ipython[7.10.0] \
        ipdb[0.13.9] \

휴 빌드

cd ${HUE_SRC}
make apps

HUE Start

[hue database 동기화] build/env/bin/hue migrate 
[hue server 시작] build/env/bin/hue runserver 0.0.0.0:8000
[hue login] user id/ password -admin/admin
[hdfs user 생성] hdfs dfs -mkdir /user/admin
[hdfs user dir 권한변경] hdfs dfs -chown -R admin:admin /user/admin

HUE Configs

vi ${HUE_SRC}/desktop/conf/pseudo-distributed.ini
  [[database]]
    engine=postgresql_psycopg2
    host=1.2.3.4
    name=hue
    port=5432
    user=hue
    password=hue


[hadoop]
  # Configuration for HDFS NameNode
  # ------------------------------------------------------------------------
  [[hdfs_clusters]]
    # HA support by using HttpFs
    [[[default]]]
      # Enter the filesystem uri
      fs_defaultfs=hdfs://1.2.3.4:8020
      webhdfs_url=http://1.2.3.4:50070/webhdfs/v1
# ------------------------------------------------------------------------     
[beeswax]
  hive_server_host=1.2.3.4
  hive_server_port=10000
  hive_server_http_port=10001
  max_number_of_sessions=3
  thrift_version=11
  use_sasl=true
  # ------------------------------------------------------------------------
[hbase]
  hbase_clusters=(Cluster|1.2.3.4:9090)
  thrift_transport=buffered
  ssl_cert_ca_verify=false

해당 글은 유투브보고 번역 및 정리한 글입니다.

실제로 설치해보니

Hive Metastore가 실행되어 있지 않으면 Impala는 실행할 수 없다.

Metastore를 공유해서 쓰는거 같은데 더 찾아봐야할듯..

유투브 주소 - https://www.youtube.com/watch?v=vmiWOlcnFW8 

Kudu Cluster 구성정보 예시

Master Server

kudu1  노드

[user@kudu1 ~] ${KUDU_HOME}/sbin/kudu-master/sbin/kudu-master --rpc_bind_addresses=0.0.0.0:7051 \
						              --log-dir=${KUDU_HOME}/logs/master \
                                                              --fs_wal_dir=${KUDU_HOME}/logs/master \
                                                              --fs_data_dirs=${KUDU_HOME}/logs/master \
                                                              --webserver_port=8051 \
                                                              --master_addresses=kudu1.com:7051,kudu2.com:7051 &

kudu2  노드

[user@kudu2 ~] ${KUDU_HOME}/sbin/kudu-master/sbin/kudu-master --rpc_bind_addresses=0.0.0.0:7051 \
						              --log-dir=${KUDU_HOME}/logs/master \
                                                              --fs_wal_dir=${KUDU_HOME}/logs/master \
                                                              --fs_data_dirs=${KUDU_HOME}/logs/master \
                                                              --webserver_port=8051 \
                                                              --master_addresses=kudu1.com:7051,kudu2.com:7051 &

Tablet Server 

kudu3 노드

[user@kudu3 ~] ${KUDU_HOME}/sbin/kudu-tserver --rpc_bind_addresses=0.0.0.0:7050 
					      --log-dir={KUDU_HOME}/logs/tserver \
                                              --fs_wal_dir={KUDU_HOME}/logs/tserver \
                                              --fs_data_dirs={KUDU_HOME}/logs/tserver \ 
                                              --webserver_port=8050 \
                                              --tserver_master_addrs=kudu1.com:7051,kudu2.com:7051 &

kudu4 노드

[user@kudu4 ~] ${KUDU_HOME}/sbin/kudu-tserver --rpc_bind_addresses=0.0.0.0:7050 
					      --log-dir={KUDU_HOME}/logs/tserver \
                                              --fs_wal_dir={KUDU_HOME}/logs/tserver \
                                              --fs_data_dirs={KUDU_HOME}/logs/tserver \ 
                                              --webserver_port=8050 \
                                              --tserver_master_addrs=kudu1.com:7051,kudu2.com:7051 &

kudu5 노드

[user@kudu5 ~] ${KUDU_HOME}/sbin/kudu-tserver --rpc_bind_addresses=0.0.0.0:7050 
					      --log-dir={KUDU_HOME}/logs/tserver \
                                              --fs_wal_dir={KUDU_HOME}/logs/tserver \
                                              --fs_data_dirs={KUDU_HOME}/logs/tserver \ 
                                              --webserver_port=8050 \
                                              --tserver_master_addrs=kudu1.com:7051,kudu2.com:7051 &

옵션 설명

Airflow 설치 후 실행

nohup airflow webserver--port 8080 > webserver.log 2>&1 &

Airflow Scheduler 실행

nohup airflow scheduler > scheduler.log 2>&1 &

Aiflow DAG 리스트 확인

airflow dags list

실행 후 결과

dag_id                        | filepath                      | owner   | paused
==============================+===============================+=========+=======
example_bash_operator         | /usr/local/lib/python3.7/site | airflow | False
                              | -packages/airflow/example_dag |         |
                              | s/example_bash_operator.py    |         |
example_branch_datetime_opera | /usr/local/lib/python3.7/site | airflow | True
tor_2                         | -packages/airflow/example_dag |         |
                              | s/example_branch_datetime_ope |         |
                              | rator.py                      |         |
example_branch_dop_operator_v | /usr/local/lib/python3.7/site | airflow | True
3                             | -packages/airflow/example_dag |         |
                              | s/example_branch_python_dop_o |         |
                              | perator_3.py                  |         |
example_branch_labels         | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/example_branch_labels.py    |         |
example_branch_operator       | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/example_branch_operator.py  |         |
example_complex               | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/example_complex.py          |         |
example_dag_decorator         | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/example_dag_decorator.py    |         |
example_external_task_marker_ | /usr/local/lib/python3.7/site | airflow | True
child                         | -packages/airflow/example_dag |         |
                              | s/example_external_task_marke |         |
                              | r_dag.py                      |         |
example_external_task_marker_ | /usr/local/lib/python3.7/site | airflow | True
parent                        | -packages/airflow/example_dag |         |
                              | s/example_external_task_marke |         |
                              | r_dag.py                      |         |
example_nested_branch_dag     | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/example_nested_branch_dag.p |         |
                              | y                             |         |
example_passing_params_via_te | /usr/local/lib/python3.7/site | airflow | True
st_command                    | -packages/airflow/example_dag |         |
                              | s/example_passing_params_via_ |         |
                              | test_command.py               |         |
example_python_operator       | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/example_python_operator.py  |         |
example_short_circuit_operato | /usr/local/lib/python3.7/site | airflow | True
r                             | -packages/airflow/example_dag |         |
                              | s/example_short_circuit_opera |         |
                              | tor.py                        |         |
example_skip_dag              | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/example_skip_dag.py         |         |
example_sla_dag               | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/example_sla_dag.py          |         |
example_subdag_operator       | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/example_subdag_operator.py  |         |
example_subdag_operator.secti | /usr/local/lib/python3.7/site | airflow | True
on-1                          | -packages/airflow/example_dag |         |
                              | s/example_subdag_operator.py  |         |
example_subdag_operator.secti | /usr/local/lib/python3.7/site | airflow | True
on-2                          | -packages/airflow/example_dag |         |
                              | s/example_subdag_operator.py  |         |
example_task_group            | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/example_task_group.py       |         |
example_task_group_decorator  | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/example_task_group_decorato |         |
                              | r.py                          |         |
example_time_delta_sensor_asy | /usr/local/lib/python3.7/site | airflow | True
nc                            | -packages/airflow/example_dag |         |
                              | s/example_time_delta_sensor_a |         |
                              | sync.py                       |         |
example_trigger_controller_da | /usr/local/lib/python3.7/site | airflow | True
g                             | -packages/airflow/example_dag |         |
                              | s/example_trigger_controller_ |         |
                              | dag.py                        |         |
example_trigger_target_dag    | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/example_trigger_target_dag. |         |
                              | py                            |         |
example_weekday_branch_operat | /usr/local/lib/python3.7/site | airflow | True
or                            | -packages/airflow/example_dag |         |
                              | s/example_branch_day_of_week_ |         |
                              | operator.py                   |         |
example_xcom                  | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/example_xcom.py             |         |
example_xcom_args             | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/example_xcomargs.py         |         |
example_xcom_args_with_operat | /usr/local/lib/python3.7/site | airflow | True
ors                           | -packages/airflow/example_dag |         |
                              | s/example_xcomargs.py         |         |
latest_only                   | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/example_latest_only.py      |         |
latest_only_with_trigger      | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/example_latest_only_with_tr |         |
                              | igger.py                      |         |
tutorial                      | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/tutorial.py                 |         |
tutorial_etl_dag              | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/tutorial_etl_dag.py         |         |
tutorial_taskflow_api_etl     | /usr/local/lib/python3.7/site | airflow | True
                              | -packages/airflow/example_dag |         |
                              | s/tutorial_taskflow_api_etl.p |         |
                              | y                             |         |
tutorial_taskflow_api_etl_vir | /usr/local/lib/python3.7/site | airflow | True
tualenv                       | -packages/airflow/example_dag |         |
                              | s/tutorial_taskflow_api_etl_v |         |
                              | irtualenv.py

예시로 들어 있는 airflow dags 위치 알수 있다.

                   List of relations
 Schema |             Name              | Type  | Owner
--------+-------------------------------+-------+-------
 public | BUCKETING_COLS                | table | hive
 public | CDS                           | table | hive
 public | COLUMNS_V2                    | table | hive
 public | CTLGS                         | table | hive
 public | DATABASE_PARAMS               | table | hive
 public | DBS                           | table | hive
 public | DB_PRIVS                      | table | hive
 public | DELEGATION_TOKENS             | table | hive
 public | FUNCS                         | table | hive
 public | FUNC_RU                       | table | hive
 public | GLOBAL_PRIVS                  | table | hive
 public | IDXS                          | table | hive
 public | INDEX_PARAMS                  | table | hive
 public | I_SCHEMA                      | table | hive
 public | KEY_CONSTRAINTS               | table | hive
 public | MASTER_KEYS                   | table | hive
 public | METASTORE_DB_PROPERTIES       | table | hive
 public | MV_CREATION_METADATA          | table | hive
 public | MV_TABLES_USED                | table | hive
 public | NOTIFICATION_LOG              | table | hive
 public | NOTIFICATION_SEQUENCE         | table | hive
 public | NUCLEUS_TABLES                | table | hive
 public | PARTITIONS                    | table | hive
 public | PARTITION_EVENTS              | table | hive
 public | PARTITION_KEYS                | table | hive
 public | PARTITION_KEY_VALS            | table | hive
 public | PARTITION_PARAMS              | table | hive
 public | PART_COL_PRIVS                | table | hive
 public | PART_COL_STATS                | table | hive
 public | PART_PRIVS                    | table | hive
 public | ROLES                         | table | hive
 public | ROLE_MAP                      | table | hive
 public | SCHEMA_VERSION                | table | hive
 public | SDS                           | table | hive
 public | SD_PARAMS                     | table | hive
 public | SEQUENCE_TABLE                | table | hive
 public | SERDES                        | table | hive
 public | SERDE_PARAMS                  | table | hive
 public | SKEWED_COL_NAMES              | table | hive
 public | SKEWED_COL_VALUE_LOC_MAP      | table | hive
 public | SKEWED_STRING_LIST            | table | hive
 public | SKEWED_STRING_LIST_VALUES     | table | hive
 public | SKEWED_VALUES                 | table | hive
 public | SORT_COLS                     | table | hive
 public | TABLE_PARAMS                  | table | hive
 public | TAB_COL_STATS                 | table | hive
 public | TBLS                          | table | hive
 public | TBL_COL_PRIVS                 | table | hive
 public | TBL_PRIVS                     | table | hive
 public | TXN_WRITE_NOTIFICATION_LOG    | table | hive
 public | TYPES                         | table | hive
 public | TYPE_FIELDS                   | table | hive
 public | VERSION                       | table | hive
 public | WM_MAPPING                    | table | hive
 public | WM_POOL                       | table | hive
 public | WM_POOL_TO_TRIGGER            | table | hive
 public | WM_RESOURCEPLAN               | table | hive
 public | WM_TRIGGER                    | table | hive
 public | aux_table                     | table | hive
 public | compaction_queue              | table | hive
 public | completed_compactions         | table | hive
 public | completed_txn_components      | table | hive
 public | hive_locks                    | table | hive
 public | materialization_rebuild_locks | table | hive
 public | min_history_level             | table | hive
 public | next_compaction_queue_id      | table | hive
 public | next_lock_id                  | table | hive
 public | next_txn_id                   | table | hive
 public | next_write_id                 | table | hive
 public | repl_txn_map                  | table | hive
 public | runtime_stats                 | table | hive
 public | txn_components                | table | hive
 public | txn_to_write_id               | table | hive
 public | txns                          | table | hive
 public | write_set                     | table | hive

kudu가 뭔지, 사용해보지도 못하고 rpm 빌드를 해야하는 상황에서 글을 썼다가 최근에 다시 수정하게 되었다.

현재도 kudu는 사용해보지 못했다. 그러나 하둡에코시스템을 사용하다보면 대부분 아키텍쳐가 유사한 느낌이라 이해하는데 크게 어렵지는 않다.

처음에 kudu 찾아봤을 때

kudo의 아키텍쳐는 hbase와 유사한 점이 있다.

그래서 hbase를 사용해봤거나 했다면, kudu이해하는데엔 크게 어려움이 없을 것이다.

kudu에서 핵심 키워드는 key-value 이다.

일단, kudu를 검색해서 이것 저것 보다보면 그래서 hbase같은거라는 건가? 생각이 든다.

따라다니는 키워드가 key-value로 인데, hbase 또한 key-value가 핵심키워드이다.

kudu 전에 hbase

kudu를 알아보기전에 hbase에 대해 간략히 짚고 넘어가면 HDFS는 append-only , immutable의 특징을 가지고 있다. HDFS에 저장된 파일은 수정이 불가하다. (덮어쓰기해서 수정)

Hbase의 경우 HDFS와 달리 수정 가능하고 랜덤으로 접근해 읽고 쓰기가 가능하다. 접근이 빠르고 low latency로 input, output 과정에서 지연을 최소화 하는 것이다.

hbase와 kudu의 차이점은 ?

그럼 kudu와 어떻게 다를까??

hbase는 처리량이 낮고, kudu는 처리량이 높다고 비교할 수 있다.

hbase은 HDFS에서 JSON파일, kudu는 HDFS에서 parquet 파일을 처리한다

kudu는 parquet 와 hbase의 자식격이다.

parquet파일을 다뤄봤다면, 압축률이 높아(용량이 작음 등등) 처리량이 높다고 느낄 수 있다.

parquet이 먼디?

hbase처럼 칼럼베이스 스토리지이며, hbase같은 parquet parquet같은 hbase라고 생각해야한다고 한다.

Kudu는 Hbase와 parquet의 혼종 

실시간으로 데이터가 도착하여 저장할 땐, Hbase와 같은 특징을 가지며,
실시간으로 데이터에 대한 분석 워크로드 실행할 땐, parquet과 같은 특징을 가진다.

쿼리로 긴 기간 내역 데이터와 실시간 단기 데이터 결합을 쉽게 할 수 있다

Hbase in-memory + Parquet columar layout = kudu

Kudu와 상호작용 하는 것들?

• Impala
  • 별도의 질의 기능을 kudu에서 지원하지않기에 impala와 같은 질의 엔진 사용해야한다.
  • 확실히 하이브 쿼리와는 속도가 빠름을 느낄 수 있다. 무거운 쿼리만 돌리고 상주하는 워크플로우가 많다면 TEZ엔진 사용자체도 부담이 되는 경우가 있다. MR엔진 쓰는 하이브와는 매우 속도가 빠르다
• C++,java,python client
• MapReduce
• Spark
  
  

Kudu 아키텍쳐

Kudu Master

• Fault Tolerance 장애허용
• Failover to backup masters 백업으로 장애조치
• Raft used for electing new leaders 새로운 리더 뽑을때 Raft 사용
• Only leader serves client request 리더만 클라이언트 요청 수용

Tablets

• Hbase의 region과 비슷함
• 3- 5 개 복제가능함
• 복제는 합의를 위해 Raft의 리더/팔로워 패턴을 사용
• HDFS아닌 로컬에 데이터 저장함

Kudu 실행

https://n-a-y-a.tistory.com/108

Kudu Impala, Hive metastore 연동

https://n-a-y-a.tistory.com/110

꼭 하이브메타스토어와는 연동을 하지않아도 될것같지만, 기존에 하이브를 사용하고 있으면 연동해서 사용하는것이 편리할 것이다.