data_lab

사전작업 필요 root 계정에 JAVA_HOME 추가 필요함 solr 설치 Maven 3.6.3 설치 PostgreSQL 설치 및 DB - ranger, User - rangeradmin(pw:rangeradmin) 생성 작업들 실행할 때 root 또는 권한 가진 계정으로 해야함 solr 설치필요! https://n-a-y-a.tistory.com/m/68 [Apache Solr] Apache solr 8.5.0 설치하기 ranger, atlas를 사용하기 위해 선설치해야하는 오픈소스이다. https://archive.apache.org/dist/lucene/solr/8.5.0/ Index of /dist/lucene/solr/8.5.0 archive.apache.org 해당 사이트에서 8.5.0버전을 ..

스파크를 실행할 때, 메모리와 코어를 설정하여 실행할 수 있다. x=sc.parallelize([“spark”, ”rdd”, ”example”, “sample”, “example”], 3) 병렬화(transformation) x=x.map(lambda x:(x,1)) #입력값 : x 출력값: (x,1) 매핑(transformation) y.collect 집합(action) [(‘spark’,1), (‘rdd’,1), (‘example’,1), (‘sample’,1), (‘example’,1)] spark yarn 실행 scala : spark-shell --master yarn --queue queue_name python : pyspark --master yarn --queue queue_name --..

NoSQL 기반 데이터베이스이다. 하둡의 데이터를 NoSQL (Key, value) 쌍으로 저장함 $ /hadoop/sbin/start-all.sh $ ./start-hbase.sh $ ./hbase shell ### hbase test ### create 'test', 'cf' list 'test' describe 'test' put 'test', 'row1', 'cf:a', 'value1' put 'test', 'row2', 'cf:b', 'value2' put 'test', 'row3', 'cf:c', 'value3' scan 'test' ------------------------ ROW COLUMN+CELL row1 column=cf:a, timestamp=1612833812641, value=..

HIVE 테이블 관리 HIVE 테이블 1. 데이터를 HIVE 테이블로 가져오면? HiveQL, 피그, 스파크 등을 활용하여 데이터를 처리 > 상호운영 보장 2. HIVE가 지원하는 테이블 종류 - 내부 테이블 : HIVE가 관리, HIVE/ 데이터웨어하우스에 저장, 내부테이블 삭제 시 메타정의와 데이터까지 삭제됨, ORC같은 형식으로 저장되어 비교적 빠른 성능 - 외부 테이블 : 하이브가 직접 관리하지 않음, 하이브의 메타정의만 사용하여 원시 형태로 저장된 텍스트 데이터에 접근 외부 테이블의 데이터를 삭제해도 테이블 메타 정의만 삭제되고 데이터는 유지됨. 해당 데이터가 하이브 외부에 적재 되어있거나 테이블이 삭제되더라도 원본 데이터가 남아 있어야할 때 사용 3.csv 파일을 하이브 테이블로 가져오기 1...

하둡 버전 3.1 기준으로 개인적으로 정리한 명령어이다. 기존에 리눅스에 대해 공부했다면 하둡 명령어를 공부하는데에 엄청 어렵진않다. 1.hdfs dfs –cat /tmp/Sample2.txt #파일 읽기 2.hdfs dfs –checksum /tmp/Sample2.txt 데이터무결성 3.hdfs dfs –chgrp kyn /tmp/Sample2.txt 4.hdfs dfs –chown kyn /tmp/Sample2.txt 5.hdfs dfs –chmod –R 777 /tmp/Sample2.txt 6.hdfs dfs –copyFromLocal /tmp/Sample2.txt put유사 7.hdfs dfs –copyToLocal /tmp/Sample2.txt 8.hdfs dfs –count /tmp/Sampl..

hue 설치 할 때 앞서 있던 하둡 에코시스템들이 어느정도 설치되었다고 가정하고 진행하겠다. 휴의 경우 설치하기전에 사전작업을 해줘야 한다. postgres는 다른 포스트에서 설정을 다루기로 하고, 휴 설치 가이드 에서는 휴에서 사용할 데이터 베이스 생성정도만 다룰 예정이다. 사전작업 휴는 파이썬을 사용하기 때문에 환경변수로 파이썬 버전을 잡아줘야한다. 환경변수는 .bash_profile 에 추가하였다. 파이썬 환경변수 추가 $ sudo vi ~/..bash_profile export PYTHON_VER=python3.8 psycopg2 설치 (전에 pip도 설치되어 있어야함) $ pip install psycopg2 $ python setup.py build $ sudo python setup.py i..

주키퍼란 분산 애플리케이션을 위한 분산 코디네이션이다. znode(저널노드)가 각각의 서버에 위치해 있다.각 하둡의 서비스들이 잘 동작하고 있는지 확인한다.주기적으로 하트비트 요구하여 받는 방식으로, 따라서 주기퍼는 홀수로 클러스터를 구성하는데여기서 들어가는 개념이 쿼럼이다. 쿼럼이란? 다수결로 예를 들어 5개의 서버로 구성 되어있고,2개의 서버가 죽는다고 가정했을 때 정상적으로 동작한다고 판단한다.그리고 5개 중 3개의 서버가 죽었을 경우, 다수결로 인해 비정상이라고 판다한다.그로 인해, 주키퍼는 홀수로 클러스터를 구성한다. zookeeper 클러스터는하나의 서버가 리더이고, 다른 서버는 팔로워이다리더 서버를 기준으로 sync를 맞춘다. 자세한 내용은 공식 사이트 참조바람 주키퍼 설치 방법주키퍼 파일 ..

livy-env.sh export SPARK_HOME=/usr/lib/spark export HADOOP_CONF_DIR=/etc/hadoop/conf livy start ./bin/livy-server start livy 정상동작하는지 spark에서 테스트하는 예제 sudo pip install requests import json, pprint, requests, textwrap host = 'http://localhost:8998' data = {'kind': 'spark'} headers = {'Content-Type': 'application/json'} r = requests.post(host + '/sessions', data=json.dumps(data), headers=headers) r..

https://dlcdn.apache.org/hive/hive-3.1.2/ Index of /hive/hive-3.1.2 dlcdn.apache.org apache mirror 사이트에서 원하는 hive 버전의 binary 폴더를 다운받는다. 사전작업 - Hadoop Path 설정 되어있어야함 export HADOOP_HOME= 압축해제 wget https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz tar xvzf apache-hive-3.1.2-bin.tar.gz 환경변수 설정 Hive 홈 환경변수를 설정해야한다. .bash_prifile에서 수정하는 방식보단 /etc/profile.d/에 쉘 스크립트를 추가해줄것 vi /etc/p..