data_lab

HUE 다운로드 원하는 휴 선택하여 다운로드 https://github.com/cloudera/hue/tags GitHub - cloudera/hue: Open source SQL Query Assistant service for Databases/Warehouses Open source SQL Query Assistant service for Databases/Warehouses - GitHub - cloudera/hue: Open source SQL Query Assistant service for Databases/Warehouses github.com Dependency 무한고통 mvn, database 설치후 기본적인 세팅은 완료 (hue 데이터 베이스와 유저 생성 작업까지 !) python p..

사전작업 필요 root 계정에 JAVA_HOME 추가 필요함 solr 설치 Maven 3.6.3 설치 PostgreSQL 설치 및 DB - ranger, User - rangeradmin(pw:rangeradmin) 생성 작업들 실행할 때 root 또는 권한 가진 계정으로 해야함 solr 설치필요! https://n-a-y-a.tistory.com/m/68 [Apache Solr] Apache solr 8.5.0 설치하기 ranger, atlas를 사용하기 위해 선설치해야하는 오픈소스이다. https://archive.apache.org/dist/lucene/solr/8.5.0/ Index of /dist/lucene/solr/8.5.0 archive.apache.org 해당 사이트에서 8.5.0버전을 ..

아파치 에이브로란 ? - 특정 언어에 종속되지 않는 언어 중립적 데이터 직렬화 시스템 - 하둡 Writable의 주요 단점인 언어 이식성 해결 위해 생겨남 아파치 쓰리프트, 구글 프로토콜 버퍼와 다른 차별화된 특성가지고 있음 데이터는 다른 시스템과 비슷하게 언어 독립 스키마로 기술됨 에이브로에서 코드 생성은 선택사항임 데이터를 읽고 쓰는 시점에 스키마는 항상 존재한다 가정함 - 매우 간결한 코딩이 가능 스키마의 작성 JSON 데이터는 바이너리 포맷으로 인코딩 에이브로 명세 - 모든 구현체가 지원해야 하는 버이너리 포맷에 대한 자세한 내용 API - 에이브로 명세에서 빠져있는 내용임. 각 특정언어에 따라 다르게 작성됨. 언어의 바인딩 편의성 높이고 상호운영성 저하 문제 해결됨 스키마해석 - 신중하게 정의된..

hue 설치 할 때 앞서 있던 하둡 에코시스템들이 어느정도 설치되었다고 가정하고 진행하겠다. 휴의 경우 설치하기전에 사전작업을 해줘야 한다. postgres는 다른 포스트에서 설정을 다루기로 하고, 휴 설치 가이드 에서는 휴에서 사용할 데이터 베이스 생성정도만 다룰 예정이다. 사전작업 휴는 파이썬을 사용하기 때문에 환경변수로 파이썬 버전을 잡아줘야한다. 환경변수는 .bash_profile 에 추가하였다. 파이썬 환경변수 추가 $ sudo vi ~/..bash_profile export PYTHON_VER=python3.8 psycopg2 설치 (전에 pip도 설치되어 있어야함) $ pip install psycopg2 $ python setup.py build $ sudo python setup.py i..

주키퍼란 분산 애플리케이션을 위한 분산 코디네이션이다. znode(저널노드)가 각각의 서버에 위치해 있다.각 하둡의 서비스들이 잘 동작하고 있는지 확인한다.주기적으로 하트비트 요구하여 받는 방식으로, 따라서 주기퍼는 홀수로 클러스터를 구성하는데여기서 들어가는 개념이 쿼럼이다. 쿼럼이란? 다수결로 예를 들어 5개의 서버로 구성 되어있고,2개의 서버가 죽는다고 가정했을 때 정상적으로 동작한다고 판단한다.그리고 5개 중 3개의 서버가 죽었을 경우, 다수결로 인해 비정상이라고 판다한다.그로 인해, 주키퍼는 홀수로 클러스터를 구성한다. zookeeper 클러스터는하나의 서버가 리더이고, 다른 서버는 팔로워이다리더 서버를 기준으로 sync를 맞춘다. 자세한 내용은 공식 사이트 참조바람 주키퍼 설치 방법주키퍼 파일 ..

livy-env.sh export SPARK_HOME=/usr/lib/spark export HADOOP_CONF_DIR=/etc/hadoop/conf livy start ./bin/livy-server start livy 정상동작하는지 spark에서 테스트하는 예제 sudo pip install requests import json, pprint, requests, textwrap host = 'http://localhost:8998' data = {'kind': 'spark'} headers = {'Content-Type': 'application/json'} r = requests.post(host + '/sessions', data=json.dumps(data), headers=headers) r..

https://dlcdn.apache.org/hive/hive-3.1.2/ Index of /hive/hive-3.1.2 dlcdn.apache.org apache mirror 사이트에서 원하는 hive 버전의 binary 폴더를 다운받는다. 사전작업 - Hadoop Path 설정 되어있어야함 export HADOOP_HOME= 압축해제 wget https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz tar xvzf apache-hive-3.1.2-bin.tar.gz 환경변수 설정 Hive 홈 환경변수를 설정해야한다. .bash_prifile에서 수정하는 방식보단 /etc/profile.d/에 쉘 스크립트를 추가해줄것 vi /etc/p..

RDBMS 스키마에 의존성 강함 으로 작업이 진행 불가능한 경우가 있음 - 스키마가 제대로 정의되어 있지않거나 - 쿼리를 통한 질의가 스키마에 맞지 않을 경우 대용량 데이터 처리하는데 부적절함 – 많은 시간 소요됨 HIVE 데이터웨어 하우징 인프라 데이터 저장, 처리에 스키마 검증 없음 스키마에 맞지 않는 쿼리는 null 리턴 SQL과 유사한 HiveQL 사용 MapReduce 프로그램 작성 대신 쿼리 인터페이스 서비스 제공 쿼리 실행 시 MapReduce 프로그램으로 전환되어 결과 생성 비 정형화된 입력 소스 분석에는 적합하지 않음 HIVE Architecture -HIVE Client -JDBC 응용 프로그램 지원 , -Thrift 기반 응용 프로그램 지원(서로 커뮤니케이션 할 수 있는 통신 프로토콜..

하둡에 들어가기 앞서 빅데이터가 뭔지 알아보려 한다. 빅데이터란 ? 기존의 데이터베이스 관리 도구 방법으로 처리할 수 없는 규모로 복잡한 데이터 구조를 가지고 있다. 기존의 데이터 베이스는 OLTP성으로 빠르고 정확하다. 빅데이터는 정확성에 초점을 두기보다는 대용량 데이터를 분산처리하는데에 초점을 두고 있다. 따라서 pk, update등 안되고 데이터를 새로 put해야 한다. 빅데이터 3V Volume 대규모의 크기를 가지고 있다. (기업마다 차이는 있지만 수십테라바이트부터 수십페타데이터 이상) Variety 존재하는 데이터의 방식이 다양하다. 정형 : 의미 파악하기 쉬우며 규칙적인 데이터 반정형: HTML, XML,JSON 형태로 한 텍스트에 column, value 같이 비정형:텍스트, 음성, 영상 ..