data_lab

livy-env.sh export SPARK_HOME=/usr/lib/spark export HADOOP_CONF_DIR=/etc/hadoop/conf livy start ./bin/livy-server start livy 정상동작하는지 spark에서 테스트하는 예제 sudo pip install requests import json, pprint, requests, textwrap host = 'http://localhost:8998' data = {'kind': 'spark'} headers = {'Content-Type': 'application/json'} r = requests.post(host + '/sessions', data=json.dumps(data), headers=headers) r..

$ wget https://archive.apache.org/dist/hbase/2.2.0/hbase-2.2.0-bin.tar.gz $ tar xvzf hbase-2.2.0-bin.tar.gz $ ln -s hbase-2.2.0-bin hbase hbase 설치 후 압축 풀고 심볼릭 링크를 건다. hbase.rootdir hdfs://localhost:9000/hbase hbase.master.port 60000 hbase.master.info.port 60010 hbase.regionserver.info.bindAddress 0.0.0.0 hbase.regionserver.port 60020 hbase.regionserver.info.port 60030 hbase.zookeeper.quorum bdh2..

https://dlcdn.apache.org/hive/hive-3.1.2/ Index of /hive/hive-3.1.2 dlcdn.apache.org apache mirror 사이트에서 원하는 hive 버전의 binary 폴더를 다운받는다. 사전작업 - Hadoop Path 설정 되어있어야함 export HADOOP_HOME= 압축해제 wget https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz tar xvzf apache-hive-3.1.2-bin.tar.gz 환경변수 설정 Hive 홈 환경변수를 설정해야한다. .bash_prifile에서 수정하는 방식보단 /etc/profile.d/에 쉘 스크립트를 추가해줄것 vi /etc/p..

싱글노드에서 하둡을 어떻게 설치하는지 작성하려한다. 하둡을 설치하기 전에 기본적으로 os에서 설정을 바꿔야 하는게 있다. 일단 기본적으로 os 버전은 cent os7.x 이다. 인프라를 운영할 때 root 계정은 사용하지 않는다. 다른 계정을 생성하여 sudo 권한을 부여받고 최대한 그 계정으로 설치를 진행한다. 하둡을 설치하기 전에?방화벽을 내리고 selinux disabled 그리고 유저계정을 추가하여 되도록 root계정을 사용하지 않고 진행하려한다. 자바는 open jdk 1.8버전을 설치하여 환경변수 추가한다. 해당 내용은 추후에 추가예정이다.하둡 설치설치 버전 : Apache Hadoop 3.1.1https://hadoop.apache.org/release/3.1.1.htmltar.gz 버전으로..