data_lab

하둡을 설치하고 환경에 맞게 세팅한 후 정상적으로 설치가 되었는지 확인할 필요가 있다. 기본적으로 제공하는 example.jar 파일을 통해 임의의 데이터를 생성하고 병렬처리하여 정렬, 정렬된 데이터의 유효성을 검사하여 기본적인 성능을 테스트하는 방법이다. 공식사이트에서는 예제 찾기 힘들었고, microsoft azure를 참고하여 테스트를 진행했다. https://docs.microsoft.com/ko-kr/azure/hdinsight/hadoop/apache-hadoop-run-samples-linux HDInsight에서 Apache Hadoop MapReduce 예제 실행 - Azure HDInsight에 포함된 jar 파일의 MapReduce 샘플을 사용하여 시작하세요. SSH를 통해 클러스터에..

HIVE 테이블 관리 HIVE 테이블 1. 데이터를 HIVE 테이블로 가져오면? HiveQL, 피그, 스파크 등을 활용하여 데이터를 처리 > 상호운영 보장 2. HIVE가 지원하는 테이블 종류 - 내부 테이블 : HIVE가 관리, HIVE/ 데이터웨어하우스에 저장, 내부테이블 삭제 시 메타정의와 데이터까지 삭제됨, ORC같은 형식으로 저장되어 비교적 빠른 성능 - 외부 테이블 : 하이브가 직접 관리하지 않음, 하이브의 메타정의만 사용하여 원시 형태로 저장된 텍스트 데이터에 접근 외부 테이블의 데이터를 삭제해도 테이블 메타 정의만 삭제되고 데이터는 유지됨. 해당 데이터가 하이브 외부에 적재 되어있거나 테이블이 삭제되더라도 원본 데이터가 남아 있어야할 때 사용 3.csv 파일을 하이브 테이블로 가져오기 1...

하둡 버전 3.1 기준으로 개인적으로 정리한 명령어이다. 기존에 리눅스에 대해 공부했다면 하둡 명령어를 공부하는데에 엄청 어렵진않다. 1.hdfs dfs –cat /tmp/Sample2.txt #파일 읽기 2.hdfs dfs –checksum /tmp/Sample2.txt 데이터무결성 3.hdfs dfs –chgrp kyn /tmp/Sample2.txt 4.hdfs dfs –chown kyn /tmp/Sample2.txt 5.hdfs dfs –chmod –R 777 /tmp/Sample2.txt 6.hdfs dfs –copyFromLocal /tmp/Sample2.txt put유사 7.hdfs dfs –copyToLocal /tmp/Sample2.txt 8.hdfs dfs –count /tmp/Sampl..

hue 설치 할 때 앞서 있던 하둡 에코시스템들이 어느정도 설치되었다고 가정하고 진행하겠다. 휴의 경우 설치하기전에 사전작업을 해줘야 한다. postgres는 다른 포스트에서 설정을 다루기로 하고, 휴 설치 가이드 에서는 휴에서 사용할 데이터 베이스 생성정도만 다룰 예정이다. 사전작업 휴는 파이썬을 사용하기 때문에 환경변수로 파이썬 버전을 잡아줘야한다. 환경변수는 .bash_profile 에 추가하였다. 파이썬 환경변수 추가 $ sudo vi ~/..bash_profile export PYTHON_VER=python3.8 psycopg2 설치 (전에 pip도 설치되어 있어야함) $ pip install psycopg2 $ python setup.py build $ sudo python setup.py i..

$ wget https://archive.apache.org/dist/hbase/2.2.0/hbase-2.2.0-bin.tar.gz $ tar xvzf hbase-2.2.0-bin.tar.gz $ ln -s hbase-2.2.0-bin hbase hbase 설치 후 압축 풀고 심볼릭 링크를 건다. hbase.rootdir hdfs://localhost:9000/hbase hbase.master.port 60000 hbase.master.info.port 60010 hbase.regionserver.info.bindAddress 0.0.0.0 hbase.regionserver.port 60020 hbase.regionserver.info.port 60030 hbase.zookeeper.quorum bdh2..

싱글노드에서 하둡을 어떻게 설치하는지 작성하려한다. 하둡을 설치하기 전에 기본적으로 os에서 설정을 바꿔야 하는게 있다. 일단 기본적으로 os 버전은 cent os7.x 이다. 인프라를 운영할 때 root 계정은 사용하지 않는다. 다른 계정을 생성하여 sudo 권한을 부여받고 최대한 그 계정으로 설치를 진행한다. 하둡을 설치하기 전에?방화벽을 내리고 selinux disabled 그리고 유저계정을 추가하여 되도록 root계정을 사용하지 않고 진행하려한다. 자바는 open jdk 1.8버전을 설치하여 환경변수 추가한다. 해당 내용은 추후에 추가예정이다.하둡 설치설치 버전 : Apache Hadoop 3.1.1https://hadoop.apache.org/release/3.1.1.htmltar.gz 버전으로..

RDBMS 스키마에 의존성 강함 으로 작업이 진행 불가능한 경우가 있음 - 스키마가 제대로 정의되어 있지않거나 - 쿼리를 통한 질의가 스키마에 맞지 않을 경우 대용량 데이터 처리하는데 부적절함 – 많은 시간 소요됨 HIVE 데이터웨어 하우징 인프라 데이터 저장, 처리에 스키마 검증 없음 스키마에 맞지 않는 쿼리는 null 리턴 SQL과 유사한 HiveQL 사용 MapReduce 프로그램 작성 대신 쿼리 인터페이스 서비스 제공 쿼리 실행 시 MapReduce 프로그램으로 전환되어 결과 생성 비 정형화된 입력 소스 분석에는 적합하지 않음 HIVE Architecture -HIVE Client -JDBC 응용 프로그램 지원 , -Thrift 기반 응용 프로그램 지원(서로 커뮤니케이션 할 수 있는 통신 프로토콜..

하둡에 들어가기 앞서 빅데이터가 뭔지 알아보려 한다. 빅데이터란 ? 기존의 데이터베이스 관리 도구 방법으로 처리할 수 없는 규모로 복잡한 데이터 구조를 가지고 있다. 기존의 데이터 베이스는 OLTP성으로 빠르고 정확하다. 빅데이터는 정확성에 초점을 두기보다는 대용량 데이터를 분산처리하는데에 초점을 두고 있다. 따라서 pk, update등 안되고 데이터를 새로 put해야 한다. 빅데이터 3V Volume 대규모의 크기를 가지고 있다. (기업마다 차이는 있지만 수십테라바이트부터 수십페타데이터 이상) Variety 존재하는 데이터의 방식이 다양하다. 정형 : 의미 파악하기 쉬우며 규칙적인 데이터 반정형: HTML, XML,JSON 형태로 한 텍스트에 column, value 같이 비정형:텍스트, 음성, 영상 ..