티스토리

data_lab

검색하기

블로그 홈

data_lab

n-a-y-a.tistory.com/m

빅데이터 자료 정리, 알고리즘 공부

구독자: 2

방명록 방문하기

주요 글 목록

Airflow 스터디 참고 사이트 https://www.bucketplace.com/post/2021-04-13-%EB%B2%84%ED%82%B7%ED%94%8C%EB%A0%88%EC%9D%B4%EC%8A%A4-airflow-%EB%8F%84%EC%9E%85%EA%B8%B0/ 버킷플레이스 Airflow 도입기 - 오늘의집 블로그 탁월한 데이터플랫폼을 위한 Airflow 도입기 www.bucketplace.com 공감수 0 댓글수 0 2023. 8. 29.
hdfs 구성에서 secondary namenode 와 HA로 된 stand by namenode의 역할에 차이 Secondary Namenode: HDFS의 Secondary Namenode는 주 Namenode의 메타데이터 정보를 주기적으로 수집하여 로그 파일을 합칩니다. 이러한 로그 파일은 주 Namenode가 고장 났을 때, 이전에 수집된 로그 정보를 사용하여 주 Namenode를 복구하고 메타데이터 정보를 복원하는 데 사용됩니다. 따라서, Secondary Namenode는 주 Namenode의 부하를 줄이고 HDFS 클러스터의 안정성을 높이는 데 도움이 됩니다. Standby Namenode: HDFS의 Standby Namenode는 주 Namenode와 함께 HDFS의 고가용성(High Availability, HA)를 제공합니다. Standby Namenode는 주 Namenode의 데이터와 메타데.. 공감수 0 댓글수 0 2023. 4. 6.
Grafana + Prometheus 모니터링 구축 Prometheus 다운로드 wget https://github.com/prometheus/prometheus/releases/download/v2.35.0/prometheus-2.35.0.linux-amd64.tar.gz tar xvzf prometheus-2.35.0.linux-amd64.tar.gz Prometheus 실행 nohup ./prometheus --config.file=prometheus.yml >> ./prometheus_run.log 2>&1 & 야믈파일에 적힌 config 값들을 토대로 prometheus 실행됨 address=0.0.0.0:9090 Grafana 다운로드 wget https://dl.grafana.com/enterprise/release/grafana-enterp.. 공감수 1 댓글수 0 2022. 5. 25.
Hadoop HA 실행 서버 구성도 예시 Zookeeper HDFS YARN MapReduce Master quorumpeermain journal node /Name Node (active) ResourceManager Job Histroyserver Standby Master quorumpeer journal node/ Name Node (stand by) ResourceManager Worker 1 quorumpeer journal node/ Data Node 1 NodeManager Worker 2 Data Node 2 NodeManager Worker 3 Data Node 3 NodeManager 1. zookeeper 실행 - 각 서버 zkServer.sh start - quorumpeer, quorumpeermai.. 공감수 0 댓글수 0 2022. 5. 25.
[Hue] Hue 4.10.0 설치 가이드 HUE 다운로드 원하는 휴 선택하여 다운로드 https://github.com/cloudera/hue/tags GitHub - cloudera/hue: Open source SQL Query Assistant service for Databases/Warehouses Open source SQL Query Assistant service for Databases/Warehouses - GitHub - cloudera/hue: Open source SQL Query Assistant service for Databases/Warehouses github.com Dependency 무한고통 mvn, database 설치후 기본적인 세팅은 완료 (hue 데이터 베이스와 유저 생성 작업까지 !) python p.. 공감수 0 댓글수 1 2022. 5. 13.
Imapa VS Hive 해당 글은 유투브보고 번역 및 정리한 글입니다. Hive Impala 아키텍쳐 맵리듀스 기반으로 실행 되었으나, 다양한 엔진 지원 - 맵리듀스 - tez - 스파크 최근엔 tez가 기본엔진으로 나온다고 들었는데 확인필요함 대규모 병렬 컴퓨터 RAM 많이 씀 언어 자바 C++ 사용 예시 ETL 과거 일괄 처리 Tez 및 LLAP를 통해 interactive query에 가까운 쿼리를 제공 지연시간 짧음, interactive query 장점 Fault Torelance 큰 테이블끼리 조인 가능 interactive query 향상 (Fault Tolerance 아님) 스타 스키마 형태 조인 최적화 지원 파일 형식 하둡 파일 포맷 다양한 구조와 반정형 데이터 형식 다양하게 지원하지만 Parquet형식이 제일.. 공감수 0 댓글수 0 2022. 3. 30.
[kudu] kudu cluster모드로 실행 Kudu Cluster 구성정보 예시 kudu1.com kudu master kudu2.com kudu master kudu3.com kudu tserver kudu4.com kudu tserver kudu5.com kudu tserver Master Server kudu1 노드 [user@kudu1 ~] ${KUDU_HOME}/sbin/kudu-master/sbin/kudu-master --rpc_bind_addresses=0.0.0.0:7051 \ --log-dir=${KUDU_HOME}/logs/master \ --fs_wal_dir=${KUDU_HOME}/logs/master \ --fs_data_dirs=${KUDU_HOME}/logs/master \ --webserver_port=8051 \ .. 공감수 0 댓글수 0 2022. 3. 29.
[airflow] airflow 설치 후 실행 Airflow 설치 후 실행 nohup airflow webserver--port 8080 > webserver.log 2>&1 & Airflow Scheduler 실행 nohup airflow scheduler > scheduler.log 2>&1 & Aiflow DAG 리스트 확인 airflow dags list 실행 후 결과 dag_id | filepath | owner | paused ==============================+===============================+=========+======= example_bash_operator | /usr/local/lib/python3.7/site | airflow | False | -packages/airflow/exam.. 공감수 0 댓글수 0 2022. 3. 23.
[Hive] 초기 데이터베이스 연동 후 생기는 테이블 목록 List of relations Schema | Name | Type | Owner --------+-------------------------------+-------+------- public | BUCKETING_COLS | table | hive public | CDS | table | hive public | COLUMNS_V2 | table | hive public | CTLGS | table | hive public | DATABASE_PARAMS | table | hive public | DBS | table | hive public | DB_PRIVS | table | hive public | DELEGATION_TOKENS | table | hive public | FUNCS | ta.. 공감수 0 댓글수 0 2022. 3. 4.
[kudu] apache kudu 란 (23.12.01 수정) kudu가 뭔지, 사용해보지도 못하고 rpm 빌드를 해야하는 상황에서 글을 썼다가 최근에 다시 수정하게 되었다. 현재도 kudu는 사용해보지 못했다. 그러나 하둡에코시스템을 사용하다보면 대부분 아키텍쳐가 유사한 느낌이라 이해하는데 크게 어렵지는 않다. 처음에 kudu 찾아봤을 때 kudo의 아키텍쳐는 hbase와 유사한 점이 있다. 그래서 hbase를 사용해봤거나 했다면, kudu이해하는데엔 크게 어려움이 없을 것이다. kudu에서 핵심 키워드는 key-value 이다. 일단, kudu를 검색해서 이것 저것 보다보면 그래서 hbase같은거라는 건가? 생각이 든다. 따라다니는 키워드가 key-value로 인데, hbase 또한 key-value가 핵심키워드이다. kudu 전에 hbase kudu를 알아보기.. 공감수 1 댓글수 0 2021. 12. 14.
[Apache NiFi] 아파치 나이파이 란? 시스템간의 데이터 흐름을 자동화 한다. Web server - NiFi의 HTTP 기반 명령 및 제어 API를 호스팅 Flow Controller - 실행할 확장에 스레드를 제공하고 확장이 실행할 리소스를 수신하는 일정을 관리 Extension - JVM 내에서 작동하고 실행 FlowFile Repo - NiFi가 현재 흐름에서 활성 상태인 주어진 FlowFile에 대해 알고 있는 것의 상태를 추적하는 곳 Content Repo - 콘텐츠 저장소는 지정된 FlowFile의 실제 콘텐츠 바이트가 있는 곳 Provenance Repo - 모든 출처 이벤트 데이터가 저장, 플러그형이며 기본 구현은 하나 이상의 물리적 디스크 볼륨을 사용하는 것, 이벤트 데이터가 인덱싱 되고 검색 가능 NiFi 설치 wget h.. 공감수 0 댓글수 0 2021. 12. 6.
lamda arch 일괄 처리 계층(실행 부하 미달 경로)은 들어오는 모든 데이터를 원시 형식으로 저장하고 해당 데이터에 대해 일괄 처리를 수행합니다. 이러한 처리의 결과는 일괄 처리 보기 로 저장됩니다. 빠른 레이어(실행 부하 과다 경로)는 데이터를 실시간으로 분석합니다. 이 계층은 정확도는 떨어지지만 짧은 대기 시간을 제공하도록 디자인되었습니다. hot path - 빠른레이어 -> 실시간으로 데이터를 처리함으로 실행이 빠르나 부하가 올 수 있다. cold path - 일괄처리계층 -> 높은 정확도의 계산이 필요한 작업을 수행 -----------작성 중 --------------- 실제 빅데이터 플랫폼에선 어떤 방식일지? 아키텍쳐 찾아보기 https://docs.microsoft.com/ko-kr/azure/archit.. 공감수 0 댓글수 0 2021. 11. 22.
[Hadoop] Block Pool Name space -디렉터리, 파일, 블록으로 구성 -파일 및 디렉터리 만들기, 삭제, 수정 및 목록 지정과 같은 네임스페이스 관련 모든 파일 시스템 작업을 지원 Block Storage Service Block Management (Namenode에서 수행) -등록 및 주기적인 하트비트를 처리하여 데이터노드 클러스터 구성원 자격을 제공 -블록 보고서를 처리하고 블록 위치를 유지 -블록 위치 생성, 삭제, 수정 및 가져오기 등의 블록 관련 작업을 지원 -복제본 배치를 관리하고, 복제되지 않은 블록에 대한 복제를 차단하며, 과도하게 복제된 블록을 삭제 Storage -로컬 파일 시스템에 블록을 저장하고 읽기/쓰기 액세스를 허용함으로써 데이터노드에 의해 제공 HDFS Federation은 여러 네임노드/네.. 공감수 0 댓글수 0 2021. 11. 12.
[Apache Livy] Apache Livy / 아파치 리비란? spark 작업관리 Apache Livy는 REST 인터페이스를 통해 Spark 클러스터와 쉽게 상호 작용할 수 있는 서비스입니다. 간단한 REST 인터페이스 또는 RPC 클라이언트 라이브러리를 통해 Spark 작업 또는 Spark 코드 스니펫, 동기 또는 비동기 결과 검색, Spark 컨텍스트 관리를 쉽게 제출할 수 있습니다. 또한 Apache Livy는 Spark와 애플리케이션 서버 간의 상호 작용을 단순화하여 대화형 웹/모바일 애플리케이션에 Spark를 사용할 수 있도록 합니다. 추가 기능은 다음과 같습니다. 여러 클라이언트에서 여러 Spark 작업에 사용할 수 있는 장기 실행 Spark 컨텍스트 보유 여러 작업 및 클라이언트에서 캐시된 RDD 또는 데이터 프레임 공유 여러 Spark Context.. 공감수 1 댓글수 0 2021. 11. 4.
[Hadoop 3] Eraser coding 목적 복제 비용이 많이 듭니다. HDFS의 기본 3배 복제 체계는 스토리지 공간 및 기타 리소스(예: 네트워크 대역폭)에서 오버헤드가 200%입니다. 상대적으로 I/O 작업이 적은 Warm및 Cold 데이터셋의 경우 일반 작업 중에는 추가 블록 복제본에 거의 액세스하지 않지만 첫 번째 복제본과 동일한 양의 리소스를 사용합니다. Hot : 빠른 쿼리, fresh 데이터, 동시성높음 warm : hot, cold 데이터의 사이 cold data : 느린쿼리, not fresh 데이터, 리포팅, 플랜, 동시성 낮음 훨씬 적은 스토리지 공간으로 하둡 이전버전의 동일한 수준의 내결함성을 제공합니다. 일반적인 Eraser Coding(EC) 설정에서 스토리지 오버헤드는 50%를 넘지 않습니다. EC 파일의 복제 팩.. 공감수 0 댓글수 0 2021. 10. 25.
[Apache Solr] Apache solr 8.5.0 설치하기 ranger, atlas를 사용하기 위해 선설치해야하는 오픈소스이다. https://archive.apache.org/dist/lucene/solr/8.5.0/ Index of /dist/lucene/solr/8.5.0 archive.apache.org 해당 사이트에서 8.5.0버전을 다운 받는다. wget https://archive.apache.org/dist/lucene/solr/8.5.0/solr-8.5.0.tgz tar xvzf solr-8.5.0.tgz cd bin/ ./solr start -p 6083 netstat -nltp | grep 6083 으로 서비스 실행되는것을 확인할 수 있다. http://localhost:6083/solr/ ranger에서 solr를 클라우드 모드로 실행해야한.. 공감수 0 댓글수 0 2021. 8. 30.
[설치] apache ranger 2.1.0 / 아파치 레인저 2.1.0 설치 사전작업 필요 root 계정에 JAVA_HOME 추가 필요함 solr 설치 Maven 3.6.3 설치 PostgreSQL 설치 및 DB - ranger, User - rangeradmin(pw:rangeradmin) 생성 작업들 실행할 때 root 또는 권한 가진 계정으로 해야함 solr 설치필요! https://n-a-y-a.tistory.com/m/68 [Apache Solr] Apache solr 8.5.0 설치하기 ranger, atlas를 사용하기 위해 선설치해야하는 오픈소스이다. https://archive.apache.org/dist/lucene/solr/8.5.0/ Index of /dist/lucene/solr/8.5.0 archive.apache.org 해당 사이트에서 8.5.0버전을 .. 공감수 3 댓글수 5 2021. 7. 7.
[Hadoop] Hadoop 3.1.1 버전 테스트 / 하둡 테스트 방법 하둡을 설치하고 환경에 맞게 세팅한 후 정상적으로 설치가 되었는지 확인할 필요가 있다. 기본적으로 제공하는 example.jar 파일을 통해 임의의 데이터를 생성하고 병렬처리하여 정렬, 정렬된 데이터의 유효성을 검사하여 기본적인 성능을 테스트하는 방법이다. 공식사이트에서는 예제 찾기 힘들었고, microsoft azure를 참고하여 테스트를 진행했다. https://docs.microsoft.com/ko-kr/azure/hdinsight/hadoop/apache-hadoop-run-samples-linux HDInsight에서 Apache Hadoop MapReduce 예제 실행 - Azure HDInsight에 포함된 jar 파일의 MapReduce 샘플을 사용하여 시작하세요. SSH를 통해 클러스터에.. 공감수 2 댓글수 0 2021. 6. 28.
[Spark] 아파치 스파크, Apache Spark 명령어 정리 스파크를 실행할 때, 메모리와 코어를 설정하여 실행할 수 있다. x=sc.parallelize([“spark”, ”rdd”, ”example”, “sample”, “example”], 3) 병렬화(transformation) x=x.map(lambda x:(x,1)) #입력값 : x 출력값: (x,1) 매핑(transformation) y.collect 집합(action) [(‘spark’,1), (‘rdd’,1), (‘example’,1), (‘sample’,1), (‘example’,1)] spark yarn 실행 scala : spark-shell --master yarn --queue queue_name python : pyspark --master yarn --queue queue_name --.. 공감수 0 댓글수 0 2021. 5. 2.
[Hbase] 아파치 Hbase 명령어 정리 NoSQL 기반 데이터베이스이다. 하둡의 데이터를 NoSQL (Key, value) 쌍으로 저장함 $ /hadoop/sbin/start-all.sh $ ./start-hbase.sh $ ./hbase shell ### hbase test ### create 'test', 'cf' list 'test' describe 'test' put 'test', 'row1', 'cf:a', 'value1' put 'test', 'row2', 'cf:b', 'value2' put 'test', 'row3', 'cf:c', 'value3' scan 'test' ------------------------ ROW COLUMN+CELL row1 column=cf:a, timestamp=1612833812641, value=.. 공감수 0 댓글수 0 2021. 5. 2.
[Hive] 하이브 명령어 정리/ Hive 명령어 정리 HIVE 테이블 관리 HIVE 테이블 1. 데이터를 HIVE 테이블로 가져오면? HiveQL, 피그, 스파크 등을 활용하여 데이터를 처리 > 상호운영 보장 2. HIVE가 지원하는 테이블 종류 - 내부 테이블 : HIVE가 관리, HIVE/ 데이터웨어하우스에 저장, 내부테이블 삭제 시 메타정의와 데이터까지 삭제됨, ORC같은 형식으로 저장되어 비교적 빠른 성능 - 외부 테이블 : 하이브가 직접 관리하지 않음, 하이브의 메타정의만 사용하여 원시 형태로 저장된 텍스트 데이터에 접근 외부 테이블의 데이터를 삭제해도 테이블 메타 정의만 삭제되고 데이터는 유지됨. 해당 데이터가 하이브 외부에 적재 되어있거나 테이블이 삭제되더라도 원본 데이터가 남아 있어야할 때 사용 3.csv 파일을 하이브 테이블로 가져오기 1... 공감수 2 댓글수 0 2021. 5. 2.
[Hadoop] 하둡 명령어 정리 / Hadoop 명령어 정리 하둡 버전 3.1 기준으로 개인적으로 정리한 명령어이다. 기존에 리눅스에 대해 공부했다면 하둡 명령어를 공부하는데에 엄청 어렵진않다. 1.hdfs dfs –cat /tmp/Sample2.txt #파일 읽기 2.hdfs dfs –checksum /tmp/Sample2.txt 데이터무결성 3.hdfs dfs –chgrp kyn /tmp/Sample2.txt 4.hdfs dfs –chown kyn /tmp/Sample2.txt 5.hdfs dfs –chmod –R 777 /tmp/Sample2.txt 6.hdfs dfs –copyFromLocal /tmp/Sample2.txt put유사 7.hdfs dfs –copyToLocal /tmp/Sample2.txt 8.hdfs dfs –count /tmp/Sampl.. 공감수 0 댓글수 0 2021. 5. 2.
[하둡에코시스템] 스파크 / apache spark 하둡의 문제점을 보완하기 위해 스파크 생김 하둡의 문제는 1. 반복적인 작업에는 비효율적임 2. 맵리듀스시 네트워크 트래픽으로 인해 성능저하됨. 스파크란? 기존 맵리듀스의 디스크 입출력을 보완하여 인 메모리기반 데이터 처리 프레임 워크 이다. 인 메모리 - 최초 데이터 입력, 출력에만 디스크에 작성함으로 네트워크 트래픽 발생 낮춤, 중간 결과는 병렬처리함 스파크의 주요기능 - 스파크 SQL, 스파크 스트리밍, 스파크 MLlib, 스파크 GraphX, 스파크 코어, 스파크 작업 처리 스파크 아키텍처 노드매니저 안에 드라이버 프로그램이 있음. 1. 드라이버 프로그램이 SparkContext 인스턴스 생성함(이때 yarn과 연결) 2. executors 를 요구 3. 애플리케이션 코드를 executors에 보.. 공감수 1 댓글수 0 2021. 3. 30.
[하둡에코시스템] Apache Avro / 아파치 에이브로 아파치 에이브로란 ? - 특정 언어에 종속되지 않는 언어 중립적 데이터 직렬화 시스템 - 하둡 Writable의 주요 단점인 언어 이식성 해결 위해 생겨남 아파치 쓰리프트, 구글 프로토콜 버퍼와 다른 차별화된 특성가지고 있음 데이터는 다른 시스템과 비슷하게 언어 독립 스키마로 기술됨 에이브로에서 코드 생성은 선택사항임 데이터를 읽고 쓰는 시점에 스키마는 항상 존재한다 가정함 - 매우 간결한 코딩이 가능 스키마의 작성 JSON 데이터는 바이너리 포맷으로 인코딩 에이브로 명세 - 모든 구현체가 지원해야 하는 버이너리 포맷에 대한 자세한 내용 API - 에이브로 명세에서 빠져있는 내용임. 각 특정언어에 따라 다르게 작성됨. 언어의 바인딩 편의성 높이고 상호운영성 저하 문제 해결됨 스키마해석 - 신중하게 정의된.. 공감수 1 댓글수 0 2021. 3. 28.
[설치 전 준비] 하둡에코시스템을 설치전에 준비해야할 것 인프라 운영할 때 주의해야할 점 root 계정 사용하지 못하기 때문에 sudo권한을 부여받은 다른 계정을 사용해서 인프라 구축을 진행한다. 사용할 계정 생성 # useradd test 계정 비밀번호 지정 # passwd test sudoers 수정하여 해당 계정 sudo 권한과 하단에 같은 그룹도 모든 커맨드 수행가능한 부분의 주석 제거 # vi /etc/sudoers test ALL(=ALL) ALL(=ALL) %wheel ~~ 하둡에코시스템 구축할 때 공통적으로 필요한 부분이 있다. 1. 방화벽 # systemctl disable firewalld # systemctl stop firewalld # vi /etc/selinux/config SELINUX=disabled 후 재부팅한다. 2. insta.. 공감수 1 댓글수 0 2021. 3. 6.
[Hue] 휴 설치 가이드 / Hue 설치 가이드 4.0.1 hue 설치 할 때 앞서 있던 하둡 에코시스템들이 어느정도 설치되었다고 가정하고 진행하겠다. 휴의 경우 설치하기전에 사전작업을 해줘야 한다. postgres는 다른 포스트에서 설정을 다루기로 하고, 휴 설치 가이드 에서는 휴에서 사용할 데이터 베이스 생성정도만 다룰 예정이다. 사전작업 휴는 파이썬을 사용하기 때문에 환경변수로 파이썬 버전을 잡아줘야한다. 환경변수는 .bash_profile 에 추가하였다. 파이썬 환경변수 추가 $ sudo vi ~/..bash_profile export PYTHON_VER=python3.8 psycopg2 설치 (전에 pip도 설치되어 있어야함) $ pip install psycopg2 $ python setup.py build $ sudo python setup.py i.. 공감수 1 댓글수 0 2021. 3. 5.
[Apache zookeeper] zookeeper 설치 / 아파치 주키퍼 설치 주키퍼란 분산 애플리케이션을 위한 분산 코디네이션이다. znode(저널노드)가 각각의 서버에 위치해 있다.각 하둡의 서비스들이 잘 동작하고 있는지 확인한다.주기적으로 하트비트 요구하여 받는 방식으로, 따라서 주기퍼는 홀수로 클러스터를 구성하는데여기서 들어가는 개념이 쿼럼이다. 쿼럼이란? 다수결로 예를 들어 5개의 서버로 구성 되어있고,2개의 서버가 죽는다고 가정했을 때 정상적으로 동작한다고 판단한다.그리고 5개 중 3개의 서버가 죽었을 경우, 다수결로 인해 비정상이라고 판다한다.그로 인해, 주키퍼는 홀수로 클러스터를 구성한다. zookeeper 클러스터는하나의 서버가 리더이고, 다른 서버는 팔로워이다리더 서버를 기준으로 sync를 맞춘다. 자세한 내용은 공식 사이트 참조바람 주키퍼 설치 방법주키퍼 파일 .. 공감수 1 댓글수 0 2021. 3. 5.
[Apache Livy] 아파치 리비 / Apache Livy standalone Install livy-env.sh export SPARK_HOME=/usr/lib/spark export HADOOP_CONF_DIR=/etc/hadoop/conf livy start ./bin/livy-server start livy 정상동작하는지 spark에서 테스트하는 예제 sudo pip install requests import json, pprint, requests, textwrap host = 'http://localhost:8998' data = {'kind': 'spark'} headers = {'Content-Type': 'application/json'} r = requests.post(host + '/sessions', data=json.dumps(data), headers=headers) r.. 공감수 1 댓글수 0 2021. 3. 5.
[Apache Spark] Apache Spark standalone Install / 아파치 스파크 설치 공감수 1 댓글수 0 2021. 3. 5.
[Apache Hbase] HBASE 2.2.0 standalone install / Hbase 설치 싱글서버 $ wget https://archive.apache.org/dist/hbase/2.2.0/hbase-2.2.0-bin.tar.gz $ tar xvzf hbase-2.2.0-bin.tar.gz $ ln -s hbase-2.2.0-bin hbase hbase 설치 후 압축 풀고 심볼릭 링크를 건다. hbase.rootdir hdfs://localhost:9000/hbase hbase.master.port 60000 hbase.master.info.port 60010 hbase.regionserver.info.bindAddress 0.0.0.0 hbase.regionserver.port 60020 hbase.regionserver.info.port 60030 hbase.zookeeper.quorum bdh2.. 공감수 1 댓글수 0 2021. 3. 5.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.