data_lab

시스템간의 데이터 흐름을 자동화 한다. Web server - NiFi의 HTTP 기반 명령 및 제어 API를 호스팅 Flow Controller - 실행할 확장에 스레드를 제공하고 확장이 실행할 리소스를 수신하는 일정을 관리 Extension - JVM 내에서 작동하고 실행 FlowFile Repo - NiFi가 현재 흐름에서 활성 상태인 주어진 FlowFile에 대해 알고 있는 것의 상태를 추적하는 곳 Content Repo - 콘텐츠 저장소는 지정된 FlowFile의 실제 콘텐츠 바이트가 있는 곳 Provenance Repo - 모든 출처 이벤트 데이터가 저장, 플러그형이며 기본 구현은 하나 이상의 물리적 디스크 볼륨을 사용하는 것, 이벤트 데이터가 인덱싱 되고 검색 가능 NiFi 설치 wget h..

일괄 처리 계층(실행 부하 미달 경로)은 들어오는 모든 데이터를 원시 형식으로 저장하고 해당 데이터에 대해 일괄 처리를 수행합니다. 이러한 처리의 결과는 일괄 처리 보기 로 저장됩니다. 빠른 레이어(실행 부하 과다 경로)는 데이터를 실시간으로 분석합니다. 이 계층은 정확도는 떨어지지만 짧은 대기 시간을 제공하도록 디자인되었습니다. hot path - 빠른레이어 -> 실시간으로 데이터를 처리함으로 실행이 빠르나 부하가 올 수 있다. cold path - 일괄처리계층 -> 높은 정확도의 계산이 필요한 작업을 수행 -----------작성 중 --------------- 실제 빅데이터 플랫폼에선 어떤 방식일지? 아키텍쳐 찾아보기 https://docs.microsoft.com/ko-kr/azure/archit..

Name space -디렉터리, 파일, 블록으로 구성 -파일 및 디렉터리 만들기, 삭제, 수정 및 목록 지정과 같은 네임스페이스 관련 모든 파일 시스템 작업을 지원 Block Storage Service Block Management (Namenode에서 수행) -등록 및 주기적인 하트비트를 처리하여 데이터노드 클러스터 구성원 자격을 제공 -블록 보고서를 처리하고 블록 위치를 유지 -블록 위치 생성, 삭제, 수정 및 가져오기 등의 블록 관련 작업을 지원 -복제본 배치를 관리하고, 복제되지 않은 블록에 대한 복제를 차단하며, 과도하게 복제된 블록을 삭제 Storage -로컬 파일 시스템에 블록을 저장하고 읽기/쓰기 액세스를 허용함으로써 데이터노드에 의해 제공 HDFS Federation은 여러 네임노드/네..

spark 작업관리 Apache Livy는 REST 인터페이스를 통해 Spark 클러스터와 쉽게 상호 작용할 수 있는 서비스입니다. 간단한 REST 인터페이스 또는 RPC 클라이언트 라이브러리를 통해 Spark 작업 또는 Spark 코드 스니펫, 동기 또는 비동기 결과 검색, Spark 컨텍스트 관리를 쉽게 제출할 수 있습니다. 또한 Apache Livy는 Spark와 애플리케이션 서버 간의 상호 작용을 단순화하여 대화형 웹/모바일 애플리케이션에 Spark를 사용할 수 있도록 합니다. 추가 기능은 다음과 같습니다. 여러 클라이언트에서 여러 Spark 작업에 사용할 수 있는 장기 실행 Spark 컨텍스트 보유 여러 작업 및 클라이언트에서 캐시된 RDD 또는 데이터 프레임 공유 여러 Spark Context..

목적 복제 비용이 많이 듭니다. HDFS의 기본 3배 복제 체계는 스토리지 공간 및 기타 리소스(예: 네트워크 대역폭)에서 오버헤드가 200%입니다. 상대적으로 I/O 작업이 적은 Warm및 Cold 데이터셋의 경우 일반 작업 중에는 추가 블록 복제본에 거의 액세스하지 않지만 첫 번째 복제본과 동일한 양의 리소스를 사용합니다. Hot : 빠른 쿼리, fresh 데이터, 동시성높음 warm : hot, cold 데이터의 사이 cold data : 느린쿼리, not fresh 데이터, 리포팅, 플랜, 동시성 낮음 훨씬 적은 스토리지 공간으로 하둡 이전버전의 동일한 수준의 내결함성을 제공합니다. 일반적인 Eraser Coding(EC) 설정에서 스토리지 오버헤드는 50%를 넘지 않습니다. EC 파일의 복제 팩..

ranger, atlas를 사용하기 위해 선설치해야하는 오픈소스이다. https://archive.apache.org/dist/lucene/solr/8.5.0/ Index of /dist/lucene/solr/8.5.0 archive.apache.org 해당 사이트에서 8.5.0버전을 다운 받는다. wget https://archive.apache.org/dist/lucene/solr/8.5.0/solr-8.5.0.tgz tar xvzf solr-8.5.0.tgz cd bin/ ./solr start -p 6083 netstat -nltp | grep 6083 으로 서비스 실행되는것을 확인할 수 있다. http://localhost:6083/solr/ ranger에서 solr를 클라우드 모드로 실행해야한..

사전작업 필요 root 계정에 JAVA_HOME 추가 필요함 solr 설치 Maven 3.6.3 설치 PostgreSQL 설치 및 DB - ranger, User - rangeradmin(pw:rangeradmin) 생성 작업들 실행할 때 root 또는 권한 가진 계정으로 해야함 solr 설치필요! https://n-a-y-a.tistory.com/m/68 [Apache Solr] Apache solr 8.5.0 설치하기 ranger, atlas를 사용하기 위해 선설치해야하는 오픈소스이다. https://archive.apache.org/dist/lucene/solr/8.5.0/ Index of /dist/lucene/solr/8.5.0 archive.apache.org 해당 사이트에서 8.5.0버전을 ..

하둡을 설치하고 환경에 맞게 세팅한 후 정상적으로 설치가 되었는지 확인할 필요가 있다. 기본적으로 제공하는 example.jar 파일을 통해 임의의 데이터를 생성하고 병렬처리하여 정렬, 정렬된 데이터의 유효성을 검사하여 기본적인 성능을 테스트하는 방법이다. 공식사이트에서는 예제 찾기 힘들었고, microsoft azure를 참고하여 테스트를 진행했다. https://docs.microsoft.com/ko-kr/azure/hdinsight/hadoop/apache-hadoop-run-samples-linux HDInsight에서 Apache Hadoop MapReduce 예제 실행 - Azure HDInsight에 포함된 jar 파일의 MapReduce 샘플을 사용하여 시작하세요. SSH를 통해 클러스터에..

스파크를 실행할 때, 메모리와 코어를 설정하여 실행할 수 있다. x=sc.parallelize([“spark”, ”rdd”, ”example”, “sample”, “example”], 3) 병렬화(transformation) x=x.map(lambda x:(x,1)) #입력값 : x 출력값: (x,1) 매핑(transformation) y.collect 집합(action) [(‘spark’,1), (‘rdd’,1), (‘example’,1), (‘sample’,1), (‘example’,1)] spark yarn 실행 scala : spark-shell --master yarn --queue queue_name python : pyspark --master yarn --queue queue_name --..

NoSQL 기반 데이터베이스이다. 하둡의 데이터를 NoSQL (Key, value) 쌍으로 저장함 $ /hadoop/sbin/start-all.sh $ ./start-hbase.sh $ ./hbase shell ### hbase test ### create 'test', 'cf' list 'test' describe 'test' put 'test', 'row1', 'cf:a', 'value1' put 'test', 'row2', 'cf:b', 'value2' put 'test', 'row3', 'cf:c', 'value3' scan 'test' ------------------------ ROW COLUMN+CELL row1 column=cf:a, timestamp=1612833812641, value=..