data_lab

전체 글

패스트캠퍼스 초격차 코딩테스트 자바 수강신청 2021.04.29 2
로봇.txt 블로그 검색 2021.04.26
[하둡에코시스템] 스파크 / apache spark 2021.03.30
[하둡에코시스템] Apache Avro / 아파치 에이브로 2021.03.28
[설치 전 준비] 하둡에코시스템을 설치전에 준비해야할 것 2021.03.06
[Hue] 휴 설치 가이드 / Hue 설치 가이드 4.0.1 2021.03.05
[Apache zookeeper] zookeeper 설치 / 아파치 주키퍼 설치 2021.03.05
[Apache Livy] 아파치 리비 / Apache Livy standalone Install 2021.03.05
[Apache Spark] Apache Spark standalone Install / 아파치 스파크 설치 2021.03.05
[Apache Hbase] HBASE 2.2.0 standalone install / Hbase 설치 싱글서버 2021.03.05

패스트캠퍼스 초격차 코딩테스트 자바 수강신청

🐰히히 2021. 4. 29. 10:57

2021. 4. 29. 10:57

이제 퇴근하고 공부할겸 겸사겸사 패캠에서 수강신청을 했다....
혼자서 하려니 막막하고 ㅠ
겸사겸사 인강들으면서 문제풀을겸 수강신청햇는데
아직 강의가 오픈되려면 좀 남아서 그때까지 푹 노는걸로!!
문제 갯수도 369문제에 소스코드도 제공해준다해서 79,000원에 좋은가격인거같담
인강은 잘안들을거같긴한데..이거 들으면서 leetcode도 도전🥺

728x90

'미사용 > 알고리즘 정리' 카테고리의 다른 글

[leetcode] shell - Valid Phone Numbers (0)	2021.06.14
[leetcode] shell - Tenth Line (0)	2021.06.14
[5/6] 프로그래밍강의 1일차 (0)	2021.05.02

로봇.txt 블로그 검색

🐰히히 2021. 4. 26. 17:05

2021. 4. 26. 17:05

robots.txt

0.00MB

robot.txt 파일 첨부

728x90

저작자표시 비영리 동일조건 (새창열림)

[하둡에코시스템] 스파크 / apache spark

🐰히히 2021. 3. 30. 21:37

2021. 3. 30. 21:37

하둡의 문제점을 보완하기 위해 스파크 생김

하둡의 문제는

1. 반복적인 작업에는 비효율적임

2. 맵리듀스시 네트워크 트래픽으로 인해 성능저하됨.

스파크란?

기존 맵리듀스의 디스크 입출력을 보완하여

인 메모리기반 데이터 처리 프레임 워크 이다.

인 메모리 - 최초 데이터 입력, 출력에만 디스크에 작성함으로 네트워크 트래픽 발생 낮춤, 중간 결과는 병렬처리함

스파크의 주요기능 - 스파크 SQL, 스파크 스트리밍, 스파크 MLlib, 스파크 GraphX, 스파크 코어, 스파크 작업 처리

스파크 아키텍처

노드매니저 안에 드라이버 프로그램이 있음.

1. 드라이버 프로그램이 SparkContext 인스턴스 생성함(이때 yarn과 연결)

2. executors 를 요구

3. 애플리케이션 코드를 executors에 보낼 것

4. SparkContext 는 executors를 실행하기 위해 task를 보냄

Spark의 Driver는 YARN에서 Application Master와 같음

스파크 설치

1
2
3

$ wget https://downloads.apache.org/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz
$ tar xvzf spark-2.4.7-bin-hadoop2.7.tgz
ln -s spark-2.4.7-bin-hadoop2.7/ spark
Colored by Color Scripter

cs

스파크의 RDD

RDD의 개념(Resilient Distributed Datasets)

-스파크 내에 저장되는 데이터 셋 타입

-내부적으로 연산하는 데이터들을 모두 RDD 타입으로 처리

Immutable, Partitioned Collections of Records

여러 분산 노드에 나누어지며

다수의 파티션으로 관리됨

변경이 불가능한 데이터 셋

RDD의 생성

1. 외부로부터 데이터를 가져올 때

2. 코드에서 생성되는 데이터를 저장할 때

RDD를 제어하는 2개의 연산 타입

1.Transformation : RDD에서 새로운 RDD 생성하는 함수 (filter, map)

2.Action : RDD에서 RDD가 아닌 다른 타입의 데이터로 변환하는 함수(count, collect)

RDD 분산 처리 방법

1.Immutable : 데이터셋 생성 뒤 변하지 않음

2.Partitoned : 데이터셋을 잘게 자름

RDD Partitioning

하나의 RDD는 여러 개의 파티션으로 나뉜다.

파티션의 개수와 파티션을 선택할 수 있다.

RDD Dependency

-Narrow Dependency

파티션이 1:1로 매핑 되어 네트워크 필요 없고 하나의 노드에서 작업 가능하다, 그리고 파티션 복원 쉬움

-Wide Dependency

파티션이 1:N로 매핑 되어 파티션 재계산 비용 비싸며, 네트워크를 사용한다.

RDD Lineage

RDD연산 순서 기록 -> DAG (순환되지않음)

Fault tolerant : 계보로 똑같은 RDD 생성 가능함

Lazy execution

-Transformation 연산 시 계보 작정 됨

-Action 연산 시 계보 실행됨

미리 작성된 계보로 자원할당 참고할 수 있음

현재 쓰고있는 자원, 앞으로 사용할 자원, Dependency로 작업 스케줄링에 활용 가능함

Spark YARN 실행

1
2
3
4
5
6

scala : spark-shell --master yarn --queue queue_name
python : pyspark --master yarn --queue queue_name
 
--driver-memory 3G : spark driver가 사용할 메모리 default = 1024M
--executor-memory 3G : 각 spark executor가 사용할 메모리양
--executor-cores NUM : 각 spark executor의 코어의 양

cs

Spark Shell 입력 후 코드 작성해보기

1
2
3
4

x=sc.parallelize([“spark”, ”rdd”, ”example”, “sample”, “example”], 3)
y=x.map(lambda x:(x,1))
y.collect()
[(‘spark’,1), (‘rdd’,1), (‘example’,1), (‘sample’,1), (‘example’,1)]

cs

x에 스파크 콘텍스트 병렬화로 생성함

y에 x를 맵형식으로 x값과 1 저장함

collect 써서 집합 출력함

작성한 스파크에서 실행하는 방법

파이썬 파일 (num은 쓰레드 개수, default 값은 2~4개 정도)

1

spark-submit –master local[num] 파일명.py 

cs

자바,스칼라 파일

1

spark-submit \ --class “SimpleApp”\ --master local[num] /location~/name.jar

cs

스파크에서 맵리듀스

1
2
3
4

val input: RDD[(K1, V1)] = ...
val mapOutput: RDD[(K2, V2)] = input.flatMap(mapFn)
val shuffled: RDD[(K2, Iterable[V2])] = mapOutput.groupByKey().sortByKey()
val output: RDD[(K3, V3)] = shuffled.flatMap(reduceFn)

cs

RDD (K1,V1) 데이터 입력

flatMap()연산 수행하여 RDD (K2,V2) 출력

RDD (K2,V2) 값으로 셔플함 , groupByKey()과 sortByKey()연산 수행함

RDD (K3, V3) 값에 shuffled후 flatMap() 연산한 결과값 저장함

728x90

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

[Hive] 하이브 명령어 정리/ Hive 명령어 정리 (0)	2021.05.02
[Hadoop] 하둡 명령어 정리 / Hadoop 명령어 정리 (0)	2021.05.02
[하둡에코시스템] Apache Avro / 아파치 에이브로 (0)	2021.03.28
[설치 전 준비] 하둡에코시스템을 설치전에 준비해야할 것 (0)	2021.03.06
[Hue] 휴 설치 가이드 / Hue 설치 가이드 4.0.1 (0)	2021.03.05

[하둡에코시스템] Apache Avro / 아파치 에이브로

🐰히히 2021. 3. 28. 21:32

2021. 3. 28. 21:32

아파치 에이브로란 ?

https://dennyglee.com/2013/03/12/using-avro-with-hdinsight-on-azure-at-343-industries/

- 특정 언어에 종속되지 않는 언어 중립적 데이터 직렬화 시스템

- 하둡 Writable의 주요 단점인 언어 이식성 해결 위해 생겨남

아파치 쓰리프트, 구글 프로토콜 버퍼와 다른 차별화된 특성가지고 있음

데이터는 다른 시스템과 비슷하게 언어 독립 스키마로 기술됨

에이브로에서 코드 생성은 선택사항임

데이터를 읽고 쓰는 시점에 스키마는 항상 존재한다 가정함 - 매우 간결한 코딩이 가능

스키마의 작성

JSON

데이터는 바이너리 포맷으로 인코딩

에이브로 명세 - 모든 구현체가 지원해야 하는 버이너리 포맷에 대한 자세한 내용

API - 에이브로 명세에서 빠져있는 내용임. 각 특정언어에 따라 다르게 작성됨. 언어의 바인딩 편의성 높이고 상호운영성 저하 문제 해결됨

스키마해석 - 신중하게 정의된 어떠한 제약조건에서도 데이터를 읽는 데 사용되는 스키마와 데이터를 쓰는 데 사용되는 스키마가 같지 않아도 된다.(스키마 변형 메커니즘)

ex ) 과거의 데이터를 읽을 때 사용한 스키마에 새로운 필드를 추가할 수 있다. 새로운 사용자와 기존 사용자는 모두 과거의 데이터를 문제없이 읽을 수 있으며새로운 사용자는 새로운 필드가 추가된 데이터를 쓸수 있다. 기존 사용자는 새로운 데이터를 보게되는데 새로운 필드는 무시하고 기존 데이터 작업처럼 처리할 수 있다.

객체 컨테이너 포맷 제공(하둡 시퀀스 파일과 유사함)

에이브로 데이터 파일은 스키마가 저장된 메타데이터 섹션을 포함하고 있어 자신을 설명하는 파일임

에이브로 데이터 파일은 압축과 분할 기능 제공

에이브로 자료형과 스키마

에이브로의 기본 자료형 표시

1
2
3
4
5
6
7
8

{"type":"null"}
{"type":"boolean"}
{"type":"int"}
{"type":"long"}
{"type":"float"}
{"type":"double"}
{"type":"bytes"}
{"type":"string"}

cs

에이브로 복합 자료형

array 순서있는 객체 집합, 동일 타입

1
2
3
4
5

{
 "type": "array",
 "items": "long"
}
 

cs

map 순서 없는 키-값, 동일 타입

1
2
3
4

{
 "type": "map",
 "values": "string"
}

cs

record 임의의 자료형

1
2
3
4
5
6
7
8
9
10
11

{
 "type": "record",
 "name": "WeatherRecord",
 "doc": "A weather reading.",
 "fields": [
 {"name": "year", "type": "int"},
 {"name": "temperature", "type": "int"},
 {"name": "stationId", "type": "string"}
 ]
}
 
Colored by Color Scripter

cs

enum 명명된 값의 집합

1
2
3
4
5
6
7

{
 "type": "enum",
 "name": "Cutlery",
 "doc": "An eating utensil.",
 "symbols": ["KNIFE", "FORK", "SPOON"]
}
 
Colored by Color Scripter

cs

fixed 고정길이 8비트 부호 없는 바이트

1
2
3
4
5
6

{
 "type": "fixed",
 "name": "Md5Hash",
 "size": 16
}
 

cs

union 스키마의 유니온, 배열의 각요소는 스키마임

1
2
3
4
5

[
 "null",
 "string",
 {"type": "map", "values": "string"}
]
Colored by Color Scripter

cs

 

에이브로 자료형과 다른 프로그래밍 언어 자료형 매핑 필요

자바 - 제네릭 매핑 : 스키마를 결정할 수 없을 때

자바, C++ - 구체적 매핑 : 스키마 데이터 표현 코드 생성

자바 - 리플렉트 매핑 : 에이브로 자료형을 기존 자바 자료형으로 매핑

인메모리 직렬화와 역직렬화

에이브로 스키마 예시 - 해당 에이브로 스키마는 StringPair.avsc 에 저장됨

1
2
3
4
5
6
7
8
9

{
 "type": "record",
 "name": "StringPair",
 "doc": "A pair of strings.",
 "fields": [
 {"name": "left", "type": "string"},
 {"name": "right", "type": "string"}
 ]
}
Colored by Color Scripter

cs

파일을 클래스 경로에 저장한 후 로딩함

1
2
3

Schema.Parser parser = new Schema.Parser();
Schema schema = parser.parse(
getClass().getResourceAsStream("StringPair.avsc"));

cs

제네릭 API 를 사용하여 에이브로 레코드의 인스턴스를 생성함

1
2
3
4

GenericRecord datum = new GenericData.Record(schema);
datum.put("left", "L");
datum.put("right", "R");
Colored by Color Scripter

cs

출력 스트림에 레코드를 직렬화함

1
2
3
4
5
6
7
8

ByteArrayOutputStream out = new ByteArrayOutputStream();
DatumWriter<GenericRecord> writer =
new GenericDatumWriter<GenericRecord>(schema);
Encoder encoder = EncoderFactory.get().binaryEncoder(out, null);
writer.write(datum, encoder);
encoder.flush();
out.close();

cs

DatumReader : 데이터 객체를 인코더가 이해할 수 있는 자료형으로 반환

GenericDatumReader : GenericRecord의 필드를 인코더로 전달

이전의 생성된 인코더를 재사용하지 않기 때문에 인코더 팩토리에 null 전달

writer() 스트림 닫기 전에 필요하면 더 호출 가능

encoder.flush(); write메서드 호출 후 인코더 플러시하고 출력 스트림 닫음

해당 과정 반대로 하면 바이트 버퍼에서 객체 읽을 수 있음

1
2
3
4
5
6
7

 DatumReader<GenericRecord> reader =
 new GenericDatumReader<GenericRecord>(schema);
 Decoder decoder = DecoderFactory.get().binaryDecoder(out.toByteArray(),
 null);
 GenericRecord result = reader.read(null, decoder);
 assertThat(result.get("left").toString(), is("L"));
 assertThat(result.get("right").toString(), is("R"));

cs

구체적인 API

메이븐에 추가하여 자바로된 스키마 코드 생성할 수 있다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

<project>
 ...
 <build>
 <plugins>
 <plugin>
 <groupId>org.apache.avro</groupId>
 <artifactId>avro-maven-plugin</artifactId>
 <version>${avro.version}</version>
 <executions>
 <execution>
 <id>schemas</id>
 <phase>generate-sources</phase>
 <goals>
 <goal>schema</goal>
 </goals>
 <configuration>
 <includes>
 <include>StringPair.avsc</include>
 </includes>
 <stringType>String</stringType>
 <sourceDirectory>src/main/resources</sourceDirectory>
 <outputDirectory>${project.build.directory}/generated-sources/java
 </outputDirectory>
 </configuration>
 </execution>
 </executions>
 </plugin>
 </plugins>
 </build>
 ...
</project>
 
Colored by Color Scripter

cs

에이브로 데이터 파일

인메모리 스트림에서 파일 읽기

데이터 파일 = 에이브로 스키마 + 헤더 (메타데이터 (싱크마커 포함)) +일련의 블록 (직렬화된 에이브로 객체가 있는)

데이터 파일에 기록된 객체는 반드시 파일의 스키마와 일치해야한다.

일치하지않는 경우에 append시 예외 발생할 수 있다.

1
2
3
4
5
6
7
8
9
10

File file = new File("data.avro");
DatumWriter<GenericRecord> writer =
 new GenericDatumWriter<GenericRecord>(schema);
DataFileWriter<GenericRecord> dataFileWriter =
new DataFileWriter<GenericRecord>(writer);
dataFileWriter.create(schema, file);
dataFileWriter.append(datum);
dataFileWriter.close();
 

cs

파일에 포함된 메타데이터 참조하여 읽기 때문에 스키마를 따로 정의하지않아도됨

getSchema()를 이용하면 DataFileReader 인스턴스의 스키마 정보 얻을 수 있고 원본 객체에 사용한 스키마와 같은지 확인가능

1
2
3
4

DatumReader<GenericRecord> reader = new GenericDatumReader<GenericRecord>();
DataFileReader<GenericRecord> dataFileReader =
new DataFileReader<GenericRecord>(file, reader);
assertThat("Schema is the same", schema, is(dataFileReader.getSchema()));

cs

DataFileReader는 정규 자바 반복자로 hasNext, next메서드를 반복적으로 호출하여

모든 데이터 객체를 순환할 수 있다. 레코드가 한개만 있는지 확인하고 기대한 필드값 있는 지 확인

1
2
3
4
5

assertThat(dataFileReader.hasNext(), is(true));
GenericRecord result = dataFileReader.next();
assertThat(result.get("left").toString(), is("L"));
assertThat(result.get("right").toString(), is("R"));
assertThat(dataFileReader.hasNext(), is(false));

cs

상호 운영성

파이썬 API

1
2
3
4
5
6

import os
import string
import sys
from avro import schema
from avro import io
from avro import datafile

cs

에이브로 도구

1

% java -jar $AVRO_HOME/avro-tools-*.jar tojson pairs.avro

cs

스키마 해석

기록할 때 사용한 writer 스키마와 다른 reader의 스키마를 사용하여 데이터를 다시 읽을 수 있다,.

추가된 필드 - reader 신규일 때, reader는 신규 필드의 기본값이용

추가된 필드 - writer 신규일 때, reader는 신규 필드 모르기 때문에 무시함

제거된 필드 - reader 신규일 때, 삭제된 필드 무시

제거된 필드 - writer 신규일 때, 제거된 필드 기록하지 않음. reader 의 스키마를 writer 스키마와 같게 맞추거나 이전으로 갱신함

정렬 순서

record를 제외안 모든 자료형에는 순서가 정해져있음

record는 order 속성 명시하여 정렬 제어할 수 있다.

오름차순 (기본)

내림차순 : descending

무시 : ignore

에이브로 맵리듀스

날씨 레코드

1
2
3
4
5
6
7
8
9
10

{
 "type": "record",
 "name": "WeatherRecord",
 "doc": "A weather reading.",
 "fields": [
 {"name": "year", "type": "int"},
 {"name": "temperature", "type": "int"},
 {"name": "stationId", "type": "string"}
 ]
}
Colored by Color Scripter

cs

최고 기온을 찾는 맵리듀스 프로그램, 에이브로 출력 만듦

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86

public class AvroGenericMaxTemperature extends Configured implements Tool {
 
 private static final Schema SCHEMA = new Schema.Parser().parse(
 "{" +
 " \"type\": \"record\"," +
 " \"name\": \"WeatherRecord\"," +
 " \"doc\": \"A weather reading.\"," +
 " \"fields\": [" +
 " {\"name\": \"year\", \"type\": \"int\"}," +
 " {\"name\": \"temperature\", \"type\": \"int\"}," +
 " {\"name\": \"stationId\", \"type\": \"string\"}" +
 " ]" +
 "}"
 );
 public static class MaxTemperatureMapper
 extends Mapper<LongWritable, Text, AvroKey<Integer>,
 AvroValue<GenericRecord>> {
 private NcdcRecordParser parser = new NcdcRecordParser();
 private GenericRecord record = new GenericData.Record(SCHEMA);
 @Override
 protected void map(LongWritable key, Text value, Context context)
 throws IOException, InterruptedException {
 parser.parse(value.toString());
 if (parser.isValidTemperature()) {
 record.put("year", parser.getYearInt());
 record.put("temperature", parser.getAirTemperature());
 record.put("stationId", parser.getStationId());
 context.write(new AvroKey<Integer>(parser.getYearInt()),
 new AvroValue<GenericRecord>(record));
 }
 }
 }
 
 public static class MaxTemperatureReducer
 extends Reducer<AvroKey<Integer>, AvroValue<GenericRecord>,
 AvroKey<GenericRecord>, NullWritable> {
 @Override
 protected void reduce(AvroKey<Integer> key, Iterable<AvroValue<GenericRecord>>
 values, Context context) throws IOException, InterruptedException {
 GenericRecord max = null;
 for (AvroValue<GenericRecord> value : values) {
 GenericRecord record = value.datum();
 if (max == null ||
360 | Chapter 12: Avro (Integer) record.get("temperature") > (Integer) max.get("temperature")) {
 max = newWeatherRecord(record);
 }
 }
 context.write(new AvroKey(max), NullWritable.get());
 }
 private GenericRecord newWeatherRecord(GenericRecord value) {
 GenericRecord record = new GenericData.Record(SCHEMA);
 record.put("year", value.get("year"));
 record.put("temperature", value.get("temperature"));
 record.put("stationId", value.get("stationId"));
 return record;
 }
 }
 @Override
 public int run(String[] args) throws Exception {
 if (args.length != 2) {
 System.err.printf("Usage: %s [generic options] <input> <output>\n",
 getClass().getSimpleName());
 ToolRunner.printGenericCommandUsage(System.err);
 return -1;
 }
 Job job = new Job(getConf(), "Max temperature");
 job.setJarByClass(getClass());
 job.getConfiguration().setBoolean(
 Job.MAPREDUCE_JOB_USER_CLASSPATH_FIRST, true);
 FileInputFormat.addInputPath(job, new Path(args[0]));
 FileOutputFormat.setOutputPath(job, new Path(args[1]));
 AvroJob.setMapOutputKeySchema(job, Schema.create(Schema.Type.INT));
 AvroJob.setMapOutputValueSchema(job, SCHEMA);
 AvroJob.setOutputKeySchema(job, SCHEMA);
 job.setInputFormatClass(TextInputFormat.class);
 job.setOutputFormatClass(AvroKeyOutputFormat.class);
 job.setMapperClass(MaxTemperatureMapper.class);
 job.setReducerClass(MaxTemperatureReducer.class);
 return job.waitForCompletion(true) ? 0 : 1;
 }
 
 public static void main(String[] args) throws Exception {
 int exitCode = ToolRunner.run(new AvroGenericMaxTemperature(), args);
 System.exit(exitCode);
 }
}
Colored by Color Scripter

cs

프로그램 실행

1
2
3
4

% export HADOOP_CLASSPATH=avro-examples.jar
% export HADOOP_USER_CLASSPATH_FIRST=true # override version of Avro in Hadoop
% hadoop jar avro-examples.jar AvroGenericMaxTemperature \
 input/ncdc/sample.txt output

결과물출력

1
2
3

% java -jar $AVRO_HOME/avro-tools-*.jar tojson output/part-r-00000.avro
{"year":1949,"temperature":111,"stationId":"012650-99999"}
{"year":1950,"temperature":22,"stationId":"011990-99999"}

cs

에이브로 맵리듀스 이용해 정렬

에이브로 데이터 파일을 정렬하는 맵리듀스 프로그램

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58

public class AvroSort extends Configured implements Tool {
 static class SortMapper<K> extends Mapper<AvroKey<K>, NullWritable,
 AvroKey<K>, AvroValue<K>> {
 @Override
 protected void map(AvroKey<K> key, NullWritable value,
 Context context) throws IOException, InterruptedException {
 context.write(key, new AvroValue<K>(key.datum()));
 }
 }
 static class SortReducer<K> extends Reducer<AvroKey<K>, AvroValue<K>,
 AvroKey<K>, NullWritable> {
 @Override
 protected void reduce(AvroKey<K> key, Iterable<AvroValue<K>> values,
 Context context) throws IOException, InterruptedException {
 for (AvroValue<K> value : values) {
 context.write(new AvroKey(value.datum()), NullWritable.get());
 }
 }
 }
 @Override
 public int run(String[] args) throws Exception {
 
 if (args.length != 3) {
 System.err.printf(
 "Usage: %s [generic options] <input> <output> <schema-file>\n",
 getClass().getSimpleName());
 ToolRunner.printGenericCommandUsage(System.err);
 return -1;
 }
 
 String input = args[0];
 String output = args[1];
 String schemaFile = args[2];
 Job job = new Job(getConf(), "Avro sort");
 job.setJarByClass(getClass());
 job.getConfiguration().setBoolean(Job.MAPREDUCE_JOB_USER_CLASSPATH_FIRST, true);
 FileInputFormat.addInputPath(job, new Path(input));
 FileOutputFormat.setOutputPath(job, new Path(output));
 AvroJob.setDataModelClass(job, GenericData.class);
 Schema schema = new Schema.Parser().parse(new File(schemaFile));
 AvroJob.setInputKeySchema(job, schema);
 AvroJob.setMapOutputKeySchema(job, schema);
 AvroJob.setMapOutputValueSchema(job, schema);
 AvroJob.setOutputKeySchema(job, schema);
 job.setInputFormatClass(AvroKeyInputFormat.class);
 job.setOutputFormatClass(AvroKeyOutputFormat.class);
 job.setOutputKeyClass(AvroKey.class);
 job.setOutputValueClass(NullWritable.class);
 job.setMapperClass(SortMapper.class);
 job.setReducerClass(SortReducer.class);
 return job.waitForCompletion(true) ? 0 : 1;
 }
 
 public static void main(String[] args) throws Exception {
 int exitCode = ToolRunner.run(new AvroSort(), args);
 System.exit(exitCode);
 }
}
Colored by Color Scripter

cs

정렬은 맵리듀스 셔플 과정에서 일어나며 정렬기능은 에이브로의 스키마에 의해 정해짐

입력데이터 점검

1
2
3
4
5

% java -jar $AVRO_HOME/avro-tools-*.jar tojson input/avro/pairs.avro
{"left":"a","right":"1"}
{"left":"c","right":"2"}
{"left":"b","right":"3"}
{"left":"b","right":"2"}

cs

프로그램사용하여 정렬

1
2

% hadoop jar avro-examples.jar AvroSort input/avro/pairs.avro output \
 ch12-avro/src/main/resources/SortedStringPair.avsc

cs

정렬 후 저장된 파일 출력

1
2
3
4
5

% java -jar $AVRO_HOME/avro-tools-*.jar tojson output/part-r-00000.avro
{"left":"b","right":"3"}
{"left":"b","right":"2"}
{"left":"c","right":"2"}
{"left":"a","right":"1"}
Colored by Color Scripter

cs

728x90

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

[Hadoop] 하둡 명령어 정리 / Hadoop 명령어 정리 (0)	2021.05.02
[하둡에코시스템] 스파크 / apache spark (0)	2021.03.30
[설치 전 준비] 하둡에코시스템을 설치전에 준비해야할 것 (0)	2021.03.06
[Hue] 휴 설치 가이드 / Hue 설치 가이드 4.0.1 (0)	2021.03.05
[Apache zookeeper] zookeeper 설치 / 아파치 주키퍼 설치 (0)	2021.03.05

[설치 전 준비] 하둡에코시스템을 설치전에 준비해야할 것

🐰히히 2021. 3. 6. 00:21

2021. 3. 6. 00:21

인프라 운영할 때 주의해야할 점

root 계정 사용하지 못하기 때문에 sudo권한을 부여받은 다른 계정을 사용해서 인프라 구축을 진행한다.

사용할 계정 생성

# useradd test

계정 비밀번호 지정

# passwd test

sudoers 수정하여 해당 계정 sudo 권한과 하단에 같은 그룹도 모든 커맨드 수행가능한 부분의 주석 제거

# vi /etc/sudoers

test ALL(=ALL) ALL(=ALL)

%wheel ~~

하둡에코시스템 구축할 때 공통적으로 필요한 부분이 있다.

1. 방화벽

# systemctl disable firewalld

# systemctl stop firewalld

# vi /etc/selinux/config

SELINUX=disabled

후 재부팅한다.

2. install

$ sudo yum install ntp

$ sudo systemctl enable ntpd

$ sudo chkconfig ntpd on

3. ssh-key 생성하기

$ ssh-key

$ ssh-copy-key test@ip_address

4. 자바 설치

$ sudo yum install java-1.8.0-openjdk

5. DB 설치

$ sudo yum install postgresql*

$ su - postgres

$ postgres-setup initdb

$ systemctl enable postresql.service

$ systemctl start postresql.service

728x90

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

[하둡에코시스템] 스파크 / apache spark (0)	2021.03.30
[하둡에코시스템] Apache Avro / 아파치 에이브로 (0)	2021.03.28
[Hue] 휴 설치 가이드 / Hue 설치 가이드 4.0.1 (0)	2021.03.05
[Apache zookeeper] zookeeper 설치 / 아파치 주키퍼 설치 (0)	2021.03.05
[Apache Livy] 아파치 리비 / Apache Livy standalone Install (0)	2021.03.05

[Hue] 휴 설치 가이드 / Hue 설치 가이드 4.0.1

🐰히히 2021. 3. 5. 01:56

2021. 3. 5. 01:56

hue 설치 할 때 앞서 있던 하둡 에코시스템들이 어느정도 설치되었다고 가정하고 진행하겠다.

휴의 경우 설치하기전에 사전작업을 해줘야 한다.

postgres는 다른 포스트에서 설정을 다루기로 하고,

휴 설치 가이드 에서는 휴에서 사용할 데이터 베이스 생성정도만 다룰 예정이다.

사전작업

휴는 파이썬을 사용하기 때문에 환경변수로 파이썬 버전을 잡아줘야한다.

환경변수는 .bash_profile 에 추가하였다.

파이썬 환경변수 추가

$ sudo vi ~/..bash_profile

export PYTHON_VER=python3.8

psycopg2 설치 (전에 pip도 설치되어 있어야함)

$ pip install psycopg2

$ python setup.py build

$ sudo python setup.py install

$ pip install psycopg2-binary

nodejs 설치 (centos7 기준 이다.)

$ sudo yum install epel-release

$ sudo yum install nodejs

hue 에서 사용하는 package 설치

$ sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
cs

maven 설치

$ wget https://downloads.apache.org/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz -P /tmp

$ sudo tar xf /tmp/apache-maven-3.6.3-bin.tar.gz -C /opt

$ sudo ln -s /opt/apache-maven-3.6.0 /opt/maven 

$ sudo vi ~/.bash_profile

#MAVEN

export MAVEN_HOME=/opt/maven

export M2_HOME=$MAVEN_HOME

PATH=$PATH:$M2_HOME/bin:

$ source ~/.bash_profile

$ vi /opt/maven/conf/settings.xml

mirror 사이트 추가하기

maven build가 필요한 아파치 오픈소스들이 있는데, centos의 경우 yum install maven시 3.0.5가 설치된다.
3.0.5버전으로 빌드 시 fail이 빈번하기도하고, 공식사이트에서도 3.3이상 버전 사용하는 것을 추천하기 때문에
아파치 미러 사이트에서 최신버전 maven을 사용하는 것을 추천한다.

postgres에 hue db, user 추가하기

psql -U postgres

CREATE USER hue WITH PASSWORD 'hue';

CREATE DATABASE hue OWNER hue;

\l

휴 데이터베이스와 오너 확인하기

---

Solr 설치

https://n-a-y-a.tistory.com/m/68

[Solr] Apache solr 8.5.0 설치하기

ranger, atlas를 사용하기 위해 선설치해야하는 오픈소스이다. https://archive.apache.org/dist/lucene/solr/8.5.0/ Index of /dist/lucene/solr/8.5.0 archive.apache.org 해당 사이트에서 8.5.0버전을 다운 받..

n-a-y-a.tistory.com

---

휴 설치

$ wget https://cdn.gethue.com/downloads/hue-4.0.1.tgz

$ tar -xvzf hue-4.0.1.tgz

$ ln -s hue-4.0.0 hue

$ cd hue

$ export PREFIX=/usr/local

$ make 7$ make install

휴 실행

$ ./build/env/bin/supervisor &

$ netstat -nltp | grep 8888

입력시 서비스 올라온 것 확인할 수 있다.

***HDFS***
***HIVE***
***HBASE***
등 각 서비스들은 현재 연결된 상태는 아니므로
맞는 config값들을 찾아 수정해줘야한다.

참고사이트
docs.gethue.com/administrator/installation/

Installation :: Hue SQL Assistant Documentation

docs.gethue.com

728x90

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

[하둡에코시스템] Apache Avro / 아파치 에이브로 (0)	2021.03.28
[설치 전 준비] 하둡에코시스템을 설치전에 준비해야할 것 (0)	2021.03.06
[Apache zookeeper] zookeeper 설치 / 아파치 주키퍼 설치 (0)	2021.03.05
[Apache Livy] 아파치 리비 / Apache Livy standalone Install (0)	2021.03.05
[Apache Spark] Apache Spark standalone Install / 아파치 스파크 설치 (0)	2021.03.05

[Apache zookeeper] zookeeper 설치 / 아파치 주키퍼 설치

🐰히히 2021. 3. 5. 01:50

2021. 3. 5. 01:50

주키퍼란 분산 애플리케이션을 위한 분산 코디네이션이다.

znode(저널노드)가 각각의 서버에 위치해 있다.

각 하둡의 서비스들이 잘 동작하고 있는지 확인한다.

주기적으로 하트비트 요구하여 받는 방식으로,

따라서 주기퍼는 홀수로 클러스터를 구성하는데

여기서 들어가는 개념이 쿼럼이다.

쿼럼이란?

다수결로 예를 들어 5개의 서버로 구성 되어있고,

2개의 서버가 죽는다고 가정했을 때 정상적으로 동작한다고 판단한다.

그리고 5개 중 3개의 서버가 죽었을 경우, 다수결로 인해 비정상이라고 판다한다.

그로 인해, 주키퍼는 홀수로 클러스터를 구성한다.

zookeeper 클러스터는

하나의 서버가 리더이고, 다른 서버는 팔로워이다

리더 서버를 기준으로 sync를 맞춘다.

자세한 내용은 공식 사이트 참조바람

주키퍼 설치 방법

주키퍼 파일 다운로드 후 압축 해제 후 테스트

1
2
3
4
wget https://mirror.navercorp.com/apache/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9.tar.gz
tar xvzf apache-zookeeper-3.5.9.tar.gz
cd bin/zkCli.sh -server 127.0.0.1:2181
./zkCli.sh -server 127.0.0.1:2181
Colored by Color Scripter
cs

주키퍼 conf에서 zoo.cfg 파일 생성

1
2
3
4
5
6
$ vi $ZOOKEEPER_HOME/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/userDIr/zookeeper
clientPort=2181
cs

주키퍼 실행

1
bin/zkServer.sh start
cs

jps로 주키퍼 실행 중인지 확인

1
2
3
jps
-------------------
Quorumpeermain
cs

netstat -nltp | grep 2181로 주키퍼 확인하기

주키퍼의 포트번호는 zoo.cfg 파일에서 변경할 수 있다.

728x90

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

[설치 전 준비] 하둡에코시스템을 설치전에 준비해야할 것 (0)	2021.03.06
[Hue] 휴 설치 가이드 / Hue 설치 가이드 4.0.1 (0)	2021.03.05
[Apache Livy] 아파치 리비 / Apache Livy standalone Install (0)	2021.03.05
[Apache Spark] Apache Spark standalone Install / 아파치 스파크 설치 (0)	2021.03.05
[Apache Hbase] HBASE 2.2.0 standalone install / Hbase 설치 싱글서버 (0)	2021.03.05

[Apache Livy] 아파치 리비 / Apache Livy standalone Install

🐰히히 2021. 3. 5. 01:43

2021. 3. 5. 01:43

livy-env.sh

export SPARK_HOME=/usr/lib/spark

export HADOOP_CONF_DIR=/etc/hadoop/conf

livy start

./bin/livy-server start

livy 정상동작하는지 spark에서 테스트하는 예제

sudo pip install requests

import json, pprint, requests, textwrap

host = 'http://localhost:8998'

data = {'kind': 'spark'}

headers = {'Content-Type': 'application/json'}

r = requests.post(host + '/sessions', data=json.dumps(data), headers=headers)

r.json() {u'state': u'starting', u'id': 0, u'kind': u'spark'}

728x90

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

[Hue] 휴 설치 가이드 / Hue 설치 가이드 4.0.1 (0)	2021.03.05
[Apache zookeeper] zookeeper 설치 / 아파치 주키퍼 설치 (0)	2021.03.05
[Apache Spark] Apache Spark standalone Install / 아파치 스파크 설치 (0)	2021.03.05
[Apache Hbase] HBASE 2.2.0 standalone install / Hbase 설치 싱글서버 (0)	2021.03.05
[Apache Hive] Apache Hive / 하이브 standalone Install (0)	2021.03.05

[Apache Spark] Apache Spark standalone Install / 아파치 스파크 설치

🐰히히 2021. 3. 5. 01:40

2021. 3. 5. 01:40

728x90

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

[Apache zookeeper] zookeeper 설치 / 아파치 주키퍼 설치 (0)	2021.03.05
[Apache Livy] 아파치 리비 / Apache Livy standalone Install (0)	2021.03.05
[Apache Hbase] HBASE 2.2.0 standalone install / Hbase 설치 싱글서버 (0)	2021.03.05
[Apache Hive] Apache Hive / 하이브 standalone Install (0)	2021.03.05
[Apache Hadoop] Apache Hadoop / 하둡 싱글서버 설치 3버전 (0)	2021.03.05

[Apache Hbase] HBASE 2.2.0 standalone install / Hbase 설치 싱글서버

🐰히히 2021. 3. 5. 01:39

2021. 3. 5. 01:39

$ wget https://archive.apache.org/dist/hbase/2.2.0/hbase-2.2.0-bin.tar.gz 
$ tar xvzf hbase-2.2.0-bin.tar.gz
$ ln -s hbase-2.2.0-bin hbase

hbase 설치 후 압축 풀고 심볼릭 링크를 건다.

<configuration>
<property>
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:9000/hbase</value>
</property>
<property>
        <name>hbase.master.port</name>
        <value>60000</value>
</property>
<property>
        <name>hbase.master.info.port</name>
        <value>60010</value>
</property>
<property>
        <name>hbase.regionserver.info.bindAddress</name>
        <value>0.0.0.0</value>
</property>
<property>
        <name>hbase.regionserver.port</name>
        <value>60020</value>
</property>
<property>
        <name>hbase.regionserver.info.port</name>
        <value>60030</value>
</property>
<property>
        <name>hbase.zookeeper.quorum</name>
        <value>bdh2</value>
</property>
<property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
</property>
<property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
</property>
<property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
</property>
<property>
        <name>hbase.superuser</name>
        <value>user_name</value>
</property>
<property>
        <name>hbase.coprocessor.region.classes</name>
        <value>org.apache.hadoop.hbase.security.access.AccessController</value>
</property>
<property>
        <name>hbase.coprocessor.master.classes</name>
        <value>org.apache.hadoop.hbase.security.access.AccessController</value>
</property>
<property>
        <name>hbase.rpc.engine</name>
        <value>org.apache.hadoop.hbase.ipc.SecureRpcEngine</value>
</property>
<property>
        <name>hbase.security.authorization</name>
        <value>true</value>
</property>

hbase-site.xml 에서 config 값들을 설정한다.

$ bin/start-hbase.sh

hbase bin 디렉터리에서 hbase를 실행한다.

$ jps
------------------------
11410 HMaster

jvm에 hbase가 실행 중인 것을 확인할 수 있다.

master 서버에는 HMaster가 올라오고

slave 서버에는 HRegionserver가 올라온다.

728x90

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

[Apache Livy] 아파치 리비 / Apache Livy standalone Install (0)	2021.03.05
[Apache Spark] Apache Spark standalone Install / 아파치 스파크 설치 (0)	2021.03.05
[Apache Hive] Apache Hive / 하이브 standalone Install (0)	2021.03.05
[Apache Hadoop] Apache Hadoop / 하둡 싱글서버 설치 3버전 (0)	2021.03.05
하이브란? (0)	2021.03.05

PREV 이전 1 ···9 10 11 12 13 NEXT 다음

전체 글

'미사용 > 알고리즘 정리' 카테고리의 다른 글

하둡의 문제점을 보완하기 위해 스파크 생김

스파크란?

스파크 아키텍처

스파크 설치

스파크의 RDD

RDD의 개념(Resilient Distributed Datasets)

RDD의 생성

RDD를 제어하는 2개의 연산 타입

RDD 분산 처리 방법

RDD Partitioning

RDD Dependency

RDD Lineage

Spark YARN 실행

Spark Shell 입력 후 코드 작성해보기

작성한 스파크에서 실행하는 방법

스파크에서 맵리듀스

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

아파치 에이브로란 ?

에이브로 자료형과 스키마

에이브로 복합 자료형

인메모리 직렬화와 역직렬화

구체적인 API

에이브로 데이터 파일

상호 운영성

에이브로 도구

스키마 해석

정렬 순서

에이브로 맵리듀스

에이브로 맵리듀스 이용해 정렬

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

사전작업

Solr 설치

휴 설치

휴 실행

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

주키퍼란 분산 애플리케이션을 위한 분산 코디네이션이다.

쿼럼이란?

주키퍼 설치 방법

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

'BIGDATA > 하둡에코시스템' 카테고리의 다른 글

티스토리툴바