์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- ์ค์นผ๋ผ ๋ถ
- ๋ฆฌ๋ ์ค RPM
- ๋ฐ์ดํฐ๋ถ์์ค์ ๋ฌธ๊ฐ
- ์ค์๋ธ ์ค์น
- ์ํ์น ์คํํฌ
- ํ๋ก์์ฝ์์คํ
- hadoop
- ํ๋ก
- Apache spark
- ํด ์ค์น
- kudu
- ์๋ผ์คํฑ์์น
- HBase
- aws ccp
- elastic stack
- ํ์ด๋ธ
- ๋ฆฟ์ฝ๋
- CLF-C02
- ์คํํฌ
- ansible
- ๋น ๋ฐ์ดํฐ
- airflow
- BIGDATA
- rpmbuild
- ์ค์๋ธ
- LeetCode
- standalone
- ๋ฆฌ๋ ์ค
- ์ฑ๊ธ์๋ฒ
- ํ๋ก์ค์น
- Today
- Total
๋ชฉ๋ก์คํํฌ (5)
data_lab
์ค์นผ๋ผ ํด๋์ค์ ๊ดํด ์ ๋ฆฌํจ https://docs.scala-lang.org/overviews/scala-book/classes.html ๊ธฐ๋ณธ ํด๋์ค ์์ฑ์ class Person(var firstName: String, var lastName: String) val p = new Person("Bill", "Panner") println(p.firstName + " " + p.lastName) //Bill Panner p.firstName = "William" p.lastName = "Bernheim" val๋ ํ๋๋ฅผ ์ฝ๊ธฐ ์ ์ฉ์ผ๋ก ๋ง๋ฆ val(value) : ๋ณ๊ฒฝํ ์ ์์ var(variable) : ๋ณ๊ฒฝํ ์ ์์ ์ค์นผ๋ผ๋ฅผ ์ฌ์ฉํ์ฌ ๊ฐ์ฒด ์งํฅ ํ๋ก๊ทธ๋๋ฐ ์ฝ๋๋ฅผ ์์ฑํ๋ ๊ฒฝ์ฐ var ํ๋๋ฅผ ๋ณ๊ฒฝํ ..
์ค์นผ๋ผ์ ๋ง ์ค์นผ๋ผ ํน์ง ์ ์ ํ์ ๊ตฌ๋ฌธ ๊ฐ๊ฒฐํ๋ฉฐ ์ฝ๊ธฐ ์ฌ์ ๊ฐ์ฒด ์งํฅ ํ๋ก๊ทธ๋๋ฐ ๊ณผ ํจ์ํ ํ๋ก๊ทธ๋๋ฐ ํจ๋ฌ๋ค์ ์ง์ ์ ๊ตํ ์ ํ ์ถ๋ก ์์คํ ? JVM์์ ์คํ๋๋ ํด๋์คํ์ผ ์์ฑ ์๋ฐ ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ฌ์ฉํ๊ธฐ ์ฌ์ Hello, World Hello.scala object Hello expends App { println("Hello, World") } ๋ ๊ฐ์ง ์ ํ์ ๋ณ์ val : ๋ถ๋ณ ๋ณ์ - ์๋ฐ์์ final๊ณผ ๊ฐ์ var : ๊ฐ๋ณ ๋ณ์ - ํน๋ณํ ์ด์ ๊ฐ ์์ ๋๋ง ์ฌ์ฉ ๋ณ์ ์ ํ ์ ์ธ ์ ํ์ ์ ์ธํ์ง ์๊ณ ๋ณ์๋ฅผ ๋ง๋ฆ val x = 1 val s = "string" val p = new Persion("Regina") ๋ฐ์ดํฐ ์ ํ์ ์ ์ถํ ์ ์์ผ๋ฉฐ, ์ฝ๋ ๊ฐ๊ฒฐํ๊ฒ ์ ์งํ๋๋ฐ ๋์๋จ ์ ํ ๋ช ์ํ ์..
์คํํฌ๋ฅผ ์คํํ ๋, ๋ฉ๋ชจ๋ฆฌ์ ์ฝ์ด๋ฅผ ์ค์ ํ์ฌ ์คํํ ์ ์๋ค. x=sc.parallelize([โsparkโ, โrddโ, โexampleโ, โsampleโ, โexampleโ], 3) ๋ณ๋ ฌํ(transformation) x=x.map(lambda x:(x,1)) #์ ๋ ฅ๊ฐ : x ์ถ๋ ฅ๊ฐ: (x,1) ๋งคํ(transformation) y.collect ์งํฉ(action) [(โsparkโ,1), (โrddโ,1), (โexampleโ,1), (โsampleโ,1), (โexampleโ,1)] spark yarn ์คํ scala : spark-shell --master yarn --queue queue_name python : pyspark --master yarn --queue queue_name --..
livy-env.sh export SPARK_HOME=/usr/lib/spark export HADOOP_CONF_DIR=/etc/hadoop/conf livy start ./bin/livy-server start livy ์ ์๋์ํ๋์ง spark์์ ํ ์คํธํ๋ ์์ sudo pip install requests import json, pprint, requests, textwrap host = 'http://localhost:8998' data = {'kind': 'spark'} headers = {'Content-Type': 'application/json'} r = requests.post(host + '/sessions', data=json.dumps(data), headers=headers) r..