์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- ๋ฆฌ๋ ์ค
- ์คํํฌ
- ํ๋ก์์ฝ์์คํ
- ํ๋ก์ค์น
- ๋ฐ์ดํฐ๋ถ์์ค์ ๋ฌธ๊ฐ
- rpmbuild
- ์ค์๋ธ
- ์ค์๋ธ ์ค์น
- ์ํ์น ์คํํฌ
- ์๋ผ์คํฑ์์น
- Apache spark
- ansible
- airflow
- CLF-C02
- kudu
- HBase
- standalone
- elastic stack
- ๋น ๋ฐ์ดํฐ
- BIGDATA
- aws ccp
- LeetCode
- ๋ฆฌ๋ ์ค RPM
- hadoop
- ์ค์นผ๋ผ ๋ถ
- ํ์ด๋ธ
- ํ๋ก
- ์ฑ๊ธ์๋ฒ
- ํด ์ค์น
- ๋ฆฟ์ฝ๋
- Today
- Total
๋ชฉ๋กํ์ด๋ธ (4)
data_lab
HIVE ํ ์ด๋ธ ๊ด๋ฆฌ HIVE ํ ์ด๋ธ 1. ๋ฐ์ดํฐ๋ฅผ HIVE ํ ์ด๋ธ๋ก ๊ฐ์ ธ์ค๋ฉด? HiveQL, ํผ๊ทธ, ์คํํฌ ๋ฑ์ ํ์ฉํ์ฌ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌ > ์ํธ์ด์ ๋ณด์ฅ 2. HIVE๊ฐ ์ง์ํ๋ ํ ์ด๋ธ ์ข ๋ฅ - ๋ด๋ถ ํ ์ด๋ธ : HIVE๊ฐ ๊ด๋ฆฌ, HIVE/ ๋ฐ์ดํฐ์จ์ดํ์ฐ์ค์ ์ ์ฅ, ๋ด๋ถํ ์ด๋ธ ์ญ์ ์ ๋ฉํ์ ์์ ๋ฐ์ดํฐ๊น์ง ์ญ์ ๋จ, ORC๊ฐ์ ํ์์ผ๋ก ์ ์ฅ๋์ด ๋น๊ต์ ๋น ๋ฅธ ์ฑ๋ฅ - ์ธ๋ถ ํ ์ด๋ธ : ํ์ด๋ธ๊ฐ ์ง์ ๊ด๋ฆฌํ์ง ์์, ํ์ด๋ธ์ ๋ฉํ์ ์๋ง ์ฌ์ฉํ์ฌ ์์ ํํ๋ก ์ ์ฅ๋ ํ ์คํธ ๋ฐ์ดํฐ์ ์ ๊ทผ ์ธ๋ถ ํ ์ด๋ธ์ ๋ฐ์ดํฐ๋ฅผ ์ญ์ ํด๋ ํ ์ด๋ธ ๋ฉํ ์ ์๋ง ์ญ์ ๋๊ณ ๋ฐ์ดํฐ๋ ์ ์ง๋จ. ํด๋น ๋ฐ์ดํฐ๊ฐ ํ์ด๋ธ ์ธ๋ถ์ ์ ์ฌ ๋์ด์๊ฑฐ๋ ํ ์ด๋ธ์ด ์ญ์ ๋๋๋ผ๋ ์๋ณธ ๋ฐ์ดํฐ๊ฐ ๋จ์ ์์ด์ผํ ๋ ์ฌ์ฉ 3.csv ํ์ผ์ ํ์ด๋ธ ํ ์ด๋ธ๋ก ๊ฐ์ ธ์ค๊ธฐ 1...
https://dlcdn.apache.org/hive/hive-3.1.2/ Index of /hive/hive-3.1.2 dlcdn.apache.org apache mirror ์ฌ์ดํธ์์ ์ํ๋ hive ๋ฒ์ ์ binary ํด๋๋ฅผ ๋ค์ด๋ฐ๋๋ค. ์ฌ์ ์์ - Hadoop Path ์ค์ ๋์ด์์ด์ผํจ export HADOOP_HOME= ์์ถํด์ wget https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz tar xvzf apache-hive-3.1.2-bin.tar.gz ํ๊ฒฝ๋ณ์ ์ค์ Hive ํ ํ๊ฒฝ๋ณ์๋ฅผ ์ค์ ํด์ผํ๋ค. .bash_prifile์์ ์์ ํ๋ ๋ฐฉ์๋ณด๋จ /etc/profile.d/์ ์ ์คํฌ๋ฆฝํธ๋ฅผ ์ถ๊ฐํด์ค๊ฒ vi /etc/p..
RDBMS ์คํค๋ง์ ์์กด์ฑ ๊ฐํจ ์ผ๋ก ์์ ์ด ์งํ ๋ถ๊ฐ๋ฅํ ๊ฒฝ์ฐ๊ฐ ์์ - ์คํค๋ง๊ฐ ์ ๋๋ก ์ ์๋์ด ์์ง์๊ฑฐ๋ - ์ฟผ๋ฆฌ๋ฅผ ํตํ ์ง์๊ฐ ์คํค๋ง์ ๋ง์ง ์์ ๊ฒฝ์ฐ ๋์ฉ๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌํ๋๋ฐ ๋ถ์ ์ ํจ โ ๋ง์ ์๊ฐ ์์๋จ HIVE ๋ฐ์ดํฐ์จ์ด ํ์ฐ์ง ์ธํ๋ผ ๋ฐ์ดํฐ ์ ์ฅ, ์ฒ๋ฆฌ์ ์คํค๋ง ๊ฒ์ฆ ์์ ์คํค๋ง์ ๋ง์ง ์๋ ์ฟผ๋ฆฌ๋ null ๋ฆฌํด SQL๊ณผ ์ ์ฌํ HiveQL ์ฌ์ฉ MapReduce ํ๋ก๊ทธ๋จ ์์ฑ ๋์ ์ฟผ๋ฆฌ ์ธํฐํ์ด์ค ์๋น์ค ์ ๊ณต ์ฟผ๋ฆฌ ์คํ ์ MapReduce ํ๋ก๊ทธ๋จ์ผ๋ก ์ ํ๋์ด ๊ฒฐ๊ณผ ์์ฑ ๋น ์ ํํ๋ ์ ๋ ฅ ์์ค ๋ถ์์๋ ์ ํฉํ์ง ์์ HIVE Architecture -HIVE Client -JDBC ์์ฉ ํ๋ก๊ทธ๋จ ์ง์ , -Thrift ๊ธฐ๋ฐ ์์ฉ ํ๋ก๊ทธ๋จ ์ง์(์๋ก ์ปค๋ฎค๋์ผ์ด์ ํ ์ ์๋ ํต์ ํ๋กํ ์ฝ..
ํ๋ก์ ๋ค์ด๊ฐ๊ธฐ ์์ ๋น ๋ฐ์ดํฐ๊ฐ ๋ญ์ง ์์๋ณด๋ ค ํ๋ค. ๋น ๋ฐ์ดํฐ๋ ? ๊ธฐ์กด์ ๋ฐ์ดํฐ๋ฒ ์ด์ค ๊ด๋ฆฌ ๋๊ตฌ ๋ฐฉ๋ฒ์ผ๋ก ์ฒ๋ฆฌํ ์ ์๋ ๊ท๋ชจ๋ก ๋ณต์กํ ๋ฐ์ดํฐ ๊ตฌ์กฐ๋ฅผ ๊ฐ์ง๊ณ ์๋ค. ๊ธฐ์กด์ ๋ฐ์ดํฐ ๋ฒ ์ด์ค๋ OLTP์ฑ์ผ๋ก ๋น ๋ฅด๊ณ ์ ํํ๋ค. ๋น ๋ฐ์ดํฐ๋ ์ ํ์ฑ์ ์ด์ ์ ๋๊ธฐ๋ณด๋ค๋ ๋์ฉ๋ ๋ฐ์ดํฐ๋ฅผ ๋ถ์ฐ์ฒ๋ฆฌํ๋๋ฐ์ ์ด์ ์ ๋๊ณ ์๋ค. ๋ฐ๋ผ์ pk, update๋ฑ ์๋๊ณ ๋ฐ์ดํฐ๋ฅผ ์๋ก putํด์ผ ํ๋ค. ๋น ๋ฐ์ดํฐ 3V Volume ๋๊ท๋ชจ์ ํฌ๊ธฐ๋ฅผ ๊ฐ์ง๊ณ ์๋ค. (๊ธฐ์ ๋ง๋ค ์ฐจ์ด๋ ์์ง๋ง ์์ญํ ๋ผ๋ฐ์ดํธ๋ถํฐ ์์ญํํ๋ฐ์ดํฐ ์ด์) Variety ์กด์ฌํ๋ ๋ฐ์ดํฐ์ ๋ฐฉ์์ด ๋ค์ํ๋ค. ์ ํ : ์๋ฏธ ํ์ ํ๊ธฐ ์ฌ์ฐ๋ฉฐ ๊ท์น์ ์ธ ๋ฐ์ดํฐ ๋ฐ์ ํ: HTML, XML,JSON ํํ๋ก ํ ํ ์คํธ์ column, value ๊ฐ์ด ๋น์ ํ:ํ ์คํธ, ์์ฑ, ์์ ..