์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- ์ํ์น ์คํํฌ
- ansible
- aws ccp
- HBase
- ๋ฆฌ๋ ์ค
- ์ค์๋ธ ์ค์น
- airflow
- elastic stack
- hadoop
- ๋ฐ์ดํฐ๋ถ์์ค์ ๋ฌธ๊ฐ
- ์คํํฌ
- ํ์ด๋ธ
- ๋ฆฟ์ฝ๋
- ์ค์นผ๋ผ ๋ถ
- ํ๋ก์์ฝ์์คํ
- kudu
- standalone
- LeetCode
- CLF-C02
- BIGDATA
- ํด ์ค์น
- Apache spark
- ๋น ๋ฐ์ดํฐ
- rpmbuild
- ์ฑ๊ธ์๋ฒ
- ํ๋ก์ค์น
- ์๋ผ์คํฑ์์น
- ํ๋ก
- ๋ฆฌ๋ ์ค RPM
- ์ค์๋ธ
- Today
- Total
๋ชฉ๋กBIGDATA/ํ๋ก์์ฝ์์คํ (34)
data_lab
https://dlcdn.apache.org/hive/hive-3.1.2/ Index of /hive/hive-3.1.2 dlcdn.apache.org apache mirror ์ฌ์ดํธ์์ ์ํ๋ hive ๋ฒ์ ์ binary ํด๋๋ฅผ ๋ค์ด๋ฐ๋๋ค. ์ฌ์ ์์ - Hadoop Path ์ค์ ๋์ด์์ด์ผํจ export HADOOP_HOME= ์์ถํด์ wget https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz tar xvzf apache-hive-3.1.2-bin.tar.gz ํ๊ฒฝ๋ณ์ ์ค์ Hive ํ ํ๊ฒฝ๋ณ์๋ฅผ ์ค์ ํด์ผํ๋ค. .bash_prifile์์ ์์ ํ๋ ๋ฐฉ์๋ณด๋จ /etc/profile.d/์ ์ ์คํฌ๋ฆฝํธ๋ฅผ ์ถ๊ฐํด์ค๊ฒ vi /etc/p..
์ฑ๊ธ๋ ธ๋์์ ํ๋ก์ ์ด๋ป๊ฒ ์ค์นํ๋์ง ์์ฑํ๋ คํ๋ค. ํ๋ก์ ์ค์นํ๊ธฐ ์ ์ ๊ธฐ๋ณธ์ ์ผ๋ก os์์ ์ค์ ์ ๋ฐ๊ฟ์ผ ํ๋๊ฒ ์๋ค. ์ผ๋จ ๊ธฐ๋ณธ์ ์ผ๋ก os ๋ฒ์ ์ cent os7.x ์ด๋ค. ์ธํ๋ผ๋ฅผ ์ด์ํ ๋ root ๊ณ์ ์ ์ฌ์ฉํ์ง ์๋๋ค. ๋ค๋ฅธ ๊ณ์ ์ ์์ฑํ์ฌ sudo ๊ถํ์ ๋ถ์ฌ๋ฐ๊ณ ์ต๋ํ ๊ทธ ๊ณ์ ์ผ๋ก ์ค์น๋ฅผ ์งํํ๋ค. ํ๋ก์ ์ค์นํ๊ธฐ ์ ์?๋ฐฉํ๋ฒฝ์ ๋ด๋ฆฌ๊ณ selinux disabled ๊ทธ๋ฆฌ๊ณ ์ ์ ๊ณ์ ์ ์ถ๊ฐํ์ฌ ๋๋๋ก root๊ณ์ ์ ์ฌ์ฉํ์ง ์๊ณ ์งํํ๋ คํ๋ค. ์๋ฐ๋ open jdk 1.8๋ฒ์ ์ ์ค์นํ์ฌ ํ๊ฒฝ๋ณ์ ์ถ๊ฐํ๋ค. ํด๋น ๋ด์ฉ์ ์ถํ์ ์ถ๊ฐ์์ ์ด๋ค.ํ๋ก ์ค์น์ค์น ๋ฒ์ : Apache Hadoop 3.1.1https://hadoop.apache.org/release/3.1.1.htmltar.gz ๋ฒ์ ์ผ๋ก..
RDBMS ์คํค๋ง์ ์์กด์ฑ ๊ฐํจ ์ผ๋ก ์์ ์ด ์งํ ๋ถ๊ฐ๋ฅํ ๊ฒฝ์ฐ๊ฐ ์์ - ์คํค๋ง๊ฐ ์ ๋๋ก ์ ์๋์ด ์์ง์๊ฑฐ๋ - ์ฟผ๋ฆฌ๋ฅผ ํตํ ์ง์๊ฐ ์คํค๋ง์ ๋ง์ง ์์ ๊ฒฝ์ฐ ๋์ฉ๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌํ๋๋ฐ ๋ถ์ ์ ํจ – ๋ง์ ์๊ฐ ์์๋จ HIVE ๋ฐ์ดํฐ์จ์ด ํ์ฐ์ง ์ธํ๋ผ ๋ฐ์ดํฐ ์ ์ฅ, ์ฒ๋ฆฌ์ ์คํค๋ง ๊ฒ์ฆ ์์ ์คํค๋ง์ ๋ง์ง ์๋ ์ฟผ๋ฆฌ๋ null ๋ฆฌํด SQL๊ณผ ์ ์ฌํ HiveQL ์ฌ์ฉ MapReduce ํ๋ก๊ทธ๋จ ์์ฑ ๋์ ์ฟผ๋ฆฌ ์ธํฐํ์ด์ค ์๋น์ค ์ ๊ณต ์ฟผ๋ฆฌ ์คํ ์ MapReduce ํ๋ก๊ทธ๋จ์ผ๋ก ์ ํ๋์ด ๊ฒฐ๊ณผ ์์ฑ ๋น ์ ํํ๋ ์ ๋ ฅ ์์ค ๋ถ์์๋ ์ ํฉํ์ง ์์ HIVE Architecture -HIVE Client -JDBC ์์ฉ ํ๋ก๊ทธ๋จ ์ง์ , -Thrift ๊ธฐ๋ฐ ์์ฉ ํ๋ก๊ทธ๋จ ์ง์(์๋ก ์ปค๋ฎค๋์ผ์ด์ ํ ์ ์๋ ํต์ ํ๋กํ ์ฝ..
ํ๋ก์ ๋ค์ด๊ฐ๊ธฐ ์์ ๋น ๋ฐ์ดํฐ๊ฐ ๋ญ์ง ์์๋ณด๋ ค ํ๋ค. ๋น ๋ฐ์ดํฐ๋ ? ๊ธฐ์กด์ ๋ฐ์ดํฐ๋ฒ ์ด์ค ๊ด๋ฆฌ ๋๊ตฌ ๋ฐฉ๋ฒ์ผ๋ก ์ฒ๋ฆฌํ ์ ์๋ ๊ท๋ชจ๋ก ๋ณต์กํ ๋ฐ์ดํฐ ๊ตฌ์กฐ๋ฅผ ๊ฐ์ง๊ณ ์๋ค. ๊ธฐ์กด์ ๋ฐ์ดํฐ ๋ฒ ์ด์ค๋ OLTP์ฑ์ผ๋ก ๋น ๋ฅด๊ณ ์ ํํ๋ค. ๋น ๋ฐ์ดํฐ๋ ์ ํ์ฑ์ ์ด์ ์ ๋๊ธฐ๋ณด๋ค๋ ๋์ฉ๋ ๋ฐ์ดํฐ๋ฅผ ๋ถ์ฐ์ฒ๋ฆฌํ๋๋ฐ์ ์ด์ ์ ๋๊ณ ์๋ค. ๋ฐ๋ผ์ pk, update๋ฑ ์๋๊ณ ๋ฐ์ดํฐ๋ฅผ ์๋ก putํด์ผ ํ๋ค. ๋น ๋ฐ์ดํฐ 3V Volume ๋๊ท๋ชจ์ ํฌ๊ธฐ๋ฅผ ๊ฐ์ง๊ณ ์๋ค. (๊ธฐ์ ๋ง๋ค ์ฐจ์ด๋ ์์ง๋ง ์์ญํ ๋ผ๋ฐ์ดํธ๋ถํฐ ์์ญํํ๋ฐ์ดํฐ ์ด์) Variety ์กด์ฌํ๋ ๋ฐ์ดํฐ์ ๋ฐฉ์์ด ๋ค์ํ๋ค. ์ ํ : ์๋ฏธ ํ์ ํ๊ธฐ ์ฌ์ฐ๋ฉฐ ๊ท์น์ ์ธ ๋ฐ์ดํฐ ๋ฐ์ ํ: HTML, XML,JSON ํํ๋ก ํ ํ ์คํธ์ column, value ๊ฐ์ด ๋น์ ํ:ํ ์คํธ, ์์ฑ, ์์ ..