์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- CLF-C02
- ํ์ด๋ธ
- ๋ฐ์ดํฐ๋ถ์์ค์ ๋ฌธ๊ฐ
- ์๋ผ์คํฑ์์น
- ์ฑ๊ธ์๋ฒ
- ์ํ์น ์คํํฌ
- LeetCode
- ๋ฆฟ์ฝ๋
- elastic stack
- standalone
- ์ค์๋ธ ์ค์น
- rpmbuild
- ์ค์๋ธ
- kudu
- ansible
- Apache spark
- ํ๋ก์ค์น
- ์คํํฌ
- hadoop
- ๋ฆฌ๋ ์ค
- ์ค์นผ๋ผ ๋ถ
- ํด ์ค์น
- airflow
- ๋น ๋ฐ์ดํฐ
- ํ๋ก
- aws ccp
- ๋ฆฌ๋ ์ค RPM
- BIGDATA
- HBase
- ํ๋ก์์ฝ์์คํ
- Today
- Total
๋ชฉ๋ก๋น ๋ฐ์ดํฐ (18)
data_lab
hue ์ค์น ํ ๋ ์์ ์๋ ํ๋ก ์์ฝ์์คํ ๋ค์ด ์ด๋์ ๋ ์ค์น๋์๋ค๊ณ ๊ฐ์ ํ๊ณ ์งํํ๊ฒ ๋ค. ํด์ ๊ฒฝ์ฐ ์ค์นํ๊ธฐ์ ์ ์ฌ์ ์์ ์ ํด์ค์ผ ํ๋ค. postgres๋ ๋ค๋ฅธ ํฌ์คํธ์์ ์ค์ ์ ๋ค๋ฃจ๊ธฐ๋ก ํ๊ณ , ํด ์ค์น ๊ฐ์ด๋ ์์๋ ํด์์ ์ฌ์ฉํ ๋ฐ์ดํฐ ๋ฒ ์ด์ค ์์ฑ์ ๋๋ง ๋ค๋ฃฐ ์์ ์ด๋ค. ์ฌ์ ์์ ํด๋ ํ์ด์ฌ์ ์ฌ์ฉํ๊ธฐ ๋๋ฌธ์ ํ๊ฒฝ๋ณ์๋ก ํ์ด์ฌ ๋ฒ์ ์ ์ก์์ค์ผํ๋ค. ํ๊ฒฝ๋ณ์๋ .bash_profile ์ ์ถ๊ฐํ์๋ค. ํ์ด์ฌ ํ๊ฒฝ๋ณ์ ์ถ๊ฐ $ sudo vi ~/..bash_profile export PYTHON_VER=python3.8 psycopg2 ์ค์น (์ ์ pip๋ ์ค์น๋์ด ์์ด์ผํจ) $ pip install psycopg2 $ python setup.py build $ sudo python setup.py i..
์ฃผํคํผ๋ ๋ถ์ฐ ์ ํ๋ฆฌ์ผ์ด์ ์ ์ํ ๋ถ์ฐ ์ฝ๋๋ค์ด์ ์ด๋ค. znode(์ ๋๋ ธ๋)๊ฐ ๊ฐ๊ฐ์ ์๋ฒ์ ์์นํด ์๋ค.๊ฐ ํ๋ก์ ์๋น์ค๋ค์ด ์ ๋์ํ๊ณ ์๋์ง ํ์ธํ๋ค.์ฃผ๊ธฐ์ ์ผ๋ก ํํธ๋นํธ ์๊ตฌํ์ฌ ๋ฐ๋ ๋ฐฉ์์ผ๋ก, ๋ฐ๋ผ์ ์ฃผ๊ธฐํผ๋ ํ์๋ก ํด๋ฌ์คํฐ๋ฅผ ๊ตฌ์ฑํ๋๋ฐ์ฌ๊ธฐ์ ๋ค์ด๊ฐ๋ ๊ฐ๋ ์ด ์ฟผ๋ผ์ด๋ค. ์ฟผ๋ผ์ด๋? ๋ค์๊ฒฐ๋ก ์๋ฅผ ๋ค์ด 5๊ฐ์ ์๋ฒ๋ก ๊ตฌ์ฑ ๋์ด์๊ณ ,2๊ฐ์ ์๋ฒ๊ฐ ์ฃฝ๋๋ค๊ณ ๊ฐ์ ํ์ ๋ ์ ์์ ์ผ๋ก ๋์ํ๋ค๊ณ ํ๋จํ๋ค.๊ทธ๋ฆฌ๊ณ 5๊ฐ ์ค 3๊ฐ์ ์๋ฒ๊ฐ ์ฃฝ์์ ๊ฒฝ์ฐ, ๋ค์๊ฒฐ๋ก ์ธํด ๋น์ ์์ด๋ผ๊ณ ํ๋คํ๋ค.๊ทธ๋ก ์ธํด, ์ฃผํคํผ๋ ํ์๋ก ํด๋ฌ์คํฐ๋ฅผ ๊ตฌ์ฑํ๋ค. zookeeper ํด๋ฌ์คํฐ๋ํ๋์ ์๋ฒ๊ฐ ๋ฆฌ๋์ด๊ณ , ๋ค๋ฅธ ์๋ฒ๋ ํ๋ก์์ด๋ค๋ฆฌ๋ ์๋ฒ๋ฅผ ๊ธฐ์ค์ผ๋ก sync๋ฅผ ๋ง์ถ๋ค. ์์ธํ ๋ด์ฉ์ ๊ณต์ ์ฌ์ดํธ ์ฐธ์กฐ๋ฐ๋ ์ฃผํคํผ ์ค์น ๋ฐฉ๋ฒ์ฃผํคํผ ํ์ผ ..
livy-env.sh export SPARK_HOME=/usr/lib/spark export HADOOP_CONF_DIR=/etc/hadoop/conf livy start ./bin/livy-server start livy ์ ์๋์ํ๋์ง spark์์ ํ ์คํธํ๋ ์์ sudo pip install requests import json, pprint, requests, textwrap host = 'http://localhost:8998' data = {'kind': 'spark'} headers = {'Content-Type': 'application/json'} r = requests.post(host + '/sessions', data=json.dumps(data), headers=headers) r..
$ wget https://archive.apache.org/dist/hbase/2.2.0/hbase-2.2.0-bin.tar.gz $ tar xvzf hbase-2.2.0-bin.tar.gz $ ln -s hbase-2.2.0-bin hbase hbase ์ค์น ํ ์์ถ ํ๊ณ ์ฌ๋ณผ๋ฆญ ๋งํฌ๋ฅผ ๊ฑด๋ค. hbase.rootdir hdfs://localhost:9000/hbase hbase.master.port 60000 hbase.master.info.port 60010 hbase.regionserver.info.bindAddress 0.0.0.0 hbase.regionserver.port 60020 hbase.regionserver.info.port 60030 hbase.zookeeper.quorum bdh2..
์ฑ๊ธ๋ ธ๋์์ ํ๋ก์ ์ด๋ป๊ฒ ์ค์นํ๋์ง ์์ฑํ๋ คํ๋ค. ํ๋ก์ ์ค์นํ๊ธฐ ์ ์ ๊ธฐ๋ณธ์ ์ผ๋ก os์์ ์ค์ ์ ๋ฐ๊ฟ์ผ ํ๋๊ฒ ์๋ค. ์ผ๋จ ๊ธฐ๋ณธ์ ์ผ๋ก os ๋ฒ์ ์ cent os7.x ์ด๋ค. ์ธํ๋ผ๋ฅผ ์ด์ํ ๋ root ๊ณ์ ์ ์ฌ์ฉํ์ง ์๋๋ค. ๋ค๋ฅธ ๊ณ์ ์ ์์ฑํ์ฌ sudo ๊ถํ์ ๋ถ์ฌ๋ฐ๊ณ ์ต๋ํ ๊ทธ ๊ณ์ ์ผ๋ก ์ค์น๋ฅผ ์งํํ๋ค. ํ๋ก์ ์ค์นํ๊ธฐ ์ ์?๋ฐฉํ๋ฒฝ์ ๋ด๋ฆฌ๊ณ selinux disabled ๊ทธ๋ฆฌ๊ณ ์ ์ ๊ณ์ ์ ์ถ๊ฐํ์ฌ ๋๋๋ก root๊ณ์ ์ ์ฌ์ฉํ์ง ์๊ณ ์งํํ๋ คํ๋ค. ์๋ฐ๋ open jdk 1.8๋ฒ์ ์ ์ค์นํ์ฌ ํ๊ฒฝ๋ณ์ ์ถ๊ฐํ๋ค. ํด๋น ๋ด์ฉ์ ์ถํ์ ์ถ๊ฐ์์ ์ด๋ค.ํ๋ก ์ค์น์ค์น ๋ฒ์ : Apache Hadoop 3.1.1https://hadoop.apache.org/release/3.1.1.htmltar.gz ๋ฒ์ ์ผ๋ก..
RDBMS ์คํค๋ง์ ์์กด์ฑ ๊ฐํจ ์ผ๋ก ์์ ์ด ์งํ ๋ถ๊ฐ๋ฅํ ๊ฒฝ์ฐ๊ฐ ์์ - ์คํค๋ง๊ฐ ์ ๋๋ก ์ ์๋์ด ์์ง์๊ฑฐ๋ - ์ฟผ๋ฆฌ๋ฅผ ํตํ ์ง์๊ฐ ์คํค๋ง์ ๋ง์ง ์์ ๊ฒฝ์ฐ ๋์ฉ๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌํ๋๋ฐ ๋ถ์ ์ ํจ – ๋ง์ ์๊ฐ ์์๋จ HIVE ๋ฐ์ดํฐ์จ์ด ํ์ฐ์ง ์ธํ๋ผ ๋ฐ์ดํฐ ์ ์ฅ, ์ฒ๋ฆฌ์ ์คํค๋ง ๊ฒ์ฆ ์์ ์คํค๋ง์ ๋ง์ง ์๋ ์ฟผ๋ฆฌ๋ null ๋ฆฌํด SQL๊ณผ ์ ์ฌํ HiveQL ์ฌ์ฉ MapReduce ํ๋ก๊ทธ๋จ ์์ฑ ๋์ ์ฟผ๋ฆฌ ์ธํฐํ์ด์ค ์๋น์ค ์ ๊ณต ์ฟผ๋ฆฌ ์คํ ์ MapReduce ํ๋ก๊ทธ๋จ์ผ๋ก ์ ํ๋์ด ๊ฒฐ๊ณผ ์์ฑ ๋น ์ ํํ๋ ์ ๋ ฅ ์์ค ๋ถ์์๋ ์ ํฉํ์ง ์์ HIVE Architecture -HIVE Client -JDBC ์์ฉ ํ๋ก๊ทธ๋จ ์ง์ , -Thrift ๊ธฐ๋ฐ ์์ฉ ํ๋ก๊ทธ๋จ ์ง์(์๋ก ์ปค๋ฎค๋์ผ์ด์ ํ ์ ์๋ ํต์ ํ๋กํ ์ฝ..
ํ๋ก์ ๋ค์ด๊ฐ๊ธฐ ์์ ๋น ๋ฐ์ดํฐ๊ฐ ๋ญ์ง ์์๋ณด๋ ค ํ๋ค. ๋น ๋ฐ์ดํฐ๋ ? ๊ธฐ์กด์ ๋ฐ์ดํฐ๋ฒ ์ด์ค ๊ด๋ฆฌ ๋๊ตฌ ๋ฐฉ๋ฒ์ผ๋ก ์ฒ๋ฆฌํ ์ ์๋ ๊ท๋ชจ๋ก ๋ณต์กํ ๋ฐ์ดํฐ ๊ตฌ์กฐ๋ฅผ ๊ฐ์ง๊ณ ์๋ค. ๊ธฐ์กด์ ๋ฐ์ดํฐ ๋ฒ ์ด์ค๋ OLTP์ฑ์ผ๋ก ๋น ๋ฅด๊ณ ์ ํํ๋ค. ๋น ๋ฐ์ดํฐ๋ ์ ํ์ฑ์ ์ด์ ์ ๋๊ธฐ๋ณด๋ค๋ ๋์ฉ๋ ๋ฐ์ดํฐ๋ฅผ ๋ถ์ฐ์ฒ๋ฆฌํ๋๋ฐ์ ์ด์ ์ ๋๊ณ ์๋ค. ๋ฐ๋ผ์ pk, update๋ฑ ์๋๊ณ ๋ฐ์ดํฐ๋ฅผ ์๋ก putํด์ผ ํ๋ค. ๋น ๋ฐ์ดํฐ 3V Volume ๋๊ท๋ชจ์ ํฌ๊ธฐ๋ฅผ ๊ฐ์ง๊ณ ์๋ค. (๊ธฐ์ ๋ง๋ค ์ฐจ์ด๋ ์์ง๋ง ์์ญํ ๋ผ๋ฐ์ดํธ๋ถํฐ ์์ญํํ๋ฐ์ดํฐ ์ด์) Variety ์กด์ฌํ๋ ๋ฐ์ดํฐ์ ๋ฐฉ์์ด ๋ค์ํ๋ค. ์ ํ : ์๋ฏธ ํ์ ํ๊ธฐ ์ฌ์ฐ๋ฉฐ ๊ท์น์ ์ธ ๋ฐ์ดํฐ ๋ฐ์ ํ: HTML, XML,JSON ํํ๋ก ํ ํ ์คํธ์ column, value ๊ฐ์ด ๋น์ ํ:ํ ์คํธ, ์์ฑ, ์์ ..