| ์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- ํ๋ก์์ฝ์์คํ
- standalone
- ๋น ๋ฐ์ดํฐ
- ๋ฆฌ๋ ์ค RPM
- ์ค์๋ธ ์ค์น
- LeetCode
- CLF-C02
- ansible
- ์ค์นผ๋ผ ๋ถ
- ๋ฆฌ๋ ์ค
- BIGDATA
- ํ๋ก
- ๋ฆฟ์ฝ๋
- HBase
- hadoop
- elastic stack
- ํด ์ค์น
- ํ์ด๋ธ
- rpmbuild
- ํ๋ก์ค์น
- ์ค์๋ธ
- kudu
- Apache spark
- ์ํ์น ์คํํฌ
- ๋ฐ์ดํฐ๋ถ์์ค์ ๋ฌธ๊ฐ
- aws ccp
- ์๋ผ์คํฑ์์น
- ์ฑ๊ธ์๋ฒ
- ์คํํฌ
- airflow
- Today
- Total
๋ชฉ๋กhadoop3 (1)
data_lab
๋ชฉ์ ๋ณต์ ๋น์ฉ์ด ๋ง์ด ๋ญ๋๋ค. HDFS์ ๊ธฐ๋ณธ 3๋ฐฐ ๋ณต์ ์ฒด๊ณ๋ ์คํ ๋ฆฌ์ง ๊ณต๊ฐ ๋ฐ ๊ธฐํ ๋ฆฌ์์ค(์: ๋คํธ์ํฌ ๋์ญํญ)์์ ์ค๋ฒํค๋๊ฐ 200%์ ๋๋ค. ์๋์ ์ผ๋ก I/O ์์ ์ด ์ ์ Warm๋ฐ Cold ๋ฐ์ดํฐ์ ์ ๊ฒฝ์ฐ ์ผ๋ฐ ์์ ์ค์๋ ์ถ๊ฐ ๋ธ๋ก ๋ณต์ ๋ณธ์ ๊ฑฐ์ ์ก์ธ์คํ์ง ์์ง๋ง ์ฒซ ๋ฒ์งธ ๋ณต์ ๋ณธ๊ณผ ๋์ผํ ์์ ๋ฆฌ์์ค๋ฅผ ์ฌ์ฉํฉ๋๋ค. Hot : ๋น ๋ฅธ ์ฟผ๋ฆฌ, fresh ๋ฐ์ดํฐ, ๋์์ฑ๋์ warm : hot, cold ๋ฐ์ดํฐ์ ์ฌ์ด cold data : ๋๋ฆฐ์ฟผ๋ฆฌ, not fresh ๋ฐ์ดํฐ, ๋ฆฌํฌํ , ํ๋, ๋์์ฑ ๋ฎ์ ํจ์ฌ ์ ์ ์คํ ๋ฆฌ์ง ๊ณต๊ฐ์ผ๋ก ํ๋ก ์ด์ ๋ฒ์ ์ ๋์ผํ ์์ค์ ๋ด๊ฒฐํจ์ฑ์ ์ ๊ณตํฉ๋๋ค. ์ผ๋ฐ์ ์ธ Eraser Coding(EC) ์ค์ ์์ ์คํ ๋ฆฌ์ง ์ค๋ฒํค๋๋ 50%๋ฅผ ๋์ง ์์ต๋๋ค. EC ํ์ผ์ ๋ณต์ ํฉ..