์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- ์ค์๋ธ
- HBase
- elastic stack
- BIGDATA
- ํด ์ค์น
- ํ๋ก
- ์ค์นผ๋ผ ๋ถ
- LeetCode
- ansible
- Apache spark
- ์คํํฌ
- ์ํ์น ์คํํฌ
- CLF-C02
- ๋น ๋ฐ์ดํฐ
- kudu
- standalone
- ๋ฆฌ๋ ์ค RPM
- ํ๋ก์ค์น
- hadoop
- ๋ฆฌ๋ ์ค
- aws ccp
- ์๋ผ์คํฑ์์น
- rpmbuild
- ์ค์๋ธ ์ค์น
- ํ์ด๋ธ
- ์ฑ๊ธ์๋ฒ
- airflow
- ํ๋ก์์ฝ์์คํ
- ๋ฐ์ดํฐ๋ถ์์ค์ ๋ฌธ๊ฐ
- ๋ฆฟ์ฝ๋
- Today
- Total
๋ชฉ๋กairflow ์ค์น (1)
data_lab
๋ฐฉํฅ์ฑ ๋น์ํ ๊ทธ๋ํ DAG(Directed Acyclic Graph) apche spark๋ฅผ ์ ํด๋ดค๋ค๋ฉด, DAG๋ผ๋ ์ฉ์ด๊ฐ ์ต์ํ ์ ์๋ค. ๋ฐฉํฅ์ฑ ๋น์ํ ๊ทธ๋ํ๋ผ๋ ๋ง์์ฒด ์ดํดํ๊ธฐ ์ข ์ด๋ ต์ง๋ง ๊ทธ๋ฆผ์ผ๋ก ๋ณด๋ฉด ์ดํด๊ฐ ์ฝ๋ค. Airflow ๐ช ์ต๊ทผ ๋ฐ์ดํฐ ์์ง๋์ด ์ง๋ฌด ์ฑ์ฉ๊ณต๊ณ ๋ฅผ ๋ณด๋ฉด Airflow ์ฌ์ฉ๊ฒฝํ์ ์ฐ๋ํด ์ฃผ๋ ๊ฒ์ ๋ณผ ์ ์๋ค. ๋ชจ๋ ์คํ์์ค๋ฅผ ์ ํด์ ๊ณต๋ถํ ์ ์๋ค๊ณ ์๊ฐํ๊ธฐ๋ ํ์ง๋ง, ๊ฐ๋จํ๊ฒ ์ค์น๊น์ง๋ ์ฝ๊ฒ ํ ์ ์์ผ๋๊น ใ ๊ทธ๋ฆฌ๊ณ ์คํ์์ค ํ๋๊ฐ๋ง ์ ํด์ ์ ๋๋ก ๊ณต๋ถํด๋ ๋ค๋ฅธ๊ฑธ ์ธ๋๋ ์ด๋ ต์ง์๊ฒ ์ฌ์ฉํ๊ฑฐ๋ ๊ธ๋ฐฉ ๋ฐฐ์ธ ์ ์๋ ๊ฒ ๊ฐ๋ค. https://airflow.apache.org/docs/apache-airflow/stable/start/local.html Running Airf..