๋ฐฉํฅ์ฑ ๋น์ํ ๊ทธ๋ํ DAG(Directed Acyclic Graph)
apche spark๋ฅผ ์ ํด๋ดค๋ค๋ฉด, DAG๋ผ๋ ์ฉ์ด๊ฐ ์ต์ํ ์ ์๋ค.
๋ฐฉํฅ์ฑ ๋น์ํ ๊ทธ๋ํ๋ผ๋ ๋ง์์ฒด ์ดํดํ๊ธฐ ์ข ์ด๋ ต์ง๋ง ๊ทธ๋ฆผ์ผ๋ก ๋ณด๋ฉด ์ดํด๊ฐ ์ฝ๋ค.
Airflow ๐ช
์ต๊ทผ ๋ฐ์ดํฐ ์์ง๋์ด ์ง๋ฌด ์ฑ์ฉ๊ณต๊ณ ๋ฅผ ๋ณด๋ฉด Airflow ์ฌ์ฉ๊ฒฝํ์ ์ฐ๋ํด ์ฃผ๋ ๊ฒ์ ๋ณผ ์ ์๋ค.
๋ชจ๋ ์คํ์์ค๋ฅผ ์ ํด์ ๊ณต๋ถํ ์ ์๋ค๊ณ ์๊ฐํ๊ธฐ๋ ํ์ง๋ง, ๊ฐ๋จํ๊ฒ ์ค์น๊น์ง๋ ์ฝ๊ฒ ํ ์ ์์ผ๋๊น ใ
๊ทธ๋ฆฌ๊ณ ์คํ์์ค ํ๋๊ฐ๋ง ์ ํด์ ์ ๋๋ก ๊ณต๋ถํด๋ ๋ค๋ฅธ๊ฑธ ์ธ๋๋ ์ด๋ ต์ง์๊ฒ ์ฌ์ฉํ๊ฑฐ๋ ๊ธ๋ฐฉ ๋ฐฐ์ธ ์ ์๋ ๊ฒ ๊ฐ๋ค.
https://airflow.apache.org/docs/apache-airflow/stable/start/local.html
Running Airflow locally — Airflow Documentation
airflow.apache.org
๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ๋ธ๋ก์ ๋ฌถ๊ฑฐ๋ ์ค์ผ์คํธ๋ ์ด์ ํ๋ ํ๋ซํผ ๋๋ ํ๋ ์์ํฌ (๊ฐ๋จํ๊ฒ๋ ์ค์ผ์ค๋ฌ ๋๋)
Hadoop์ ์ข ์๋์ง์์ Python์ผ๋ก ๊ฐ๋ฐ๊ฐ๋ฅํจ
1. ํ๊ฒฝ ์ธํ (๋ฆฌ๋ ์ค RedHat)
kerberos openldap๊ณผ ๊ฐ์ ํจํค์ง๋ค ์ ์ค์นํ์
sudo yum install -y \
freetds \
freetds-devel \
krb5-server krb5-libs krb5-auth-dialog \
openldap openldap-clients openldap-servers \
libffi \
cyrus-sasl-plain cyrus-sasl\ (libsasl2 ๋์ )
openssl-devel \
redhat-lsb \
sqlite \
unixODBC
๊ทผ๋ฐ ๋ณด์๊น์ง ์ค์ ํ๋ฉด์ ๊ณต๋ถํ์ง์์ ์์ ์ด๋ผ ์๊ณผ์ ์ ์๋ต ์ถํ๋ฅผ ์ํด (๊ณต์์ฌ์ดํธ์ ์ฐ๋ถํฌ๊ธฐ์ค ๋ ๋ํ๊ณ์ด ์ฐพ์๋ณด๋๊ฐํด์ผํ๋ค)
2. Airflow ๋ค์ด๋ก๋ ๋ฐฉ๋ฒ
- Apache Mirror์์ ๋ค์ด https://dlcdn.apache.org/airflow/2.2.4/apache-airflow-2.2.4.tar.gz
- Github git clone -b v2-2-stable --single-branch https://github.com/apache/airflow.git
- ๊ณต์์ฌ์ดํธ https://airflow.apache.org/docs/apache-airflow/stable/installation/installing-from-sources.html
1๋ฒ ๋ฐฉ๋ฒ์ผ๋ก Airflow ์ค์น
$ sudo wget https://dlcdn.apache.org/airflow/2.2.4/apache-airflow-2.2.4.tar.gz --no-check-certificate
build
python3 -m venv /opt/apache-airflow-2.2.4/
source /opt/apache-airflow-2.2.4/bin/activate
airflow ์คํ
./airflow webserver -p 8080
____________ _____________
____ |__( )_________ __/__ /________ __
____ /| |_ /__ ___/_ /_ __ /_ __ \_ | /| / /
___ ___ | / _ / _ __/ _ / / /_/ /_ |/ |/ /
_/_/ |_/_/ /_/ /_/ /_/ \____/____/|__/
'๋ฏธ์ฌ์ฉ > [ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ํต์ฌ ๊ฐ์ด๋๐ฆ ]' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
| [3์ฅ] ์ผ๋ฐ์ ์ธ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ํจํด (0) | 2022.02.21 |
|---|---|
| [1์ฅ] ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ์๊ฐ (0) | 2022.02.20 |
| ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ํต์ฌ ๊ฐ์ด๋ ๋ฆฌ๋ทฐ ์์ (0) | 2022.02.15 |