์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- ๋น ๋ฐ์ดํฐ
- ํ๋ก์์ฝ์์คํ
- Apache spark
- aws ccp
- HBase
- ์ค์๋ธ ์ค์น
- ๋ฆฟ์ฝ๋
- ๋ฆฌ๋ ์ค RPM
- ํ๋ก์ค์น
- BIGDATA
- ์ฑ๊ธ์๋ฒ
- LeetCode
- ์ํ์น ์คํํฌ
- ํด ์ค์น
- rpmbuild
- ์๋ผ์คํฑ์์น
- standalone
- ์คํํฌ
- ansible
- CLF-C02
- hadoop
- airflow
- ์ค์นผ๋ผ ๋ถ
- ํ์ด๋ธ
- ๋ฆฌ๋ ์ค
- ๋ฐ์ดํฐ๋ถ์์ค์ ๋ฌธ๊ฐ
- ํ๋ก
- kudu
- elastic stack
- ์ค์๋ธ
- Today
- Total
๋ชฉ๋ก์ ์ฒด ๊ธ (122)
data_lab
30 AWS Well-Architected ํ๋ ์์ํฌ์ ํต์ฌ ์์ 1. ์ด์ ์ฐ์์ฑ 2. ๋ณด์ 3. ์์ ์ฑ 4. ์ฑ๋ฅ ํจ์จ์ฑ 5. ๋น์ฉ ์ต์ ํ 31. Amazon Simple Notification Service (Amazon SNS) : A2P ๊ธฐ๋ฅ ์ฌ์ฉํ๋ฉด ๋ฌธ์, ํธ์, ์ด๋ฉ์ผ๋ก ๋ฉ์ธ์ง 32 Access Key : AWS CLI, SDK ๋๋ AWS API ํจ๊ป ์ฌ์ฉํด AWS ์๋น์ค์ ์์ฒญํ ์ ์๋ ํ๋ก๊ทธ๋๋ฐ ๋ฐฉ์ ์๊ฒฉ ์ฆ๋ช 33 ์คํ ์ธ์คํด์ค : ์งง์ ์๊ฐ๋์ / ๋ด๊ฒฐํจ์ฑ ์์ฝ์ธ์คํด์ค : 1๋ - 3๋ ์จ๋๋งจ๋: ์์ฝ๋์ง์์ ๊ฐ๊ฒฉ์ผ๋ก, 2๊ฐ์ ์ ๋ 34 ๋ฏผ์ฒฉ์ฑ : ๋น์ฆ๋์ค ์๊ตฌ์ฌํญ์ ๋์ํ๊ณ ํ์ ํ๋ ๋ฅ๋ ฅ 35 AWS WAF - SQL Injection ๋ฐฉ์ด / AWS Sheild - DDos 3..
20. ์์ฝ ์ธ์คํด์ค : 1๋ ์์ 3๋ 21. AWS Direct Connect : ๋ฐ์ดํฐ์ผํฐ์ AWS ํด๋ผ์ฐ๋ ๊ฐ์ ์ ์ฉ ๋คํธ์ํฌ ์ฐ๊ฒฐ ์ค์ VPC ํผ์ด๋ง: AWS ๋ด ๋ ๊ฐ์ Virtual Private Cloud(VPC)๋ฅผ ์ฐ๊ฒฐํ์ฌ ์๋ก ํต์ AWS VPN: ์ธํฐ๋ท์ ํตํด ์จํ๋ ๋ฏธ์ค ๋คํธ์ํฌ์ AWS VPC ๊ฐ์ ์์ ํ๊ณ ์ํธํ๋ ์ฐ๊ฒฐ์ ์ ๊ณต D. Amazon Route 53: ํ์ฅ ๊ฐ๋ฅํ๊ณ ๊ฐ์ฉ์ฑ์ด ๋์ DNS(๋๋ฉ์ธ ์ด๋ฆ ์์คํ ) ์น ์๋น์ค 22. AWS Region : AWS ๊ธ๋ก๋ฒ ์ธํ๋ผ ๋ฌผ๋ฆฌ์ ์์น AWS DataSync: AWS DataSync๋ ์จํ๋ ๋ฏธ์ค ์คํ ๋ฆฌ์ง์ Amazon S3 ๊ฐ์ ๋๋์ ๋ฐ์ดํฐ๋ฅผ ์ ์กํ๋ ์๋น์ค Amazon Connect: Amazon Connect๋ ํด๋ผ์ฐ๋ ..
10 . Trusted Advisor๋ ๋น์ฉ ์ต์ ํ, ์ฑ๋ฅ, ๋ณต์๋ ฅ, ๋ณด์, ์ด์ ์ฐ์์ฑ, ์๋น์ค ํ๋์ ๋ฒ์ฃผ์์ ๋ชจ๋ฒ ์ฌ๋ก ๊ฒ์ฌ๋ฅผ ์ฌ์ฉํ์ฌ AWS ํ๊ฒฝ์ ์ง์์ ์ผ๋ก ํ๊ฐํ๊ณ , ๋ชจ๋ฒ ์ฌ๋ก์์ ํธ์ฐจ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํ ์กฐ์น๋ฅผ ๊ถ์ฅ 11. AWS ํด๋ผ์ฐ๋ ์ฌ์ฉ ์ ๋ฐ์ดํฐ ์ผํฐ ์ด์ ๋ฐ ์ ์ง ๊ด๋ฆฌ ๋น์ฉ ์ ๊ฑฐ ๋จ 12 AWS ์๋น์ค ์นดํ๋ก๊ทธ : AWS ์๋น์ค์ ์ง์ ์ก์ธ์คํ์ง ์๊ณ ๋ ์น์ธ๋ IT ๋ฆฌ์์ค๋ฅผ ์ ์ํ๊ฒ ํ๋ก๋น์ ๋ 13. AWS Cost Explorere : ์๊ฐ ๊ฒฝ๊ณผ์ ๋ฐ๋ฅธ AWS ์ง์ถ ๋ฐ ์ฌ์ฉ๋์ ์๊ฐํํ๊ณ , ์ดํดํ๊ณ , ๊ด๋ฆฌํฉ๋๋ค. ์์ธํ ํต์ฐฐ๋ ฅ, ๊ณผ๊ฑฐ ๋ฐ์ดํฐ ๋ฐ ์์ธก์ ์ ๊ณต 14. AWS Glue : ์๋ฒ๋ฆฌ์ค ๋ฐ์ดํฐ ํตํฉ ์๋น์ค Amazon Quicksight : ์ง์ ๋ชจ๋ ์ฌ๋์ด ์์ฐ์ด๋ก ์ง๋ฌธํ๊ฑฐ๋..
aws AWSRETAKE24 1.s3๋ก ์ ๋ก๋๋ ๋น์ฉ ๋ฌด๋ฃ 2.์๋ง์กด ์ธ์คํํฐ : ์๋ํ๋ ์ํํธ์จ์ด ์ทจ์ฝ์ ๊ด๋ฆฌ ์๋น์ค AWS Config : AWS ๋ฆฌ์์ค์ ๊ตฌ์ฑ์ ์์ธํ ๋ณด์ฌ์ค AWS GuardDuty : ์ํํ์งํ์ฌ AWS ๊ณ์ ๋ณดํธ 3.AWS Storage Gateway : ์จํ๋ ๋ฏธ์ค ์ ํ๋ฆฌ์ผ์ด์ ์ ์ฌ์ค์ ๋ฌด์ ํ์ ํด๋ผ์ฐ๋ ์คํ ๋ฆฌ์ง ์ก์ธ์ค ์ ๊ณต 4.๋ณด์ ๋ชจ๋ฒ ์ฌ๋ก 5. ๊ณต์ ์ฑ ์ ๋ชจ๋ธ : Dynamo๋ ๋ฐ์ดํฐ ์ ์ฅํ ๋ ์ํธํํจ 6.aws caf ๊ธฐ๋ณธ ๊ธฐ๋ฅ : ๋น์ฆ๋์ค / ์ธ์ฌ / ๊ฑฐ๋ฒ๋์ค / ํ๋ซํผ / ๋ณด์ / ์ด์ https://aws.amazon.com/ko/cloud-adoption-framework/ 7. aws fargate : ์๋ฒ๋ฆฌ์ค ์์ง์ผ๋ก ECS, EKS์ ํธํ ๋จ / ์ปจํ ์ด๋ ์..
์์ฆ ์ ํํ๊ธฐ๋ ํ๊ณ ๊ด๊ณ ๋ง์ ๊ฝํ๋ฒ๋ฆฐ ๊ฐ๋ฐฉ์ด ์๋ค ๊ทผ๋ฐ ์ง๊ตฌ ์ฌ์ดํธ ๊ด๊ณ ์ด๋ค ๋ณด๋ ์ ํ์ ๊ฐ๊ฒฉ์ ์๋๋ ๋น์ธ์ง์์๋ฐ (5๋ง์ ์ดํ) ํด์ธ๋ฐฐ์ก๋น ๋ฑ๋ฑ ์์๋ฃํฌํจ ํด์ 7๋ง์ ์ ๋๋๋ค. ์ด๋ด๊ฑฐ๋ฉด ์์ฌ๊ณ ๋ง์ง..ํ๊ณ ์์ด๊ฐ๋ ์ฐฐ๋ ํด๋น ์ ํ ํ๊ตญ์์๋ ํ์์ ๊ฒ๋ง ๊ฐ๊ณ ํฌ๋ฆผ์ ๊ผญ ์์๊ฒ๋ง ๊ฐ์ ํฌ๋ฆผ์์ ๊ฒ์ํด๋ณด๋ ๋ฐ๋ก ์ ์ฐฐ๊ฐ๊ฒฉ์ด 4.2์ ํ๋งค๋๊ณ ์์๋ค..! ๊ทผ๋ฐ ํฌ๋ฆผ์์ฒด ์์๋ฃ์ ๋ฐฐ์ก๋น๋ ๋ณ๋์๊ณ ๊ธ์ก์ ํฌํจํด๋ ๋ค์ด๋ฒ ๊ฒ์ ์ ๋ ธ์ถ๋๋ ์ํ๋ณด๋จ ๋ช๋ง์์ด๋ ์๋ค! ๊ธ์์ผ ์ค์ ์ฏค์ ๊ตฌ๋งคํด์ ํ์์ผ์ ๋ฐ์๋ค ํ๋งค์๊ฐ ํฌ๋ฆผ ๊ฒ์์ผํฐ๋ก ๋ณด๋ด๊ณ ๋ฌธ์ ์์ผ๋ฉด ๊ตฌ๋งค์์๊ฒ ํฌ๋ฆผ์ด ์ํ์ ๋ณด๋ด์ค๋ค ์ด๋ฐ ํ๋ก์ธ์ค ์น๊ณ ๊ฝค ๋ป๋ฆฌ ๋ฐ์๋ค!! ํฌ์ฅ ๋ฐ์ค๋ ๊นจ๋ํด์ ์ข์๋ค ์์ฆ ๋น๋ ์ด์๋ก ๋ ๋ฌด์ญ๋คใ ใ ์ด๋ ๊ฒ ํฌ๋ฆผ์์ ๊ฒ์ํด์ค ..
GCP์์ ์ ๊ณตํ๋ ์ ํ ์ค ํ๋์ด๋ค. SQL๋ก ๋ฐ์ดํฐ๋ฅผ ๋น ๋ฅด๊ฒ ์กฐํํ ์ ์๋ค. ๋น ์ฟผ๋ฆฌ ์ ์ฅ์ ๊ฐ์ https://cloud.google.com/bigquery/docs/storage_overview?hl=ko BigQuery ์คํ ๋ฆฌ์ง ๊ฐ์ | Google Cloud ํ ์ด๋ธ, ํ ์ด๋ธ ํด๋ก , ๋ทฐ, ์ค๋ ์ท, ๋ฐ์ดํฐ ์ธํธ์ ๋ํ ์ค๋ช ๊ณผ ํํฐ์ ๋๋๊ธฐ ๋ฐ ํด๋ฌ์คํฐ๋ง๊ณผ ๊ฐ์ ์ฑ๋ฅ ์ต์ ํ๋ฅผ ์ํ ์ ๋ต์ ํฌํจํ์ฌ Google BigQuery ์คํ ๋ฆฌ์ง์ ๊ฐ์๋ฅผ ์ ๊ณตํฉ๋๋ค. cloud.google.com ๋น ์ฟผ๋ฆฌ ์ง์ ํ์ผ ํํ ์ฐ์ 23.10.21 ๊ธฐ์ค snappy ์์ถ ํํ๋ ์ง์ํ์ง์๋๋ค. ํ์ ์ง์๋ ์ง๋ ๋ชจ๋ฅด๋ snappy ํํ ์ง์ํ์ง์๋๊ฒ ์์ฌ์์ด ํฌ๋ค. ์ฌ๋ฌ๊ฐ์ง ์์ถํํ๋ก ์ ๋ก๋ ํด๋ดค๋๋ฐ, ์ฐ์ ์ ์ฅํ๋ ค๋ ..
https://school.programmers.co.kr/skill_check_assignments/430 ํ๋ก๊ทธ๋๋จธ์ค ์ฝ๋ ์ค์ฌ์ ๊ฐ๋ฐ์ ์ฑ์ฉ. ์คํ ๊ธฐ๋ฐ์ ํฌ์ง์ ๋งค์นญ. ํ๋ก๊ทธ๋๋จธ์ค์ ๊ฐ๋ฐ์ ๋ง์ถคํ ํ๋กํ์ ๋ฑ๋กํ๊ณ , ๋์ ๊ธฐ์ ๊ถํฉ์ด ์ ๋ง๋ ๊ธฐ์ ๋ค์ ๋งค์นญ ๋ฐ์ผ์ธ์. programmers.co.kr ๋ค์ด๊ฐ๊ธฐ์ ์ ํฌ๊ฒ ์ด๋ ค์ด ๋ฌธ์ ๋ ์๋๊ณ ํ๋ผ์คํฌ ์จ๋ณธ ๊ฒฝํ ์์ผ๋ฉด ์ฝ๊ฒ ํ ์ ์๋ ๋ฌธ์ ๊ฐ๋ค ํ์ด์ฌ์ผ๋ก ๊ณผ์ ๋ ์ ์๊ธฐ๋ํ๊ณ ํด๋น ๋ฌธ์ ๋ ์๋ฐ๋ก ํ์ดํ ๊ฒฝ์ฐ๊ฐ ๋ง์์ ํ์ด์ฌ์ผ๋ก ํ์ดํ๋ ค ํ๋ค. main.py์ ๊ณผ์ ์ฝ๋ ์์ฑํ๊ณ ์คํํด์ผํ๋ค. ์์ฑ ์๋ฃ ํ์๋ python3 main.py๋ก ์ฝ๋ ์คํ ํ ํฐ๋ฏธ๋์์ curl๋ช ๋ น์ด๋ก ํ ์คํธ ์งํ ํ ์ฝ๋ ์ ์ถ ์๊ตฌ ์กฐ๊ฑด 1. ์๋ฒ๋ ์ ์์ผ ๊ฒฝ์ฐ, 200..
์ฐธ๊ณ ์ฌ์ดํธ https://www.bucketplace.com/post/2021-04-13-%EB%B2%84%ED%82%B7%ED%94%8C%EB%A0%88%EC%9D%B4%EC%8A%A4-airflow-%EB%8F%84%EC%9E%85%EA%B8%B0/ ๋ฒํทํ๋ ์ด์ค Airflow ๋์ ๊ธฐ - ์ค๋์์ง ๋ธ๋ก๊ทธ ํ์ํ ๋ฐ์ดํฐํ๋ซํผ์ ์ํ Airflow ๋์ ๊ธฐ www.bucketplace.com
๋น ๋ฐ์ดํฐ ๋ถ์ผ ์ค ๋ฐ์ดํฐ์์ง๋์ด๋ง์ ๊ดํ ์ฑ ๋ ์ถ๊ฐ์ด ๋ง์ด ๋์์ต๋๋ค. ๋ฆฌ๋ทฐํ ์ฑ ์ ํ๋น๋ฏธ๋์ด์ "๊ฒฌ๊ณ ํ๋ฐ์ดํฐ์์ง๋์ด๋ง"์ ๋๋ค. https://www.yes24.com/Product/Goods/119712582 ๊ฒฌ๊ณ ํ ๋ฐ์ดํฐ ์์ง๋์ด๋ง - YES24 ์ค์ฉ์ ์ธ ๋ฐ์ดํฐ ์์ง๋์ด๋ง์ ์ธ๊ณ๋ก ์ด๋๋ ์ต๊ณ ์ ์๋ด์!๊ณ ๊ฐ ์๊ตฌ ์ฌํญ์ ๋ง๋ ์์คํ ์ ๊ณํํ๊ณ ๊ตฌ์ถํ๋ ๋ฐฉ๋ฒ๋ฐ์ดํฐ ์์ง๋์ด๋ง ๋ถ์ผ๊ฐ ๋น ๋ฅด๊ฒ ์ฑ์ฅํ๋ฉด์ ๋ง์ ์ํํธ์จ์ด ์์ง๋์ด www.yes24.com ์์ ์ ๋ชฉ์ ์ค๋ผ์ผ๋ฆฌ์ฌ์ The Fundamental of Data Engineering ์ ๋๋ค. ํด๋น ์ฑ ์ ๋ฐ์ดํฐ์์ง๋์ด์๊ฒ ์ถ์ฒ์ด ๋ง์ ์ฑ ์ ๋๋ค. ๊ผญ ๋ฐ์ดํฐ์์ง๋์ด๊ฐ ์๋๋๋ผ๋ ํด๋น ์ง๋ฌด์ ๊ด์ฌ์ด์๊ฑฐ๋ ๋น ๋ฐ์ดํฐ๋ฅผ ๋์ ํ๊ฑฐ๋ ๊ด์ฌ์ด ์๋ ๋ถ์๊ฒ ์ถ์ฒํฉ๋๋ค...
GCP ์ฃผ๋ก ์ฌ์ฉํ๋ GCP ํญ๋ชฉ์ ๋ค์๊ณผ ๊ฐ๋ค. 1. ๋น ์ฟผ๋ฆฌ 2. ์คํ ๋ฆฌ์ง 3. ์ปดํฌ์ (์์ดํ๋ก์ฐ) 4. ๋ฐ์ดํฐํ๋ก 5. ๋ฐ์ดํฐ์คํธ๋ฆผ ๋ฐ์ดํฐ์คํธ๋ฆผ์ ์ค์ ๋ก ์ฌ์ฉํด๋ณด๋ ์ฅ๋จ์ ์ด ๋ช ํํ๋ค.