data_lab

30 AWS Well-Architected 프레임워크의 핵심 요소 1. 운영 우수성 2. 보안 3. 안정성 4. 성능 효율성 5. 비용 최적화 31. Amazon Simple Notification Service (Amazon SNS) : A2P 기능 사용하면 문자, 푸시, 이메일로 메세지 32 Access Key : AWS CLI, SDK 또는 AWS API 함께 사용해 AWS 서비스에 요청할 수 있는 프로그래밍 방식 자격 증명 33 스팟 인스턴스 : 짧은 시간동안 / 내결함성 예약인스턴스 : 1년 - 3년 온디맨드: 예약되지않은 가격으로, 2개월 정도 34 민첩성 : 비즈니스 요구사항에 대응하고 혁신하는 능력 35 AWS WAF - SQL Injection 방어 / AWS Sheild - DDos 3..

20. 예약 인스턴스 : 1년에서 3년 21. AWS Direct Connect : 데이터센터와 AWS 클라우드 간에 전용 네트워크 연결 설정 VPC 피어링: AWS 내 두 개의 Virtual Private Cloud(VPC)를 연결하여 서로 통신 AWS VPN: 인터넷을 통해 온프레미스 네트워크와 AWS VPC 간에 안전하고 암호화된 연결을 제공 D. Amazon Route 53: 확장 가능하고 가용성이 높은 DNS(도메인 이름 시스템) 웹 서비스 22. AWS Region : AWS 글로벌 인프라 물리적 위치 AWS DataSync: AWS DataSync는 온프레미스 스토리지와 Amazon S3 간에 대량의 데이터를 전송하는 서비스 Amazon Connect: Amazon Connect는 클라우드 ..

10 . Trusted Advisor는 비용 최적화, 성능, 복원력, 보안, 운영 우수성, 서비스 한도의 범주에서 모범 사례 검사를 사용하여 AWS 환경을 지속적으로 평가하고, 모범 사례와의 편차를 해결하기 위한 조치를 권장 11. AWS 클라우드 사용 시 데이터 센터 운영 및 유지 관리 비용 제거 됨 12 AWS 서비스 카탈로그 : AWS 서비스에 직접 액세스하지 않고도 승인된 IT 리소스를 신속하게 프로비저닝 13. AWS Cost Explorere : 시간 경과에 따른 AWS 지출 및 사용량을 시각화하고, 이해하고, 관리합니다. 상세한 통찰력, 과거 데이터 및 예측을 제공 14. AWS Glue : 서버리스 데이터 통합 서비스 Amazon Quicksight : 직의 모든 사람이 자연어로 질문하거나..

aws AWSRETAKE24 1.s3로 업로드는 비용 무료 2.아마존 인스펙터 : 자동화된 소프트웨어 취약점 관리 서비스 AWS Config : AWS 리소스의 구성을 자세히 보여줌 AWS GuardDuty : 위협탐지하여 AWS 계정 보호 3.AWS Storage Gateway : 온프레미스 애플리케이션에 사실상 무제한의 클라우드 스토리지 액세스 제공 4.보안 모범 사례 5. 공유책임 모델 : Dynamo는 데이터 저장할때 암호화함 6.aws caf 기본 기능 : 비즈니스 / 인재 / 거버넌스 / 플랫폼 / 보안 / 운영 https://aws.amazon.com/ko/cloud-adoption-framework/ 7. aws fargate : 서버리스 엔진으로 ECS, EKS와 호환 됨 / 컨테이너 서..

요즘 유행하기도 하고 광고 많아 꽂혀버린 가방이 있다 근데 직구 사이트 광고이다 보니 제품의 가격은 원래도 비싸진않은데 (5만원 이하) 해외배송비 등등 수수료포함 해서 7만원 정도된다. 이럴거면 안사고 말지..하고 식어가는 찰나 해당 제품 한국에서도 팔았을 것만 같고 크림에 꼭 있을것만 같아 크림에서 검색해보니 바로 입찰가격이 4.2에 판매되고 있었다..! 근데 크림자체 수수료와 배송비는 별도였고 금액을 포함해도 네이버 검색 시 노출되는 상품보단 몇만원이나 쌌다! 금요일 오전쯤에 구매해서 화요일에 받았다 판매자가 크림 검수센터로 보내고 문제없으면 구매자에게 크림이 상품을 보내준다 이런 프로세스 치고 꽤 뻘리 받았다!! 포장 박스도 깨끗해서 좋았다 요즘 빈대 이슈로 넘 무섭다ㅠㅠ 이렇게 크림에서 검수해준 ..

GCP에서 제공하는 제품 중 하나이다. SQL로 데이터를 빠르게 조회할 수 있다. 빅쿼리 저장소 개요 https://cloud.google.com/bigquery/docs/storage_overview?hl=ko BigQuery 스토리지 개요 | Google Cloud 테이블, 테이블 클론, 뷰, 스냅샷, 데이터 세트에 대한 설명과 파티션 나누기 및 클러스터링과 같은 성능 최적화를 위한 전략을 포함하여 Google BigQuery 스토리지의 개요를 제공합니다. cloud.google.com 빅쿼리 지원 파일 형태 우선 23.10.21 기준 snappy 압축 형태는 지원하지않는다. 후에 지원될지는 모르나 snappy 형태 지원하지않는게 아쉬움이 크다. 여러가지 압축형태로 업로드 해봤는데, 우선 저장하려는 ..

https://school.programmers.co.kr/skill_check_assignments/430 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 들어가기전에 크게 어려운 문제는 아니고 플라스크 써본 경험 있으면 쉽게 풀 수 있는 문제 같다 파이썬으로 과제는 잘 없기도하고 해당 문제도 자바로 풀이한 경우가 많아서 파이썬으로 풀이하려 한다. main.py에 과제 코드 작성하고 실행해야한다. 작성 완료 후에는 python3 main.py로 코드 실행 후 터미널에서 curl명령어로 테스트 진행 후 코드 제출 요구 조건 1. 서버는 정상일 경우, 200..

참고 사이트 https://www.bucketplace.com/post/2021-04-13-%EB%B2%84%ED%82%B7%ED%94%8C%EB%A0%88%EC%9D%B4%EC%8A%A4-airflow-%EB%8F%84%EC%9E%85%EA%B8%B0/ 버킷플레이스 Airflow 도입기 - 오늘의집 블로그 탁월한 데이터플랫폼을 위한 Airflow 도입기 www.bucketplace.com

빅데이터 분야 중 데이터엔지니어링에 관한 책도 출간이 많이 늘었습니다. 리뷰할 책은 한빛미디어의 "견고한데이터엔지니어링"입니다. https://www.yes24.com/Product/Goods/119712582 견고한 데이터 엔지니어링 - YES24 실용적인 데이터 엔지니어링의 세계로 이끄는 최고의 안내서!고객 요구 사항에 맞는 시스템을 계획하고 구축하는 방법데이터 엔지니어링 분야가 빠르게 성장하면서 많은 소프트웨어 엔지니어 www.yes24.com 원서 제목은 오라일리사의 The Fundamental of Data Engineering 입니다. 해당 책은 데이터엔지니어에게 추천이 많은 책입니다. 꼭 데이터엔지니어가 아니더라도 해당 직무에 관심이있거나 빅데이터를 도입하거나 관심이 있는 분에게 추천합니다...

GCP 주로 사용하는 GCP 항목은 다음과 같다. 1. 빅쿼리 2. 스토리지 3. 컴포저(에어플로우) 4. 데이터프록 5. 데이터스트림 데이터스트림은 실제로 사용해보니 장단점이 명확하다.