data_lab

AWS DEA, CLF 합격후기

우선 업무중에 AWS 사용중이기도 해서 자격증을 취득해봤다.

덤프로 외워서 보는 시험이라 해도 감이 안잡혀서 CLF(Cloud Practitioner) 취득 후 DEA(Data Engineer Asso)를 취득했다.

우선 자격증 가격이 비싸서 회사에서 지원해주지않는 이상,

낮은 가격의 레벨 취득 하는 것을 추천한다.

취득 후 50프로 할인 쿠폰 주기 때문에 할인받은 상태로 다른 자격증 취득하는 편이 좋아보인다.

PRO, SPECIALITY 레벨 취득 필요하면 ASSO레벨은 굳이?

AWS 자격증 시험문제는 최신 덤프에서 가장 많이 나오는 편이다.

CLF , DEA 전부 덤프 구매는 비추한다.

CLF는 덤프문제 200개 이상 풀어봤자 의미도 없는 느낌에다가 그냥 이론 정리 되어 있는 문서를 보는 것을 추천한다.

DEA 경우 신설 자격증으로 현재 기준 덤프문제 140개 정도 나와있다.

ExamTopic에서 구글링 해서 찾아서 직접 풀어보는 편이 좋다.

AWS에서 제공하는 거나 유데미 강의랑 예제문제에서 겹치는 것 못봤다. DEA경우.

DEA 진짜 141문제 덤프만 달달 외워가면 고득점으로 취득 가능하다 ㅎ

개인적으로는 최근 문제 300-500개 정도만 VCE 파일 직접 만들어서 문제 암기 추천한다.

001 AWS Glue

https://repost.aws/knowledge-center/glue-s3-endpoint-validation-failed

데이터 엔지니어가 Amazon S3 버킷에서 데이터를 읽도록 AWS Glue 작업을 구성하고 있습니다.

데이터 엔지니어는 필요한 AWS Glue 연결 세부 정보와 관련 IAM 역할을 설정했습니다.

그러나 데이터 엔지니어가 AWS Glue 작업을 실행하려고 하면 데이터 엔지니어는 Amazon S3 VPC 게이트웨이 엔드포인트에 문제가 있음을 나타내는 오류 메시지를 수신합니다.
데이터 엔지니어는 오류를 해결하고 AWS Glue 작업을 S3 버킷에 연결해야 합니다.
이 요구 사항을 충족하는 솔루션은 무엇입니까?

VPC의 라우팅 테이블에 Amazon S3 VPC 게이트웨이 엔드포인트에 대한 인바운드 및 아웃바운드 경로가 포함되어 있는지 확인합니다.

VPC 자체 오류임

AWS Glue > 서버리스 서비스 이므로 보안 그룹 없음

S3는 항상 FQDN

002 AWS Lake Formation

소매 회사에는 Amazon S3 버킷에 고객 데이터 허브가 있습니다.

여러 국가의 직원들이 데이터 허브를 사용하여 전사적 분석을 지원합니다.

거버넌스 팀은 회사의 데이터 분석가가 분석가와 동일한 국가에 있는 고객의 데이터에만 액세스할 수 있도록 해야 합니다.
최소한의 운영 노력으로 이러한 요구 사항을 충족할 수 있는 솔루션은 무엇입니까?

S3 버킷을 AWS Lake Formation의 데이터 레이크 위치로 등록합니다. Lake Formation 행 수준 보안 기능을 사용하여 회사의 액세스 정책을 시행하십시오

> 각 고객과 관련된 국가 등 특정 조건을 기반으로 데이터에 대한 액세스를 제한하는 정책을 시행할 수 있습니다.

003

한 미디어 회사에서는 사용자 행동과 선호도에 따라 고객에게 미디어 콘텐츠를 추천하는 시스템을 개선하려고 합니다.

추천 시스템을 개선하려면 회사는 타사 데이터 세트의 통찰력을 회사의 기존 분석 플랫폼에 통합해야 합니다.
회사는 타사 데이터 세트를 통합하는 데 필요한 노력과 시간을 최소화하려고 합니다.
최소한의 운영 오버헤드로 이러한 요구 사항을 충족하는 솔루션은 무엇입니까?

스트리밍 소스에서 데이터 읽기

실시간 데이터 스트리밍 ?

https://aws.amazon.com/ko/what-is/real-time-data-streaming/

실시간 데이터 스트리밍은 다양한 데이터 소스에서 일련의 데이터를 취합 및 수집하고 해당 데이터를 실시간으로 처리하여 의미와 인사이트를 추출하는 것을 포함

스트리밍 데이터 ?

https://aws.amazon.com/ko/what-is/streaming-data/

스트리밍 데이터는 짧은 대기 시간 처리를 목표로 계속해서 증분하는 방식으로 내보내지는 대용량 데이터

• 시간순 중요성 : 현재위치 기반 음식점 추천
• 지속적 흐름 : 서버 활동로그는 서버가 활동하는 동안 계속 들어옴
• 고유성 : 재전송 불가
• 비균질성 : 데이터 변환 필요
• 불완전성 : 데이터 손상 또는 누락이 있을 수 있음 > 데이터 검증 필요

Amazon Kinesis

: 실시간 비디오 및 데이터 스트림 수집, 처리, 분석

Amazon Managed Streaming for Apache Kafka(Amazon MSK)

 : 완전관리형 서비스, 

Amazon DynamoDB Streams

 : DynamoDB 테이블에서 시간 순서에 따라 항목 수준 수정을 캡처하고 이 정보를 최대 24시간 동안 로그에 저장

AWS Database Migration Service(AWS DMS)

 : 데이터베이스 및 분석 워크로드를 AWS로 빠르고 안전하게 이동하여 가동 중단 시간 및 데이터 손실을 방지하는 데 도움이 되는 관리형 마이그레이션 및 복제 서비스

AWS Glue

 : 서버리스 데이터 통합

Amazon Redshift

 : 클라우드에서 완전히 관리되는 페타바이트급 데이터 웨어하우스 서비스

배치 소스에서 데이터 읽기

Amazon S3

AWS Glue

Amazon EMR

AWS DMS

Amazon Redshift

AWS Lambda

Amazon AppFlow

배치 수집을 위한 적절한 구성 옵션 구현

https://docs.aws.amazon.com/ko_kr/prescriptive-guidance/latest/modern-data-centric-use-cases/data-collection.html

데이터 API 사용

Amazon EventBridge, Apache Airflow 또는 작업 및 크롤러에 대한 시간 기반 일정을 사용하여 스케줄러 설정

이벤트 트리거 설정(예: Amazon S3 이벤트 알림, EventBridge) 

Amazon Kinesis 에서 Lambda 함수 호출

데이터 원본에 연결할 수 있도록 IP 주소에 대한 허용 목록 만들기

스로틀링 구현 및 속도 제한 극복(예: DynamoDB, Amazon RDS, Kinesis)

스트리밍 데이터 배포를 위한 팬인 및 팬아웃 관리

https://d1.awsstatic.com/ko_KR/training-and-certification/docs-data-engineer-associate/AWS-Certified-Data-Engineer-Associate_Exam-Guide.pdf

합격 점수 720점

시험의 콘텐츠 도메인과 가중치

• 도메인 1: 데이터 수집 및 변환 (점수가 매겨진 콘텐츠의 34%) 
• 도메인 2: 데이터 저장소 관리 (점수가 매겨진 콘텐츠의 26%) 
• 도메인 3: 데이터 운영 및 지원 (점수가 매겨진 콘텐츠의 22%) 
• 도메인 4: 데이터 보안 및 거버넌스 (점수 매겨진 콘텐츠의 18%)

AWS 파트너 네트워크 - 타사 컨설턴트

AWS 스토리지 게이트웨이

Amazon Route 53(DNS 서비스): 지연 시간 라우팅: 더 나은 사용자 경험을 제공하기 위해 가장 낮은 네트워크 지연 시간을 기준으로 트래픽을 라우팅하도록 Route 53을 구성할 수 있습니다.

AWS Global Accelerator: 이 서비스는 상태, 지역 및 라우팅 정책을 기반으로 AWS 글로벌 네트워크를 통한 트래픽을 최적의 AWS 엔드포인트로 전달

AWS Aurora, AWS RDS - rdb

Snowball Edge

로컬 환경과 Amazon S3 간에 데이터를 가져오거나 내보낼 수 있으며, 인터넷을 사용하지 않고도 하나 이상의 장치를 사용하여 데이터를 물리적으로 전송

AWS 마켓플레이스 - 소프트웨어 구매

Windows 파일 서버용 Amazon FSx는 업계 표준 SMB(서버 메시지 블록) 프로토콜을 통해 액세스할 수 있는 완전 관리형, 안정성 및 확장성이 뛰어난 파일 스토리지를 제공

NAT 게이트웨이를 사용하면 프라이빗 서브넷의 스트리밍 인스턴스를 인터넷이나 다른 AWS 서비스에 연결할 수 있지만 인터넷이 해당 인스턴스와의 연결을 시작하는 것은 방지

종량제 가격 책정 - 온디맨드

AWS VPN, AWS Direct Connect - 온프레미스 네트워크를 VPC에 연결할 수 있게 해주는 AWS 서비스

Amazon DynamoDB - AWS 관리형 NoSQL DB(key-value)

• 과거 활용 패턴을 바탕으로 Amazon EC2 인스턴스 유형을 선택합니다.
• C. Amazon S3 수명 주기 정책을 사용하여 사용자가 자주 액세스하지 않는 객체를 저렴한 스토리지 계층으로 이동합니다.

보안 그룹 - 보안 규칙 적용

well architected 안정성

수요에 맞춰 자동으로 확장

자동으로 복구

AWS 클라우드포메이션 - 리소스 배포 템플릿

Amazon Cognito  

saml2.0 지원 및 타사 비즈니스 애플리케이션에 로그인할 수 있도록 중앙 사용자 포털

AWS 상태 대시보드는 유지 관리 또는 중단과 같은 이벤트를 경험하는 aws 서비스를 알려줌

 VPC 흐름 로그

Amazon VPC에서 인바운드 및 아웃바운드 트래픽에 대한 정보를 캡처

AWS 공동 책임 모델에 따르면 고객은 고객데이터 관리

AWS Artifact - 규정 보고서 검색

아마존 인스펙터 - 사전 정의된 평가 템플릿을 사용하여 Amazon EC2 인스턴스의 취약성을 확인

AWS 애플리케이션 검색 서비스 - 회사는 온프레미스 인프라에 대한 정보를 수집하고 있으며 호스트 이름, IP 주소, MAC 주소와 같은 정보가 필요

AWS 보안 강화 - 반복적으로 액세스 키를 교체

AWS 클라우드 채택 프레임워크(AWS CAF) - 마이그레이션 준비 상태 평가

Amazon S3는 높은 수준의 성능, 보안, 확장성 및 데이터 가용성을 제공하는 객체 스토리지 서비스

IAM 루트 계정

 - MFA 사용 로그인

 - 일상적인 것은 관리자 권한있는 IAM 사용자 생성

amazon RDS 다중 AZ 배포에서 Amazon RDS는 자동으로 기본 데이터베이스(DB) 인스턴스를 생성하고 데이터를 다른 AZ의 인스턴스에 동기식으로 복제

예약인스턴스가 제일 비용 저렴함

데이터보안은 고객(a company)에게 있음

AWS Well-Architected 컴퓨팅 리소스 동적 할당 - 신뢰성

IAM 액세스 분석기 - AWS 서비스에 접근 하는 다른 AWS 계정 파악

Amazon Quicksight - 대화형 비즈니스 인텔리전스 대시보드를 구축

Resource elasticity - 수요에 따라 인프라를 확장할 수 있는 사용자의 능력

IAM Role 설정 - S3 민감한 데이터에 액세스

AWS 민첩성(agility) - 최소한의 노력으로 빠르게 리소스를 프로비저닝하고 프로비저닝 해제하는 능력

150

consists of one or more data centers- Availability Zone

151

AWS 스노우모빌- 50페타바이트의 파일 스토리지 데이터를 AWS로 마이그레이션

152

Amazon AppStream 2.0입니다. Amazon AppStream 2.0은 기업이 경량 노트북을 포함한 모든 장치에 애플리케이션과 데스크톱을 배포할 수 있게 해주는 클라우드 기반 데스크톱 스트리밍 서비스

153

154

워크로드를 분할하여 모놀리식 아키텍처를 피하십시오

155

AWS 클라우드트레일

156

고객책임 - 게스트 운영 체제 관리

157

158

AWS Secrets Manager

159

아마존 메이시