도메인 1: 데이터 수집 및 변환 태스크 설명

1.1: 데이터 수집을 수행합니다. 

관련 지식: 

• 데이터를 수집하는 AWS 서비스의 처리량 및 지연 시간 특성 

• 데이터 수집 패턴(예: 빈도 및 데이터 기록) • 스트리밍 데이터 수집 

• 배치 데이터 수집(예: 예약된 수집, 이벤트 기반 수집) 

• 데이터 수집 파이프라인의 반복 재생 가능성 • 스테이트풀 및 스테이트리스 데이터 트랜잭션

---

스트리밍 소스에서 데이터 읽기

 

실시간 데이터 스트리밍 ?

https://aws.amazon.com/ko/what-is/real-time-data-streaming/

실시간 데이터 스트리밍은 다양한 데이터 소스에서 일련의 데이터를 취합 및 수집하고 해당 데이터를 실시간으로 처리하여 의미와 인사이트를 추출하는 것을 포함

 

스트리밍 데이터 ?

https://aws.amazon.com/ko/what-is/streaming-data/

스트리밍 데이터는 짧은 대기 시간 처리를 목표로 계속해서 증분하는 방식으로 내보내지는 대용량 데이터

• 시간순 중요성 : 현재위치 기반 음식점 추천
• 지속적 흐름 : 서버 활동로그는 서버가 활동하는 동안 계속 들어옴
• 고유성 : 재전송 불가
• 비균질성 : 데이터 변환 필요
• 불완전성 : 데이터 손상 또는 누락이 있을 수 있음 > 데이터 검증 필요

 

Amazon Kinesis

: 실시간 비디오 및 데이터 스트림 수집, 처리, 분석

Amazon Managed Streaming for Apache Kafka(Amazon MSK)

 : 완전관리형 서비스, 

Amazon DynamoDB Streams

 : DynamoDB 테이블에서 시간 순서에 따라 항목 수준 수정을 캡처하고 이 정보를 최대 24시간 동안 로그에 저장

AWS Database Migration Service(AWS DMS)

 : 데이터베이스 및 분석 워크로드를 AWS로 빠르고 안전하게 이동하여 가동 중단 시간 및 데이터 손실을 방지하는 데 도움이 되는 관리형 마이그레이션 및 복제 서비스

AWS Glue

 : 서버리스 데이터 통합

Amazon Redshift

 : 클라우드에서 완전히 관리되는 페타바이트급 데이터 웨어하우스 서비스

---

 

배치 소스에서 데이터 읽기

 

Amazon S3

AWS Glue

Amazon EMR

AWS DMS

Amazon Redshift

AWS Lambda

Amazon AppFlow

---

배치 수집을 위한 적절한 구성 옵션 구현

https://docs.aws.amazon.com/ko_kr/prescriptive-guidance/latest/modern-data-centric-use-cases/data-collection.html

데이터 수집 - AWS 규범적 지침

 

데이터 API 사용

Amazon EventBridge, Apache Airflow 또는 작업 및 크롤러에 대한 시간 기반 일정을 사용하여 스케줄러 설정

이벤트 트리거 설정(예: Amazon S3 이벤트 알림, EventBridge) 

Amazon Kinesis 에서 Lambda 함수 호출

데이터 원본에 연결할 수 있도록 IP 주소에 대한 허용 목록 만들기

스로틀링 구현 및 속도 제한 극복(예: DynamoDB, Amazon RDS, Kinesis)

스트리밍 데이터 배포를 위한 팬인 및 팬아웃 관리