data_lab

40 탄력성 : 비즈니스 요구 사항이 변경됨에 따라 리소스(자원) 추가하고 해제하는 기능

41 AWS CloudTrail은 AWS 계정에서 이루어진 모든 API 호출을 기록하는 서비스

AWS Trusted Advisor: AWS 리소스 최적화를 위한 모범 사례 및 권장 사항을 제공합니다. 보안 관련 문제에 대한 지침을 제공할 수 있지만 API 호출 감사에 특별히 중점을 두지는 않습니다.

Amazon Inspector: AWS에 배포된 애플리케이션의 보안 취약성을 평가합니다. API 호출 감사보다는 보안 평가 및 취약점 감지에 더 중점을 둡니다.

AWS X-Ray: 애플리케이션을 통해 이동하는 요청을 추적하여 애플리케이션 성능에 대한 통찰력을 제공합니다. 이는 주로 API 호출을 감사하기 위해 설계된 것이 아니라 분산 애플리케이션을 이해하고 디버깅하기 위해 설계되었습니다.

42 AWS 공동 책임 모델 : 고객의 책임 

AWS 책임 - 하드웨어 인프라 관리, 운영체제 패치 책임 - 유지 관리, 사용안하는 기능 종료 (고객은 수동으로 종료할 필요 없음)

43 아마존 아테나 : 표준 SQL 사용해 서버리스 쿼리 서비스

레드시프트 : 데이터 웨어 하우스

키네시스 : 스트리밍 데이터 실시간 처리

44 비용 추가 없는 서비스 : AWS Organizations

45 AWS CAF 사람 관점 기능

문화 진화 / 변혁적 리더십 / 클라우드 유창성 / 인력혁신

46 비용 절감

예약 인스턴스: 예약 인스턴스는 일회성 선불 결제 및/또는 더 낮은 시간당 요금에 대한 대가로 온디맨드 가격에 비해 상당한 할인(최대 75%)을 제공합니다. 더 많이 약정할수록 할인 혜택이 커집니다.

Savings Plans: Savings Plans는 온디맨드 요금에 비해 최대 72% 할인된 가격으로 AWS 사용량에 대한 유연한 요금과 절약 혜택을 제공합니다. Savings Plans를 사용하면 1년 또는 3년 동안 특정 사용량(시간당 달러로 측정)을 약정하고 해당 사용량에 대해 더 낮은 요금을 받을 수 있습니다.

47 AWS 지역: AWS 지역은 AWS 데이터 센터(가용성 영역)가 위치한 지리적 위치

Amazon Connect: 고객 서비스 클라우드 컨택센터

AWS Wavelength: 5G 디바이스

AWS Direct Connect: 전용 네트워크 연결 공용 네트워크 우회

48 AWS 가격 계산기

49 Amazon CloudFront를 통해 콘텐츠 전송: Amazon CloudFront는 이미지와 비디오를 포함한 정적 및 동적 콘텐츠를 전 세계 사용자에게 빠르게 제공하는 CDN(콘텐츠 전송 네트워크) 서비스

https://blog.naver.com/imaokiro/223247852386

30 AWS Well-Architected 프레임워크의 핵심 요소

1. 운영 우수성 2. 보안 3. 안정성 4. 성능 효율성 5. 비용 최적화

31. Amazon Simple Notification Service (Amazon SNS)  : A2P 기능 사용하면 문자, 푸시, 이메일로 메세지

32 Access Key : AWS CLI, SDK 또는 AWS API 함께 사용해 AWS 서비스에 요청할 수 있는 프로그래밍 방식 자격 증명

33 스팟 인스턴스 : 짧은 시간동안 / 내결함성

예약인스턴스 : 1년 - 3년

온디맨드: 예약되지않은 가격으로, 2개월 정도

34 민첩성 : 비즈니스 요구사항에 대응하고 혁신하는 능력

35 AWS WAF - SQL Injection 방어 / AWS Sheild - DDos 

36  IAM Access Analyser는 조직 내 리소스와 외부 엔터티와 공유되는 계정을 식별

AWS 서비스 카탈로그: 조직이 AWS에서 사용하도록 승인된 IT 서비스 카탈로그를 생성하고 관리할 수 있게 해주는 서비스입니다.

AWS 시스템 관리자: AWS의 인프라에 대한 가시성과 제어를 가능하게 하는 서비스 세트.

AWS 조직: 여러 AWS 계정을 생성하고 중앙에서 관리하는 조직으로 통합하기 위한 서비스입니다.

37 AWS Artifact는 인증, 증명 및 기타 관련 문서를 포함한 다양한 규정 준수 보고서에 대한 액세스를 제공하는 포털

38 AWS 가 책임지는 비용 : 하드웨어 인프라, 데이터센터 비용, 전력 비용

39 로그인 MFA

20.

예약 인스턴스 : 1년에서 3년

21. AWS Direct Connect : 데이터센터와 AWS 클라우드 간에 전용 네트워크 연결 설정

VPC 피어링: AWS 내 두 개의 Virtual Private Cloud(VPC)를 연결하여 서로 통신

AWS VPN: 인터넷을 통해 온프레미스 네트워크와 AWS VPC 간에 안전하고 암호화된 연결을 제공

D. Amazon Route 53: 확장 가능하고 가용성이 높은 DNS(도메인 이름 시스템) 웹 서비스

22. AWS Region : AWS 글로벌 인프라 물리적 위치

AWS DataSync: AWS DataSync는 온프레미스 스토리지와 Amazon S3 간에 대량의 데이터를 전송하는 서비스

Amazon Connect: Amazon Connect는 클라우드 기반 연락 센터 서비스

AWS Organizations: AWS Organizations는 여러 AWS 계정을 하나의 조직으로 통합하기 위한 서비스

23.

24. 인터넷 게이트웨이는 VPC와 인터넷 간의 통신을 허용하는 수평 확장형, 중복성 및 가용성이 뛰어난 VPC 구성 요소

https://docs.aws.amazon.com/vpc/latest/userguide/VPC_Internet_Gateway.html

25. coupling 종속성 

큐잉 시스템, 스트리밍 시스템, 워크플로우, 로드 밸런서 등의 종속성은 느슨하게 결합되어 있습니다. 느슨한 결합은 구성 요소의 동작을 해당 구성 요소에 의존하는 다른 구성 요소로부터 격리하여 탄력성과 민첩성을 높이는 데 도움

26. IAM 자격 증명 보고서

IAM 액세스 분석기: IAM 정책을 분석하여 잠재적인 문제와 과도한 권한을 식별하지만 비밀번호 및 액세스 키 순환 세부 사항에 특별히 중점을 두지는 않습니다.

AWS Artifact: 주로 자격 증명 감사와 직접적인 관련이 없는 IaC(Infrastructure as Code) 구성을 관리하고 추적하는 데 사용됩니다. IAM 자격 증명 보고서: 이 기본 제공 IAM 기능은 계정 내 사용자 비밀번호 및 액세스 키의 교체 기록에 대한 자세한 정보를 제공합니다. 여기에는 사용자 이름 및 키 ID와 함께 마지막 비밀번호 및 액세스 키 교체 날짜가 표시됩니다. 이는 규정 준수를 위한 비밀번호 감사 및 액세스 키 교체 세부 사항 요구 사항과 완벽하게 일치합니다.

AWS Audit Manager: 다양한 AWS 서비스 전반에 걸쳐 감사를 관리하고 자동화하기 위한 포괄적인 플랫폼을 제공하지만, 쉽게 사용할 수 있는 IAM 자격 증명 보고서에 비해 추가 설정 및 구성이

27 AWS 비용 임계값 알람 - Aws Budget, Amazon Cloudwatch(비용기반으로도 지원)

28. AWS Knowledge Center : 자주 받는 질문에 대한 답변 제공함

AWS Artifact, Amazon Connect 및 AWS Chatbot도 AWS 서비스이지만 자주 묻는 보안 관련 질문에 대한 답변을 제공하도록 특별히 설계되지 않음

29. AWS 고객 책임 - 방화벽 구성할 의무 있음 / 회사 자산 분류도 고객 책임

클라우드의 보안은 - AWS의 책임

클라우드에서의 보안은 - 고객 책임

> 제품 정상적인데 이슈 발생한 경우

10 . Trusted Advisor는 비용 최적화, 성능, 복원력, 보안, 운영 우수성, 서비스 한도의 범주에서 모범 사례 검사를 사용하여 AWS 환경을 지속적으로 평가하고, 모범 사례와의 편차를 해결하기 위한 조치를 권장

11. AWS 클라우드 사용 시 데이터 센터 운영 및 유지 관리 비용 제거 됨

12 AWS 서비스 카탈로그 : AWS 서비스에 직접 액세스하지 않고도 승인된 IT 리소스를 신속하게 프로비저닝

13.  AWS Cost Explorere : 시간 경과에 따른 AWS 지출 및 사용량을 시각화하고, 이해하고, 관리합니다. 상세한 통찰력, 과거 데이터 및 예측을 제공

14.

AWS Glue : 서버리스 데이터 통합 서비스

Amazon Quicksight : 직의 모든 사람이 자연어로 질문하거나 대화형 대시보드를 통해 탐색하거나 기계 학습을 기반으로 패턴과 이상값을 자동으로 찾는 방법으로 데이터에 대한 이해를 높일 수 있음

15. AWS Professional Services :  AWS 마이그레이션 시 전문가 팀 지원 

16.

A. 예약 인스턴스(RI): 예약 인스턴스는 지정된 기간(일반적으로 1년 또는 3년) 동안 용량 예약을 제공하여 온디맨드 인스턴스에 비해 비용 절감 효과를 제공합니다. 그러나 RI는 일반적으로 장기 약정을 포함하므로 2개월과 같은 단기간에는 가장 적합하지 않을 수 있습니다.

B. 전용 호스트: 전용 호스트는 단기 워크로드에는 비용 효율적이지 않으며 필요한 유연성이 부족할 수 있습니다.

C. 스팟 인스턴스: 스팟 인스턴스는 비용 절감 효과를 제공하지만 짧은 통지로 종료되어 잠재적으로 중단될 수 있습니다.

D. 온디맨드 인스턴스: 온디맨드 인스턴스는 사전 약정 없이 종량제 방식으로 용량을 제공합니다. 단기적이고 가변적인 워크로드에 적합하며 장기 약정 없이도 유연성을 제공합니다. 이 시나리오에서 온디맨드 인스턴스는 가동 중지 시간을 피하면서 2개월 동안 비용 효율적인 옵션이 될 것입니다.

17. AWS Elastic Beanstalk : 애플리케이션을 실행하는 인프라에 대해 자세히 알지 못해도 AWS 클라우드에서 애플리케이션을 신속하게 배포하고 관리

18.

Amazon S3의 버전 관리는 동일한 버킷에 객체의 여러 변형을 유지하는 수단입니다.

S3 버전 관리 기능을 사용하면 버킷에 저장된 모든 객체의 모든 버전을 보존, 검색 및 복원할 수 있습니다.

버전 관리가 활성화된 버킷은 실수로 삭제하거나 덮어쓴 객체를 복구하는 데 도움이 될 수 있습니다.

예를 들어, 객체를 삭제하면 Amazon S3는 객체를 영구적으로 제거하는 대신 삭제 마커를 삽입합니다.

19 AWS CloudFormation:  AWS 리소스를 모델링하고 설정하여 리소스 관리 시간을 줄이고 AWS에서 실행되는 애플리케이션에 더 많은 시간을 사용하도록 해 주는 서비스 (인프라 관리 간소화 및 인프라 복제 기능)

aws 

AWSRETAKE24

1.s3로 업로드는 비용 무료

2.아마존 인스펙터 : 자동화된 소프트웨어 취약점 관리 서비스

AWS Config :  AWS 리소스의 구성을 자세히 보여줌

AWS GuardDuty : 위협탐지하여 AWS 계정 보호

3.AWS Storage Gateway : 온프레미스 애플리케이션에 사실상 무제한의 클라우드 스토리지 액세스 제공

4.보안 모범 사례

5. 공유책임 모델 : Dynamo는 데이터 저장할때 암호화함

6.aws caf 기본 기능 : 비즈니스 / 인재 / 거버넌스 / 플랫폼 / 보안 / 운영

https://aws.amazon.com/ko/cloud-adoption-framework/

7. aws fargate : 서버리스 엔진으로 ECS, EKS와 호환 됨 / 컨테이너 서비스

8.AWS 책임 : 물리적인 것 >  EC2 인스턴스가 실행되는 물리적 인프라는 Amazon의 책임

9.AWS 규모 조정 기회 식별 가능 서비스 : AWS Cost explorer / AWS Compute Optimizer

AWS Cost Explorer: 고객은 리소스 수준에서 AWS 비용 및 사용량을 모니터링하여 비용 요인을 식별할 수 있습니다. 

AWS Billing Conductor: 원하는 쇼백 또는 차지백 비즈니스 로직에 맞게 청구 데이터를 사용자 정의할 수 있는 사용자 정의 가능한 청구 서비스 

Amazon CodeGuru: 자동화된 코드 검토를 제공하고 Java에서 성능 최적화를 식별하는 기계 학습 기반 개발자 도구 파이썬, 스칼라, 코틀린

AWS Compute Optimizer: AWS 리소스 사용을 최적화하기 위한 권장 사항 받기(적절한 크기 조정) 

Amazon SageMaker: 개발자가 클라우드에서 기계 학습(ML) 모델을 생성, 교육 및 배포할 수 있는 클라우드 기반 기계 학습 플랫폼 .

GCP에서 제공하는 제품 중 하나이다.

SQL로 데이터를 빠르게 조회할 수 있다.

빅쿼리 저장소 개요

https://cloud.google.com/bigquery/docs/storage_overview?hl=ko

빅쿼리 지원 파일 형태

우선 23.10.21 기준 snappy 압축 형태는 지원하지않는다.

후에 지원될지는 모르나 snappy 형태 지원하지않는게 아쉬움이 크다.

여러가지 압축형태로 업로드 해봤는데,

우선 저장하려는 데이터형식이 이쁘게 딱딱 떨어지는 데이터면 CSV형태로 저장해도 나쁘진않을것같다.

근데 원천데이터 자체가 이쁘지않으면 CSV는 매우 비추

parquet나 avro 로 새롭게 압축해서 적재하는 방식을 추천한다.

json형태도 있는데 json경우도 적재하는데 생각보다 쫌 애먹었었다.

데이터중 숫자 데이터들이 좀 특이하게 저장되어있어서 빅쿼리에서 인식이 잘안됐었다.

avro 랑 parquet 작업 속도나 압축률 비교하여 선택하면 될 것 같다.

난 parquet 형식을 사용했다.

hive에서 쿼리로 parquet로 추출하는 것도 지원하고 코드로도 예제가 많다.

그리고 압축률도 좋아서 용량도 작고 avro는 용량이 어찌될지 모르겠다.

parquet로 추출할 때 칼럼명도 같이 추출될 수 있게 작업해주는 것이 좋다.

빅쿼리 파티션

파티션 유무로 쿼리 실행시 슬롯 사용의 갯수가 다른 것으로 알고있다.

아직 파티션 사용해보진않았는데, 후의 가격적인 면까지 고려한다면 테이블 설계시 파티션도 설계를 해야한다.

후에 시간될 때 파티션쪽 확인해볼 예정이다.

GCP

주로 사용하는 GCP 항목은 다음과 같다.

1. 빅쿼리

2. 스토리지

3. 컴포저(에어플로우)

4. 데이터프록

5. 데이터스트림

데이터스트림은 실제로 사용해보니 장단점이 명확하다.

1. 데이터 브릭스 - spark 기반 데이터분석 플랫폼 (ex: aws EMR)
   1. 델타 레이크 - Databricks Lakehouse 플랫폼에 데이터 및 테이블을 저장하기 위한 기반을 제공하는 최적화된 스토리지 계층
      1. 파일기반 트랜잭션 로그를 사용해 parquet 데이터 파일을 확장 → ACID 트랜잭션 및 스케일링 가능한 메타데이터 처리
      2. 일괄 처리 및 스트리밍 작업 모두에 단일 데이터 복사본을 쉽게 사용하고 대규모로 증분 처리를 제공
      3. 데이터 브릭스의 기본 스토리지 형식은 델타레이크
      4. SQL 문법
         1. https://learn.microsoft.com/ko-kr/azure/databricks/sql/language-manual/#delta-lake-statements
      5. Python API
         1. https://docs.delta.io/latest/api/python/index.html

데이터레이크로 테이블 생성 시 DBFS에 저장됨

DBFS는 Data Bricks File System

애저 데이터 브릭스에서 사용하는 분산 파일 시스템은 DBFS

DBFS, 로컬 서버 사용 방법

https://learn.microsoft.com/ko-kr/azure/databricks/files/

데이터팩토리 - 여러 컴퓨팅 및 스토리지 서비스 사이에서 데이터를 처리 및 이동하고 온-프레미스 데이터 원본을 지정된 간격으로 처리 및 이동. 데이터 파이프라인을 만들기, 예약, 조정 및 관리 (ex: aws glue, data pipe line)

AWS EMR 은 빅데이터 플랫폼 이다. (하둡 플랫폼)

클러스터 구성

- 마스터 

Hadoop 의 HDFS Namenode, YARN Resource Manger가 실행되는 인스턴스 이다.

- 코어

마스터 노드에서 관리하며, Hadoop 의 HDFS Datanode, Yarn Nodemanager, MapReduce Task Tracker, Spark Executor 실행함

- 태스크 

Datanode 실행하지 않으며, HDFS에 데이터를 저장하지도 않음

Spark executor, MapReduce 와 같은 작업을 실행함