data_lab

50 경제이점 - 가변비용

51 AWS 클라우드 개발 키트(AWS CDK) AWS CDK는 개발자가 TypeScript, Python, Java, C# 등과 같은 친숙한 프로그래밍 언어를 사용하여 IaC(Infrastructure as Code)를 정의할 수 있는 소프트웨어 개발 프레임워크

CloudFormation 템플릿을 생성하므로 AWS에서 인프라 리소스를 더 쉽게 관리하고 배포

52 AWS Security Token Service(AWS STS): AWS STS는 임시적이고 제한된 권한 자격 증명을 제공하기 위한 올바른 선택입니다. 이를 통해 다른 AWS 서비스를 인증하는 데 사용할 수 있는 특정 권한 세트(역할을 통해)가 있는 임시 자격 증명을 요청할 수 있습니다. 이는 장기 자격 증명을 노출하지 않고 리소스에 대한 임시 액세스 권한을 부여해야 하는 시나리오에 일반적으로 사용

53 AWS Security Hub는 잘못된 구성을 식별하는 데 도움이 되도록 AWS 리소스에 대해 자동화되고 지속적인 보안 모범 사례 검사를 수행하고 표준화된 형식으로 보안 경고(예: 결과)를 집계하는 CSPM(클라우드 보안 상태 관리) 서비스

54 무료 서비스 : IAM은 AWS의 계정의 기능이며 추가비용 없음 (AWS organization도 무료)

55 NoSQL - Amazon DynamoDB

Amazon Redshift: Amazon Redshift는 완전 관리형 데이터 웨어하우스 서비스

AWS Aurora : 완전관리형 관계형 DB (NoSQL에는 최적의 선택X)

56 공유책임모델 - 고객의 책임 : 접근권한 

57 스팟 : 중단될수 있음 / 단기 

온디맨드 - 2개월

예약 - 1~ 3년

58 Amazon Macie: 기계 학습을 사용하여 Amazon S3에서 개인 식별 정보(PII)와 같은 민감한 데이터를 자동으로 검색, 분류 및 보호하는 보안 서비스

Amazon Detective: 사용자가 잠재적인 보안 문제나 의심스러운 활동의 근본 원인을 조사하고 식별하는 데 도움이 되는 보안 서비스입니다.

Amazon GuardDuty: AWS 계정과 워크로드를 보호하기 위해 악의적인 활동과 무단 행동을 지속적으로 모니터링하는 위협 탐지 서비스입니다.

AWS IAM Access Analyser: 사용자가 외부 보안 주체(예: IAM 역할 또는 리소스 기반 정책)가 액세스할 수 있는 리소스를 식별하는 데 도움을 주고 리소스를 안전하게 공유하는 데 도움이 되는 결과를 제공합니다.

59 A. 보안 그룹 C. 네트워크 ACL 보안 그룹은 인스턴스 수준에서 인바운드 및 아웃바운드 트래픽을 제어하는 ​​상태 저장 방화벽

https://blog.naver.com/imaokiro/223250195756

40 탄력성 : 비즈니스 요구 사항이 변경됨에 따라 리소스(자원) 추가하고 해제하는 기능

41 AWS CloudTrail은 AWS 계정에서 이루어진 모든 API 호출을 기록하는 서비스

AWS Trusted Advisor: AWS 리소스 최적화를 위한 모범 사례 및 권장 사항을 제공합니다. 보안 관련 문제에 대한 지침을 제공할 수 있지만 API 호출 감사에 특별히 중점을 두지는 않습니다.

Amazon Inspector: AWS에 배포된 애플리케이션의 보안 취약성을 평가합니다. API 호출 감사보다는 보안 평가 및 취약점 감지에 더 중점을 둡니다.

AWS X-Ray: 애플리케이션을 통해 이동하는 요청을 추적하여 애플리케이션 성능에 대한 통찰력을 제공합니다. 이는 주로 API 호출을 감사하기 위해 설계된 것이 아니라 분산 애플리케이션을 이해하고 디버깅하기 위해 설계되었습니다.

42 AWS 공동 책임 모델 : 고객의 책임 

AWS 책임 - 하드웨어 인프라 관리, 운영체제 패치 책임 - 유지 관리, 사용안하는 기능 종료 (고객은 수동으로 종료할 필요 없음)

43 아마존 아테나 : 표준 SQL 사용해 서버리스 쿼리 서비스

레드시프트 : 데이터 웨어 하우스

키네시스 : 스트리밍 데이터 실시간 처리

44 비용 추가 없는 서비스 : AWS Organizations

45 AWS CAF 사람 관점 기능

문화 진화 / 변혁적 리더십 / 클라우드 유창성 / 인력혁신

46 비용 절감

예약 인스턴스: 예약 인스턴스는 일회성 선불 결제 및/또는 더 낮은 시간당 요금에 대한 대가로 온디맨드 가격에 비해 상당한 할인(최대 75%)을 제공합니다. 더 많이 약정할수록 할인 혜택이 커집니다.

Savings Plans: Savings Plans는 온디맨드 요금에 비해 최대 72% 할인된 가격으로 AWS 사용량에 대한 유연한 요금과 절약 혜택을 제공합니다. Savings Plans를 사용하면 1년 또는 3년 동안 특정 사용량(시간당 달러로 측정)을 약정하고 해당 사용량에 대해 더 낮은 요금을 받을 수 있습니다.

47 AWS 지역: AWS 지역은 AWS 데이터 센터(가용성 영역)가 위치한 지리적 위치

Amazon Connect: 고객 서비스 클라우드 컨택센터

AWS Wavelength: 5G 디바이스

AWS Direct Connect: 전용 네트워크 연결 공용 네트워크 우회

48 AWS 가격 계산기

49 Amazon CloudFront를 통해 콘텐츠 전송: Amazon CloudFront는 이미지와 비디오를 포함한 정적 및 동적 콘텐츠를 전 세계 사용자에게 빠르게 제공하는 CDN(콘텐츠 전송 네트워크) 서비스

https://blog.naver.com/imaokiro/223247852386

30 AWS Well-Architected 프레임워크의 핵심 요소

1. 운영 우수성 2. 보안 3. 안정성 4. 성능 효율성 5. 비용 최적화

31. Amazon Simple Notification Service (Amazon SNS)  : A2P 기능 사용하면 문자, 푸시, 이메일로 메세지

32 Access Key : AWS CLI, SDK 또는 AWS API 함께 사용해 AWS 서비스에 요청할 수 있는 프로그래밍 방식 자격 증명

33 스팟 인스턴스 : 짧은 시간동안 / 내결함성

예약인스턴스 : 1년 - 3년

온디맨드: 예약되지않은 가격으로, 2개월 정도

34 민첩성 : 비즈니스 요구사항에 대응하고 혁신하는 능력

35 AWS WAF - SQL Injection 방어 / AWS Sheild - DDos 

36  IAM Access Analyser는 조직 내 리소스와 외부 엔터티와 공유되는 계정을 식별

AWS 서비스 카탈로그: 조직이 AWS에서 사용하도록 승인된 IT 서비스 카탈로그를 생성하고 관리할 수 있게 해주는 서비스입니다.

AWS 시스템 관리자: AWS의 인프라에 대한 가시성과 제어를 가능하게 하는 서비스 세트.

AWS 조직: 여러 AWS 계정을 생성하고 중앙에서 관리하는 조직으로 통합하기 위한 서비스입니다.

37 AWS Artifact는 인증, 증명 및 기타 관련 문서를 포함한 다양한 규정 준수 보고서에 대한 액세스를 제공하는 포털

38 AWS 가 책임지는 비용 : 하드웨어 인프라, 데이터센터 비용, 전력 비용

39 로그인 MFA

20.

예약 인스턴스 : 1년에서 3년

21. AWS Direct Connect : 데이터센터와 AWS 클라우드 간에 전용 네트워크 연결 설정

VPC 피어링: AWS 내 두 개의 Virtual Private Cloud(VPC)를 연결하여 서로 통신

AWS VPN: 인터넷을 통해 온프레미스 네트워크와 AWS VPC 간에 안전하고 암호화된 연결을 제공

D. Amazon Route 53: 확장 가능하고 가용성이 높은 DNS(도메인 이름 시스템) 웹 서비스

22. AWS Region : AWS 글로벌 인프라 물리적 위치

AWS DataSync: AWS DataSync는 온프레미스 스토리지와 Amazon S3 간에 대량의 데이터를 전송하는 서비스

Amazon Connect: Amazon Connect는 클라우드 기반 연락 센터 서비스

AWS Organizations: AWS Organizations는 여러 AWS 계정을 하나의 조직으로 통합하기 위한 서비스

23.

24. 인터넷 게이트웨이는 VPC와 인터넷 간의 통신을 허용하는 수평 확장형, 중복성 및 가용성이 뛰어난 VPC 구성 요소

https://docs.aws.amazon.com/vpc/latest/userguide/VPC_Internet_Gateway.html

25. coupling 종속성 

큐잉 시스템, 스트리밍 시스템, 워크플로우, 로드 밸런서 등의 종속성은 느슨하게 결합되어 있습니다. 느슨한 결합은 구성 요소의 동작을 해당 구성 요소에 의존하는 다른 구성 요소로부터 격리하여 탄력성과 민첩성을 높이는 데 도움

26. IAM 자격 증명 보고서

IAM 액세스 분석기: IAM 정책을 분석하여 잠재적인 문제와 과도한 권한을 식별하지만 비밀번호 및 액세스 키 순환 세부 사항에 특별히 중점을 두지는 않습니다.

AWS Artifact: 주로 자격 증명 감사와 직접적인 관련이 없는 IaC(Infrastructure as Code) 구성을 관리하고 추적하는 데 사용됩니다. IAM 자격 증명 보고서: 이 기본 제공 IAM 기능은 계정 내 사용자 비밀번호 및 액세스 키의 교체 기록에 대한 자세한 정보를 제공합니다. 여기에는 사용자 이름 및 키 ID와 함께 마지막 비밀번호 및 액세스 키 교체 날짜가 표시됩니다. 이는 규정 준수를 위한 비밀번호 감사 및 액세스 키 교체 세부 사항 요구 사항과 완벽하게 일치합니다.

AWS Audit Manager: 다양한 AWS 서비스 전반에 걸쳐 감사를 관리하고 자동화하기 위한 포괄적인 플랫폼을 제공하지만, 쉽게 사용할 수 있는 IAM 자격 증명 보고서에 비해 추가 설정 및 구성이

27 AWS 비용 임계값 알람 - Aws Budget, Amazon Cloudwatch(비용기반으로도 지원)

28. AWS Knowledge Center : 자주 받는 질문에 대한 답변 제공함

AWS Artifact, Amazon Connect 및 AWS Chatbot도 AWS 서비스이지만 자주 묻는 보안 관련 질문에 대한 답변을 제공하도록 특별히 설계되지 않음

29. AWS 고객 책임 - 방화벽 구성할 의무 있음 / 회사 자산 분류도 고객 책임

클라우드의 보안은 - AWS의 책임

클라우드에서의 보안은 - 고객 책임

> 제품 정상적인데 이슈 발생한 경우

10 . Trusted Advisor는 비용 최적화, 성능, 복원력, 보안, 운영 우수성, 서비스 한도의 범주에서 모범 사례 검사를 사용하여 AWS 환경을 지속적으로 평가하고, 모범 사례와의 편차를 해결하기 위한 조치를 권장

11. AWS 클라우드 사용 시 데이터 센터 운영 및 유지 관리 비용 제거 됨

12 AWS 서비스 카탈로그 : AWS 서비스에 직접 액세스하지 않고도 승인된 IT 리소스를 신속하게 프로비저닝

13.  AWS Cost Explorere : 시간 경과에 따른 AWS 지출 및 사용량을 시각화하고, 이해하고, 관리합니다. 상세한 통찰력, 과거 데이터 및 예측을 제공

14.

AWS Glue : 서버리스 데이터 통합 서비스

Amazon Quicksight : 직의 모든 사람이 자연어로 질문하거나 대화형 대시보드를 통해 탐색하거나 기계 학습을 기반으로 패턴과 이상값을 자동으로 찾는 방법으로 데이터에 대한 이해를 높일 수 있음

15. AWS Professional Services :  AWS 마이그레이션 시 전문가 팀 지원 

16.

A. 예약 인스턴스(RI): 예약 인스턴스는 지정된 기간(일반적으로 1년 또는 3년) 동안 용량 예약을 제공하여 온디맨드 인스턴스에 비해 비용 절감 효과를 제공합니다. 그러나 RI는 일반적으로 장기 약정을 포함하므로 2개월과 같은 단기간에는 가장 적합하지 않을 수 있습니다.

B. 전용 호스트: 전용 호스트는 단기 워크로드에는 비용 효율적이지 않으며 필요한 유연성이 부족할 수 있습니다.

C. 스팟 인스턴스: 스팟 인스턴스는 비용 절감 효과를 제공하지만 짧은 통지로 종료되어 잠재적으로 중단될 수 있습니다.

D. 온디맨드 인스턴스: 온디맨드 인스턴스는 사전 약정 없이 종량제 방식으로 용량을 제공합니다. 단기적이고 가변적인 워크로드에 적합하며 장기 약정 없이도 유연성을 제공합니다. 이 시나리오에서 온디맨드 인스턴스는 가동 중지 시간을 피하면서 2개월 동안 비용 효율적인 옵션이 될 것입니다.

17. AWS Elastic Beanstalk : 애플리케이션을 실행하는 인프라에 대해 자세히 알지 못해도 AWS 클라우드에서 애플리케이션을 신속하게 배포하고 관리

18.

Amazon S3의 버전 관리는 동일한 버킷에 객체의 여러 변형을 유지하는 수단입니다.

S3 버전 관리 기능을 사용하면 버킷에 저장된 모든 객체의 모든 버전을 보존, 검색 및 복원할 수 있습니다.

버전 관리가 활성화된 버킷은 실수로 삭제하거나 덮어쓴 객체를 복구하는 데 도움이 될 수 있습니다.

예를 들어, 객체를 삭제하면 Amazon S3는 객체를 영구적으로 제거하는 대신 삭제 마커를 삽입합니다.

19 AWS CloudFormation:  AWS 리소스를 모델링하고 설정하여 리소스 관리 시간을 줄이고 AWS에서 실행되는 애플리케이션에 더 많은 시간을 사용하도록 해 주는 서비스 (인프라 관리 간소화 및 인프라 복제 기능)

aws 

AWSRETAKE24

1.s3로 업로드는 비용 무료

2.아마존 인스펙터 : 자동화된 소프트웨어 취약점 관리 서비스

AWS Config :  AWS 리소스의 구성을 자세히 보여줌

AWS GuardDuty : 위협탐지하여 AWS 계정 보호

3.AWS Storage Gateway : 온프레미스 애플리케이션에 사실상 무제한의 클라우드 스토리지 액세스 제공

4.보안 모범 사례

5. 공유책임 모델 : Dynamo는 데이터 저장할때 암호화함

6.aws caf 기본 기능 : 비즈니스 / 인재 / 거버넌스 / 플랫폼 / 보안 / 운영

https://aws.amazon.com/ko/cloud-adoption-framework/

7. aws fargate : 서버리스 엔진으로 ECS, EKS와 호환 됨 / 컨테이너 서비스

8.AWS 책임 : 물리적인 것 >  EC2 인스턴스가 실행되는 물리적 인프라는 Amazon의 책임

9.AWS 규모 조정 기회 식별 가능 서비스 : AWS Cost explorer / AWS Compute Optimizer

AWS Cost Explorer: 고객은 리소스 수준에서 AWS 비용 및 사용량을 모니터링하여 비용 요인을 식별할 수 있습니다. 

AWS Billing Conductor: 원하는 쇼백 또는 차지백 비즈니스 로직에 맞게 청구 데이터를 사용자 정의할 수 있는 사용자 정의 가능한 청구 서비스 

Amazon CodeGuru: 자동화된 코드 검토를 제공하고 Java에서 성능 최적화를 식별하는 기계 학습 기반 개발자 도구 파이썬, 스칼라, 코틀린

AWS Compute Optimizer: AWS 리소스 사용을 최적화하기 위한 권장 사항 받기(적절한 크기 조정) 

Amazon SageMaker: 개발자가 클라우드에서 기계 학습(ML) 모델을 생성, 교육 및 배포할 수 있는 클라우드 기반 기계 학습 플랫폼 .

요즘 유행하기도 하고 광고 많아
꽂혀버린 가방이 있다

근데 직구 사이트 광고이다 보니
제품의 가격은 원래도 비싸진않은데 (5만원 이하)

해외배송비 등등 수수료포함 해서 7만원 정도된다.

이럴거면 안사고 말지..하고 식어가는 찰나
해당 제품 한국에서도 팔았을 것만 같고 크림에 꼭 있을것만 같아 크림에서 검색해보니 바로 입찰가격이 4.2에 판매되고 있었다..!

근데 크림자체 수수료와 배송비는 별도였고 금액을 포함해도 네이버 검색 시 노출되는 상품보단 몇만원이나 쌌다!

금요일 오전쯤에 구매해서 화요일에 받았다
판매자가 크림 검수센터로 보내고
문제없으면 구매자에게 크림이 상품을 보내준다

이런 프로세스 치고 꽤 뻘리 받았다!!

포장 박스도 깨끗해서 좋았다
요즘 빈대 이슈로 넘 무섭다ㅠㅠ

이렇게 크림에서 검수해준 인증들과 함께 배송이 된다

크림 강추!! 여러분 많이 쓰세요

GCP에서 제공하는 제품 중 하나이다.

SQL로 데이터를 빠르게 조회할 수 있다.

빅쿼리 저장소 개요

https://cloud.google.com/bigquery/docs/storage_overview?hl=ko

빅쿼리 지원 파일 형태

우선 23.10.21 기준 snappy 압축 형태는 지원하지않는다.

후에 지원될지는 모르나 snappy 형태 지원하지않는게 아쉬움이 크다.

여러가지 압축형태로 업로드 해봤는데,

우선 저장하려는 데이터형식이 이쁘게 딱딱 떨어지는 데이터면 CSV형태로 저장해도 나쁘진않을것같다.

근데 원천데이터 자체가 이쁘지않으면 CSV는 매우 비추

parquet나 avro 로 새롭게 압축해서 적재하는 방식을 추천한다.

json형태도 있는데 json경우도 적재하는데 생각보다 쫌 애먹었었다.

데이터중 숫자 데이터들이 좀 특이하게 저장되어있어서 빅쿼리에서 인식이 잘안됐었다.

avro 랑 parquet 작업 속도나 압축률 비교하여 선택하면 될 것 같다.

난 parquet 형식을 사용했다.

hive에서 쿼리로 parquet로 추출하는 것도 지원하고 코드로도 예제가 많다.

그리고 압축률도 좋아서 용량도 작고 avro는 용량이 어찌될지 모르겠다.

parquet로 추출할 때 칼럼명도 같이 추출될 수 있게 작업해주는 것이 좋다.

빅쿼리 파티션

파티션 유무로 쿼리 실행시 슬롯 사용의 갯수가 다른 것으로 알고있다.

아직 파티션 사용해보진않았는데, 후의 가격적인 면까지 고려한다면 테이블 설계시 파티션도 설계를 해야한다.

후에 시간될 때 파티션쪽 확인해볼 예정이다.

https://school.programmers.co.kr/skill_check_assignments/430

들어가기전에

크게 어려운 문제는 아니고 플라스크 써본 경험 있으면 쉽게 풀 수 있는 문제 같다

파이썬으로 과제는 잘 없기도하고 해당 문제도 자바로 풀이한 경우가 많아서 파이썬으로 풀이하려 한다.

main.py에 과제 코드 작성하고 실행해야한다.

작성 완료 후에는 python3 main.py로 코드 실행 후 터미널에서 curl명령어로 테스트 진행 후 코드 제출

요구 조건

1. 서버는 정상일 경우, 200 값 리턴

2. body는 JSON 형태이며,  `Content-Type`을 `application/json` 으로 설정

3. IP 주소는 0.0.0.0, PORT는 5678

첫 번째 문제

0.0.0.0:5678 로 접근 시 200 값 리턴 및 json형태로 "message" : "server check" 값 으로 응답

두 번째 문제

0.0.0.0:5678/sum 로 접근 시 200값 리턴 및 주어진 파일을 읽고 해당 파일에서 post_count 필드의 합의 값 리턴

json형태로 "sum" : 0000

0000은 임의의 숫자 임.

문제 풀이

우선 0.0.0.0, 5678포트를 가진 서버를 띄울 수 있게 코드를 작성한다.

파이썬에서 Flask 라이브러리 설치한다.

requirements.txt

Flask

터미널 창에서 pip 명령어로 라이브러리 설치

pip3 install -r requirements.txt

host 0.0.0.0, port 5678로 띄울 수 있는 코드 이다.

터미널에서 python3 main.py 입력 시 해당 호스트랑 ip로 뜨는 것 확인 할 수 있다.

from flask import Flask

app = Flask(__name__)

@app.route("/")
def home():
    print("Hello World")


if __name__ == '__main__':
    app.run(host='0.0.0.0',port=5678,debug=True)

curl -X GET 0.0.0.0:5678 -H 'Content-Type: application/json'

200값과 message: server check 리턴 하는 코드 작성한다.

json값으로 리턴하는 방법은 파이썬 함수 return 할 때, jsonify를 사용하여 리턴해주면 된다.

200값도 뒤에 추가하면 어렵지 않게 풀이 할 수 있다.

curl -X GET 0.0.0.0:5678/sum -H 'Content-Type: application/json'

200값과 sum: ???? 리턴 하는 코드 작성한다.

여기서 json파일을 읽고 필드 값 중 post_count 값만 누적하여 구하는 코드를 작성하면 이렇게 된다.

import json
post_count = 0

file_path = "./data/input/user.json"
with open(file_path, 'r', encoding="utf8") as file:
    json_data = json.load(file)

for data in json_data:
    post_count += (data['post_count'])

print(post_count)

해당 코드를 적절히 main.py에 작성하면 된다.

참고 사이트

https://www.bucketplace.com/post/2021-04-13-%EB%B2%84%ED%82%B7%ED%94%8C%EB%A0%88%EC%9D%B4%EC%8A%A4-airflow-%EB%8F%84%EC%9E%85%EA%B8%B0/