AWS EMR

AWS EMR 은 빅데이터 플랫폼 이다. (하둡 플랫폼)

 

클러스터 구성

- 마스터 

Hadoop 의 HDFS Namenode, YARN Resource Manger가 실행되는 인스턴스 이다.

- 코어

마스터 노드에서 관리하며, Hadoop 의 HDFS Datanode, Yarn Nodemanager, MapReduce Task Tracker, Spark Executor 실행함

- 태스크 

Datanode 실행하지 않으며, HDFS에 데이터를 저장하지도 않음

Spark executor, MapReduce 와 같은 작업을 실행함