[Apache Livy] Apache Livy / 아파치 리비란?

spark 작업관리

 

Apache Livy는 REST 인터페이스를 통해 Spark 클러스터와 쉽게 상호 작용할 수 있는 서비스입니다. 간단한 REST 인터페이스 또는 RPC 클라이언트 라이브러리를 통해 Spark 작업 또는 Spark 코드 스니펫, 동기 또는 비동기 결과 검색, Spark 컨텍스트 관리를 쉽게 제출할 수 있습니다. 또한 Apache Livy는 Spark와 애플리케이션 서버 간의 상호 작용을 단순화하여 대화형 웹/모바일 애플리케이션에 Spark를 사용할 수 있도록 합니다. 추가 기능은 다음과 같습니다.

• 여러 클라이언트에서 여러 Spark 작업에 사용할 수 있는 장기 실행 Spark 컨텍스트 보유
• 여러 작업 및 클라이언트에서 캐시된 RDD 또는 데이터 프레임 공유
• 여러 Spark Context를 동시에 관리할 수 있으며, 우수한 내결함성과 동시성을 위해 Livy Server 대신 클러스터(YARN/Mesos)에서 Spark Context를 실행합니다.
• 작업은 미리 컴파일된 jar, 코드 조각 또는 java/scala 클라이언트 API를 통해 제출할 수 있습니다.
• 보안 인증 통신을 통한 보안 확보