data_lab

스칼라 클래스에 관해 정리함 https://docs.scala-lang.org/overviews/scala-book/classes.html 기본 클래스 생성자 class Person(var firstName: String, var lastName: String) val p = new Person("Bill", "Panner") println(p.firstName + " " + p.lastName) //Bill Panner p.firstName = "William" p.lastName = "Bernheim" val는 필드를 읽기 전용으로 만듦 val(value) : 변경할 수 없음 var(variable) : 변경할 수 있음 스칼라를 사용하여 객체 지향 프로그래밍 코드를 작성하는 경우 var 필드를 변경할..

스칼라의 맛 스칼라 특징 정적 타입 구문 간결하며 읽기 쉬움 객체 지향 프로그래밍 과 함수형 프로그래밍 패러다임 지원 정교한 유형 추론 시스템? JVM에서 실행되는 클래스파일 생성 자바 라이브러리 사용하기 쉬움 Hello, World Hello.scala object Hello expends App { println("Hello, World") } 두 가지 유형의 변수 val : 불변 변수 - 자바에서 final과 같음 var : 가변 변수 - 특별한 이유가 있을 때만 사용 변수 유형 선언 유형을 선언하지 않고 변수를 만듦 val x = 1 val s = "string" val p = new Persion("Regina") 데이터 유형을 유추할 수 있으며, 코드 간결하게 유지하는데 도움됨 유형 명시할 수..

하둡기초 하둡과의 만남 맵리듀스 데이터 처리를 위한 프로그래밍이다. 맵과 리듀스 각 단계는 입력과 출력으로 키-값 쌍 입력 - 맵 - 셔플 - 리듀스 - 출력 맵리듀스 잡 - 클라이언트가 수행하는 작업의 기본 단위 잡 - 맵 태스크, 리듀스 태스크 각 태스크는 YARN을 이용해 스케쥴링됨 맵 태스크의 결과는 HDFS가 아닌 로컬에 저장됨 잡이 완료된 후 맵 태스크의 결과는 버림 하둡 분산 파일시스템 분산파일시스템 - 네트워크로 연결된 여러 머신의 스토리지를 관리하는 파일시스템 네트워크 프로그램의 복잡성을 가지고 있으며, 최대 난제는 특정 노드에 장애가 발생해도 자료가 유실되지않음 HDFS의 기본블록단위는 128MB로 굉장히 큰 단위 -> 탐색 비용을 최소화 하기위함 블록이 매우 크면 블록의 시작점을 탐색..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

스왑 메모리 끄는 이유 - 스왑 메모리? : 메모리가 가득차고 더 많은 메모리 필요할 때, 하드디스크를 메모리처럼 사용 (속도 느림) (디스크를 가상메모리) 이전 릴리즈에서 Kubernetes는 Linux에서 스왑 메모리 사용을 지원하지 않음. 스왑이 관련될 때 포드 메모리 사용률을 보장하고 고려하기 어렵기 때문입니다. Kubernetes의 이전 설계의 일부로, 스왑 지원은 범위를 벗어난 것으로 간주되었으며, 노드에서 스왑이 감지되면 기본적으로 쿠블렛이 시작되지 않습니다. k8s 1.22 alpha version 노드 시스템 스왑(swap) 지원 모든 시스템 관리자나 쿠버네티스 사용자는 쿠버네티스를 설정하거나 사용할 때 스왑 공간(space)을 비활성화해야 한다는 동일한 상황에 놓여 있었습니다. 쿠버네티..