스칼라의 맛

스칼라 특징

정적 타입
구문 간결하며 읽기 쉬움
객체 지향 프로그래밍 과 함수형 프로그래밍 패러다임 지원
정교한 유형 추론 시스템?
JVM에서 실행되는 클래스파일 생성
자바 라이브러리 사용하기 쉬움

Hello, World

Hello.scala

object Hello expends App {
	println("Hello, World")
}

두 가지 유형의 변수

val : 불변 변수 - 자바에서 final과 같음
var : 가변 변수 - 특별한 이유가 있을 때만 사용

변수 유형 선언

유형을 선언하지 않고 변수를 만듦

val x = 1
val s = "string"
val p = new Persion("Regina")

데이터 유형을 유추할 수 있으며, 코드 간결하게 유지하는데 도움됨
유형 명시할 수 있으나 일반적으로 필요하지않음

제어 구조

if (test1) {
    doA()
} else if (test2) {
    doB()
} else if (test3) {
    doC()
} else {
    doD()
}

삼항 연산자

val x = if (a < b) a else b

match 표현식

스칼라에서 match는 자바에서 swtich와 유사함

val result = i match {
    case 1 => "one"
    case 2 => "two"
    case _ => "not 1 or 2"
}

정수로만 제한되않고 boolean을 포함한 모든 데이터 사용함

val booleanAsString = bool match {
    case true => "true"
    case false => "false"
}

try/catch 표현식

자바 try/catch와 유사하지만 match 표현식과 일치함

try {
    writeToFile(text)
} catch {
    case fnfe: FileNotFoundException => println(fnfe)
    case ioe: IOException => println(ioe)
}

for loop와 표현식

for (arg <- args) println(arg)

// "x to y" syntax
for (i <- 0 to 5) println(i)

// "x to y by" syntax
for (i <- 0 to 10 by 2) println(i)

for-loop에 키워드를 추가하여 결과를 산출하는 yeild 생성할 수 있음

val x = for (i <- 1 to 5) yield i * 2

while do/while 표현식

// while loop
while(condition) {
    statement(a)
    statement(b)
}

// do-while
do {
   statement(a)
   statement(b)
} 
while(condition)

클래스

class Person(var firstName: String, var lastName: String) {
    def printFullName() = println(s"$firstName $lastName")
}

val p = new Person("Julia", "Kern")
println(p.firstName)
p.lastName = "Manes"
p.printFullName()

스칼라 메서드

반환 유형 선언할 필요 없음

def sum(a: Int, b: Int) = a + b
def concatenate(s1: String, s2: String) = s1 + s2

메서드 호출하는 방법

def sum(a: Int, b: Int) = a + b
def concatenate(s1: String, s2: String) = s1 + s2

trait

추 후에 자세히 봐서 지금은 그냥 넘김

Collection Class

튜플

표현식은 여기서 대충 이해하고 넘길거임

하둡기초

하둡과의 만남

맵리듀스

데이터 처리를 위한 프로그래밍이다.

맵과 리듀스

각 단계는 입력과 출력으로 키-값 쌍

입력 - 맵 - 셔플 - 리듀스 - 출력

맵리듀스 잡 - 클라이언트가 수행하는 작업의 기본 단위

잡 - 맵 태스크, 리듀스 태스크

각 태스크는 YARN을 이용해 스케쥴링됨

맵 태스크의 결과는 HDFS가 아닌 로컬에 저장됨

잡이 완료된 후 맵 태스크의 결과는 버림

하둡 분산 파일시스템

분산파일시스템 - 네트워크로 연결된 여러 머신의 스토리지를 관리하는 파일시스템

네트워크 프로그램의 복잡성을 가지고 있으며, 최대 난제는 특정 노드에 장애가 발생해도 자료가 유실되지않음

HDFS의 기본블록단위는 128MB로 굉장히 큰 단위 -> 탐색 비용을 최소화 하기위함

블록이 매우 크면 블록의 시작점을 탐색하는 데 걸리는 시간 단축 가능

데이터를 전송하는 데 더 많은 시간을 할애할 수 잇음

HDFS는 단일 디스크를 위한 파일시스템처럼 특정 블록 크기의 청크로 쪼개지고 각 청크는 독립적으로 저장

YARN

하둡 I/O

데이터 압축 포맷 - snappy

직렬화 - 네트워크 전송을 위해 구조화된 객체를 바이트 스트림으로 전환하는 과정

역직렬화 - 바이트 스트림을 일련의 구조화된 객체로 역전환하는 과정

맵리듀스

맵리듀스 프로그래밍

맵리듀스 작동방법

맵리듀스 타입과 포맷 

맵리듀스 기능

하둡운영

하둡 클러스터 설정

하둡 관리

파이시스템ㅁ의 클라이언트가 쓰기 동작(파일 생성이나 이동)을 하면 일단 에디트 로그에 해당 내역이 기록네임노드는 파일시스템의 메타데이터를 인메모리로 관리하는데에티트 로그를 먼저 변경한 후 메모리상의 메타데이터도 변경함

클라이언트의 읽기 요청에는 인메모리 메타데이터만 사용한다

에디트 로그는 개념적으로는 단일 개체지만 디스크에서는 다수의 파일로 관리됨각 파일을 세그먼트라고함

네임노드는 쓰기동작이 끝날 때 마다 성공했다는 결과를 클라이언트에 알려주기 전에 에디트로그를 플러시하여 동기화시킨다.네임노드는 여러개의 디렉터리에 에디트로그를 기록할 수 있기 떄문에 변경 내역을 모든 에디트 로그 복제본 파일에 플러시하고 동기화한 후 성공했다는 것을 알려주어야함 -> 어떠한 기계적 결함에도 데이터가 손실되지않기를 위함

각각의 fsimage 는 파일시스템 메타데이터의 완전하고 영속적인 체크포인트쓰기 동작이 있을 때 마다 fsimage를 변경하지는 않음 -> fsimage가 기가바이트 단위로 커지면 성능이 매우느려지기 때문

만약 네임노드 장애 발생 시-> fsimage 를 메모리에 로드하고 에디트 로그파일에서 특정 지점 이후에 발생한 변경 내역들을 메모리에 반영하여 파일시스템의 메타데이터를 최신상태로 복원할 수 있고 이와 동일한 과정이 네임노드 서비스가 시작될 때 수행된다.

네임노드가 재시작될 경우 매우 큰 에디트 로그의 변경 내역을 모두 적용하기 위해서는 상당한 시간이 소요됨이작업이 수행되는 동안은 파일시스템을 사용하지 못함--> 문제의 해결책은 Secondary Namenode를 운영하는 것이다.Namenode의 메모리에 있는 파일시스템의 메타데이터의 체크포인트를 만드는 것

스왑 메모리 끄는 이유

- 스왑 메모리? : 메모리가 가득차고 더 많은 메모리 필요할 때, 하드디스크를 메모리처럼 사용 (속도 느림) (디스크를 가상메모리)

이전 릴리즈에서 Kubernetes는 Linux에서 스왑 메모리 사용을 지원하지 않음. 스왑이 관련될 때 포드 메모리 사용률을 보장하고 고려하기 어렵기 때문입니다. Kubernetes의 이전 설계의 일부로, 스왑 지원은 범위를 벗어난 것으로 간주되었으며, 노드에서 스왑이 감지되면 기본적으로 쿠블렛이 시작되지 않습니다.

k8s 1.22 alpha version

노드 시스템 스왑(swap) 지원

모든 시스템 관리자나 쿠버네티스 사용자는 쿠버네티스를 설정하거나 사용할 때 스왑 공간(space)을 비활성화해야 한다는 동일한 상황에 놓여 있었습니다. 쿠버네티스 1.22 릴리스에서는 노드의 스왑 메모리를 지원합니다(알파). 이 변경은 블록 스토리지의 일부를 추가적인 가상 메모리로 취급하도록, 관리자의 옵트인(opt in)을 받아서 리눅스 노드에 스왑을 구성합니다

https://kubernetes.io/blog/2021/08/09/run-nodes-with-swap-alpha/