[3과목] 5장 4절 인공신경망 분석

인공신경망 이해

고려사항

R프로그래밍 기법

예측분석

 

인공신경망 분석 ANN

인간 뇌를 기반으로 한 추론 모델로 뉴런은 기본적인 정보처리의 단위이다.

가중치를 반복적으로 조정하며 학습한다.

 

구조

입력 링크에서 여러 신호를 받아서 새로운 활성화 수준을 계산하고, 출력 링크로 출력 신호를 보냄

입력신호 - 미가공 데이터, 다른 뉴런의 출력

출력신호 - 문제의 최종적인 solution, 다른뉴런의 입력 신호

 

뉴런의 계산

전이함수(활성화 함수) 사용한다.

 

뉴런의 활성화 함수

1) 시그모이드 함수 

로지스틱 회귀분석과 유사, 0~1의 확률을 가짐

2) softmax 함수

표준화지수 함수로 불리며 출력값이 여러개 주어짐

목표치가 다범주인 경우 각 범주에 속할 사후확률을 제공

3) Relu 함수

입력값이 0이하는 0

입력값이 0 이상은 x값을 가지는 함수 이며

딥러닝에서 많이 활용하는 활성화 함수

 

단일 뉴런의 학습 - 단층 퍼셉트론

퍼셉트론은 선형 결합기와 하드 리미터로 구성됨

초평면은 n차원 공간을 두개의 영역으로 나눔

초평면을 선형 분리함수로 정의

 

신경망 구축 시 고려사항

1) 입력변수

입력자료 선택에 매우 민감함

입력 변수 범주형 -> 모든 범주에서 일정 빈도이상의 값을 갖고 각범주의 빈도가 일정

입력 변수 연속형 -> 입력변수 값들의 범위가 변수간의 큰 차이가 없을 때

 

연속형 변수의 경우 분포가 평균 중심으로 대칭이 아니면 좋지 않은 결과를 도출하기에 아래 방법 활용

- 변환 : 고객의 소득 : 로그변환

- 범주화 : 각 범주의 빈도가 비슷하게 되도록 설정 

 

2) 가중치의 초기값과 다중 최소값 문제

역전파 알고리즘은 초기값에 따라 결과가 달라짐

가중치가 0 -> 시그모이드 함수는 선형

일반적으로 초기값을 0근처로 랜덤하게 선택해 초기모형은 선형 모형에 가깝고

가중치 값이 증가될수록 비선형 모형

 

3) 학습모드

온라인 학습모드

- 각 관측값을 순차적으로 하나씩 신경망에 투입해 가중치 추정값이 매번 바뀜

- 속도 빠르며 유사값이 많은 경우 차이가 두드러짐

- 훈련자료가 비정상성과 같이 특이한 성질을 가진 경우가 좋음

-국소최솟값에서 벗어나기 쉬움

확률적 학습 모드

- 온라인 학습 모드와 같으나 신명망에 투입되는 관측값의 수서가 랜덤

배치 학습 모드

- 전체 훈련자료를 동시에 신경망에 투입

 

4) 은닉층과 은닉노드의 수

은닉층, 은닉노드가 많으면 가중치 많아짐 -> 과대 적합

은닉층, 은닉노드가 적으면 과소적합

은닉층은 하나로만 선정

은닉노드의 수는 적절히 큰 값으로 놓고 가중치를 감소시켜 적용

 

5) 과대 적합 문제

알고리즘의 조기종료와 가중치 감소 기법으로 해결

검증오차 증가하기 시작하면 조기종료 시행

가중치감소라는 변점화 기법 활용