[3과목] 5과목 3절 앙상블 분석

앙상블 기법

배싱, 부스팅, 랜덤 포레스트 기법의 차이

 

앙상블

주어진 자료로부터 여러개의 예측모형들을 만든 후 예측 모형들을 조합하여 하나의 최족 예측 모형을 만드는 방법

 

 

앙상블 기법의 종류

배깅

Breiman에 의해 제안된 배깅

여러 개의 부트스트랩 자료를 생성하고 예측 모형을 만든 후 결합하여 최종 예측모형을 만드는 방법

보팅 은 여러개의 모형으로 부터 산출된 결과를 다수결에 의해서 최종 결과를 선정

가지치기 하지않고 최대로 성장한 의사결정 나무 활용

배깅은 평균예측모형을 구해 분산을 출이고 예측력을 향상시킴

부스팅

예측력이 약한 모형들을 결합하여 강한 예측모형을 만드는 방법

adaboost - 이진분류에서 랜덤 분류기보다 조금 더 좋은 분류기 n개에 각각 가중치를 설정하고 n개의 분류기를 결합해 최종 분류기를 만드는 방법을 제안

훈련오차를 빨리 쉽게 줄일 수 있음

배깅에 비해 많은 경우 예측오차가 향상 - 배깅 보다 성능이 뛰어난 경우가 많은

랜덤 포레스트

의사결정나무의 특징이 분산이 크다는 점을 고려해 배깅과 부스팅보다 더많은 무작위성을 주어

약한 학습기들을 생성한 후 이를 선형 결합하여 최종 학습기를 만드는 방법

랜덤 포레스트에는 많은 츠리 생성

정확도 높음

해석이 어려움, 예측력 매우 높음

 

**부트스트랩에서 샘플 추출하더라도 한번도 선택되지않는 원데이터가 발생할 수 있는데, 전체 샘플의 약 36.8% 비율**