[3과목] 5과목 2절 분류 분석

분류분석

의사결정나무 방법론

의사결정나무 방법론 종류별 특성

R프로그래밍

---

분류분석

• 데이터가 어떤 그룹에 속하는지 예측하는데 사용
• 클러스터링과 유사하지만, 분류분석은 각 그룹이 정의되어있음
• 교사학습에 해당
• 범주형 속성의 값 알아 맞히기

예측분석

• 시간에 따른 값 두개만을 이용해 앞으로의 매출 또는 온도등 예측
• 모델링을 하는 입력데이터가 어떤것인지에 따라 특성 다름
• 한개의 설명변수
• 연속형 속성의 값을 안아맞히는 것

 

분류기법

회귀분석, 로지스틱 회귀분석

의사결정나무

베이지안 분류

인공신경망

지지도벡터기계

K 최근접 이웃

규칙기반의 분류와 사례기반추록

 

로지스틱 회귀분석

 

의사결정나무

나무 모양으로 그리는 방법

의사결정이 이뤄지는 시점과 성과를 한눈에

해석이 간편

입력값에 대해 출력값을 예측

 

 

예측력 치중 - 고객의 유치방안을 예측 

해석력 치중 - 이유 설명

 

의사결정나무 활용

1) 세분화 - 그룹별 특성 발견

2) 분류 - 관측개체의 목표변수 범주를 몇 개의 등급으로 분류하고자

3) 차원축소 및 변수선택 - 매우많은 수의 예측변수 중 목표변수에 큰 영향 미치는 변수 골라내고자

5) 교호작용효과의 파악 - 목표변수에 작용하는 규칙을 파악하고자

 

의사결정나무 장점

설명용이

계산 복잡하지않음

대용량 데이터에서도 빠름

비정상 잡음 데이터에 대해서도 민감함 없음

한 변수와 상관성이 높은 다른 불필요한 변수 있어도 영향 없음

설명변수나 목표변수에 수치형변수와 범주형변수를 모두 사용 가능

모형 분휴 정확도가 높음

 

의사결정나무 단점

새로운 자료에 과대적합 발생 가능성 높음

분류 경계선 부근의 자료값에 대해서 오차큼

설명변수 간의 중요도를 판단하기 어려움

 

의사결정나무 분석 과정

1) 성장 단계

분리규칙

분리기준 - 이산형 목표변수 : 카이제곱 통계량 p값, 지니지수, 엔트로피 지수  

            - 연속형 목표변수 : 분산분석에서 F 통계량, 분산의 감소량

정지규칙

2) 가지치기 단계

자료가 일정 수 이하일 때 분할 정지하고 비용-복잡도 자기치기를 이용

3) 타당성 평가 단계

4) 해석 및 예측 단계

 

의사결정나무 알고리즘

CART - 불순도의 측도로 출력변수가 범주형일 경우 지니지수 이용, 연속형인 경우 이진분리

C4.5, C5 - 각 마디에서 다지분리 가능하며 범주형 입력변수에 대해서 범주의 수만큼 분리, 엔트로피 지수 이용

CHAID - 카이제곱 통계량 사용해 불순도 측도, 적당한크기에 성장 중지해 가지치기 안함

 

party 패키지 - 의사결정나무 사용하기 편함