[3과목] 5과목 1절 데이터마이닝의 개요

데이터 마이닝?

데이터마이닝 방법론

데이터 마이닝 절차

---

데이터마이닝

대용향 데이터에서 의미있는 패턴을 파악하거나 예측하여 의사결정에 활용

통계분석은 가설이나 가정에 따른 분석이나 검증을 하지만 데이터 마이닝은 의미있는 정보를 찾아냄

 

데이터마이닝 분석 방법

1) 지도학습

의사결정나무

인공신경망

일반화 선형 모형

회귀분석

로지스틱 회귀분석

사례기반 추록

최근접 이웃법

2) 비지도 학습

OLAP

연관석 규칙발견

군집분석

SOM

 

데이터마이닝 추진단계

1. 목적 설정
2. 데이터 준비
3. 가공
4. 기법 적용
5. 검증

데이터마이닝을 데이터 분할

• 구축용 50%
• 검정용 30%
• 시험용 20%

성과분석

Accuracy

Specificity

Sensitivity

Precision

Recall

 

RoCR 패키지로 성과분석

세로축 ->민감도

가로축 -> 1-특이도

곡선 아래의 면적 = AUROC 클수록 성능 좋음

 

R프로그래밍 코드

library(rpart)

library(party)

library(ROCR)

x<- kyphosis[sample(1:nrow(kphosis), nrow(kphosis), replace=F),]

 

이익도표

분류모형의 성능을 평가하귀 위한 척도

 

과대적합 - 모형이 학습용 데이터를 과하게 학습하여 테스트 데이터나 다른 데이터 적용 시 성능 떨어짐

과소적합 - 모형이 단순하여 패턴이나 규칙을 제대호 학습하지 못함