data_lab

1과목은 쉬워서 이틀이면 되는 분량이다.
난 회사를 다니고 있어서 한달 정도 준비기간을 넉넉하게 잡았는데 충분한거같다
고득점이 목표가 아니라면?

후기보면 2과목 3과목이 힘들다고 하는데
2과목은 생각치도 못한 문제가 나오거나
3과목은 그냥 양이 방대해서 힘들다.

그래도 이래나 저래나 자격증시험이기 때문에
시험보고 느낀점은 아 그냥 기출 엄청 많이 풀어볼걸 그랬나? 였다.

1과목, 2과목은 양이적어서 그냥 기출을 외우려고 했고
3과목은 아리까리한 문제들은 이해하지않고 외우려고 했다.
어떻게 외워요ㅜㅜ생각이 들수도 있지만 5만원 결제 된걸 보니 아까워서 외우게 된다.

데이터진흥원에서 나온 자격검정실전문제도 있는데
얘는 애매하다. 이걸보고 민트책 문제보면 괴리감이 장난아니다.
둘 다 기출일텐데 잡고있는 포인트가 다른 느낌?
그래서 그냥 민트책만 보는게 좋다

민트책만 보고 과목 사이에 기출은 아끼지 말고 풀 것
R프로그래밍에 목숨걸지 말 것이다.

이번에 나오긴했나? 정도로 기억도 안난다. 나와도 재수없으면 3문제일것같은데
네이버 블로그에 싹 정리해놓은게 기억이나는데
seq(1,2,3) 등과 같은 함수 이런게 어떤 역할 하는지 정도만 그냥 한번 보고..
기출에서 너무너무 이해가 안간다면 쥬피터로 한번돌려보고
그래도 충분할듯 3시간 이상은 시간안쓰는게 좋을듯 하다.

그리고 기출보다보면 아~이렇게 보는거구나 싶다 3과목은
그냥 틀리는거 당연하지 하고 해설이나 네이버카페에서 설명참고 해서 푸는게 좋다.

그리고 맨뒤 기출은 꼭 푸는게 좋다.
시험이 총 50문제인데, 3과목은 양도 많은데 어디서 문제가 어떻게 나올지 감이없다
기출풀다보면 아~ㅎ 하는게 생김

이번엔 오분율표도 아예 안나온듯?
이상한게 개많이 나왔는데...도 할만했음

아마 이번처럼 이상하게 안내면 풀만할듯? 70점은 그냥 나올지도
그리고 주관식에서 점수 많이 챙겨야한다
왜냐면 2과목 조질게 뻔하고 3과목 반타작할게 뻔하기에 1과목 다맞고 가자는 생각해야한다..ㅠㅠ
예 합격

과제 중심적인 방식           마스터 플랜 단위

speed & test                      Accuracy&Deploy

quick & win                       Long Term view

problem solving                  problem Definition

분석 기획시 고려사항

- 가용 데이터에 대한 고려

- 적절한 활용방안과 유즈케이스

- 장애요소들에 대한 사전계획 수립

데이터 기반한 의사결정 방해요소 - 프레이밍효과, 편향된 생각, 고정관념

-프레이밍 효과 :표현방식 및 발표자에 따라 동일한 사실에도 판단을 달리하는 현상

분석방법론 개요

- 절차, 방법, 도구와 기법, 템플릿과 산출물

분석 방법론

암묵지 - 체화되어있지만 드러나지않는 지식

형식지 - 문서나 매뉴얼 처럼 형상화된 지식

방법론의 적용업무에 따른 모델

- 폭포수 모델 

- 프로토타입

- 나선형모델 : 점증적 개발하는 방법

방법론의 구성 단계 > 태스크 > 스텝

KDD 분석 방법론

데이터셋 선택 - 데이터 전처리 - 데이터  변환 - 데이터 마이닝 - 데이터 마이닝 결과 평가

CRISP-DM 분석 방법론

업무이해 - 데이터 이해(선택, 전처리) - 데이터 준비(전처리) - 모델링(마이닝) - 평가(결과 평가) - 전개

빅데이터 분석 방법론

분석기획 - 데이터 분비 - 데이터 분석 - 시스템 구현 - 평가 및 전개

분석 과제 발굴 (과제 발굴 후 과제 수행)

- 하향식 접근방법(최적화 > 솔루션) 문제주어지고 이에 대한 해법을 찾기 위하여 각 과정이 체계적으로 단계화

문제 탐색 - 문제정의 - 해결방안 탐색 - 타당성 검토

-- 비즈니스 모델 기반 문제 탐색

-- 범위 확장

• 업무, 제춤, 고객, 규제 & 감사, 지원 인프라
• 거지석 관점의 메가 트랜드 STEEP
• 경쟁자 확대 관점 - 대체자, 경쟁자, 신규 진입자
• 시장의 니즈 탐색 관점 - 고객, 채널, 영향자
• 역량의 재해석 관점 - 내부역량, 파트너와 네트워크

외부 참조 모델기반 - 테마 후보 그룹을 통해 quick & easy

분석 유즈 케이스

문제정의 - 비즈니스 문제를 데이터의 문제로

해결방안 탐색

타당성 검토 - 경제적, 데이터 및 기술적

- 상향식 접근방법

디자인 사고 접근법 통해 하향식 극복

감정이입 - define - ideate - prototype - test

비지도 학습 - 장바구니, 군집

지도학습

프로토 타입

분석 프로젝트 관리

주요영역 - Data Size, Data Complexity, Speed, Analytic Complexity, Accuracy& Precision

분석 마스터 플랜

우선순위 고려 - 전략적 중요도, 비즈니스 성과/ROI, 실행용이성

적용범위, 방식 고려요소 - 내제화, 데이터 적용, 지굿ㄹ 적용 수준

ISP - 공공기관에서 계획 수립

시급성 3-4-2

난이도 3-1-2

거버넌스 구성 - 과제 기획 및 운영 프로세스, 시스템, 데이터, HR, 조직

분석 준비도 - 분석 업무, 분석인력&조직, 분석기법, 분석데이터, 분석 문화, 분석 인프라

분석 성숙도 - 도입>활용>확산>최적화

성숙도 평가 모델 - CMMI

거버넌스 구성요소 - 원칙, 조직, 프로세스

데이터 표준화

데이터 관리 체계

데이터 저장소 - 워크플로우, 사전영향 평가

표준화 활동

분석 조직 구조

- 집중 구조 : 이중화/이원화 가능성 높음

- 기능 구조 : 별도 분석조직 없음

- 분산 구조 : 신속한 액션 가능

***과제발굴 > 과제수행 ***

BI 키워드 - Information, Ad hoc Report, Alerts, Clean Data

• 1절 통계분석 이해
• 2절 기초 통계 분석
• 3절 회귀 분석
• 4절 시계열 분석
• 5절 다차원 척도법과 주성분 분석

표본 추출 방법 - 단순랜덤추출법, 계통추출법, 집락추출법, 층화추출법

측정방법 - 명목척도, 순서척도, 구간척도, 비율척도(0이존재, 사칙연산가능)

통계분석 - 불확실한 현상 > 의사결정

• 기술통계 : 통계집단들의 여러 특성을 수량화 해 객관적인 데이터로 나타냄
• 통계적 추론 : 모집단에 대한 의사결정 하는 것
  • 모수 추정 : 모집단의 특성인 모수(평균, 분산) 분석
  • 가설 검정 : 옳은지 그른지
  • 예측 : 효율적인 의사결정

확률 

• 확률분포
  • 이산형 확률변수 : 0이 아닌 확률값을 갖는 확률 변수를 셀 수 있는 경우 (동전던지기)
    • 베르누이 확률분포
    • 이항분포
    • 기하분포
    • 다항분포
    • 포아송분호
  • 연속형 확률변수 : 가능한 값이 실수의 어느 특정구간 전체에 해당
    • 균일분포
    • 정규분포 : 평균이 0
    • 지수분포
    • t-분포 : 두 집단의 평균 동일 한지 검정통계량으로 활용
    • 카이제곱분포 : 두 집단간의 동질성 검정
    • F-분초 : 두 집단간 분산의 동일성 검정 (자유도 2개가지고 자유도 클수록 정규분포에 가까움)

추정

• 점추정 : 모수가 특정 값
• 구간 추정 : 특정한 구간에 모수

가설검정

• 귀무가설 : 비교하는 값과 동일
• 대립가설 : 뚜렷한 증거있을 때
• 검정통계량 : 가설의 진의 판단
• 제1종오류 : 귀무가설 옳은데도 기각 (알파)
• 제2종오류 : 귀무가설 틀려도 귀무가설 채택 (베타)

비모수 검정 : 모집단에 아무 제약 가하지 않고 검정 실시, 자료수 30개 미만, 서열관계 나타낼때

• 가정된 분포가 없어 분포의 형태에 대해 설정
• 관측값들의 순위나 두 관측값 차이의 부호
• 부호검정, 윌콕슨, 만 위트니, 런검정, 스피어만

인과관계 이해

종속변수 : 영향받음

독립변수 : 영향 줌

산점도 : 좌표평면위의 점들

공분산 : 두변수간의 방향성 (+,-) cov

상관분석 : 두 변수간의 관계의 정도 cor

• 피어슨 
  • 등간척도 이상, 두 변수의 상관관계 측정
  • 연속형, 정규성 가정
  • 피어슨
• 스피어만
  • 서열척도
  • 순서형,비모수적
  • 순위를 기준으로
  • 순위상관계수

회귀분석 : 하나이상의 독립변수들이 종속변수에 미치는 영향 추정

• 가정
  • 선형성
  • 등분산성
  • 독립성
  • 비상관성
  • 정상성(정규성) Q-Qplot, kolmogolov, shprio, histogram
• 검증
  • 단순선형회귀분석
    • t-통계량의 p-값이 < 0.05 유의
    • 결정계수 확인, 높을수록 설명력 높아 Multiple R-squared
  • 다중선형회귀분석
    • t-통계량 통해 확인
• 최적회귀방정식
  • 필요한 변수만 상황에 다라
  • 모형선택 
  • 단계적 변수선택
    • 전진선택법
    • 후진제거법
    • 단계선택법
  • 선택기준 : AIC, BIC 중 최소가 되는 모형 선택

시계열 분석 : 시간에 흐름에 따라 관찰된 값들

정상성 - 평균 일정, 분산 일정, 공분산도 특정 시점에 의존하지않음

시계열자료 분석방법

• 일변량 시계열 분석 
• 다중 시계열 분석

이동평균법 : 과거 ~ 현재까지 대상으로 일정기간병 이동평균 계산

지수평활법 : 최근 시계열에 가중치, 모든 시계열 사용해 평균

시계열 모형 

• 자기회귀모형 AR
  • p 시점 전의 자료가 현재 자료에 영향을 주는 모델
• 이동평균모형 MA
  • 유한한 개수의 백색잡음의 결합, 언제나 정상성 만족
• 자기회귀누적이동평균 모형 ARIMA(p,d,q)
  • p : AR모형
  • q: MA모형
  • d=0 > ARMA
  • p=0 IMA
  • q=0 ARI
• 분해 시계열
  • 추세요인 : 자료가 오르거나 내리거나
  • 계절요인 : 고정된 주기
  • 순환요인 : 딱이 주기없음ㅁ
  • 불규칙요인 : 오차

다차원 척도법

객체간 근접성

유사성, 비유사성을 2차원, 3차원에 표현

• 목적
  • 패턴, 구조찾기
  • 기하학적
  • 데이터 축소
  • 의미 부여
• 방법
  • 유클리드 거리 행렬 : 개체들간의 거리
• 종류
  • 계량적 MDS
  • 비계량적 MDS
    • 순서척도일경우

주성분 분석

요인분석

공통점

차이점

Cumulative

데이터 마이닝?

데이터마이닝 방법론

데이터 마이닝 절차

데이터마이닝

대용향 데이터에서 의미있는 패턴을 파악하거나 예측하여 의사결정에 활용

통계분석은 가설이나 가정에 따른 분석이나 검증을 하지만 데이터 마이닝은 의미있는 정보를 찾아냄

데이터마이닝 분석 방법

1) 지도학습

의사결정나무

인공신경망

일반화 선형 모형

회귀분석

로지스틱 회귀분석

사례기반 추록

최근접 이웃법

2) 비지도 학습

OLAP

연관석 규칙발견

군집분석

SOM

데이터마이닝 추진단계

1. 목적 설정
2. 데이터 준비
3. 가공
4. 기법 적용
5. 검증

데이터마이닝을 데이터 분할

• 구축용 50%
• 검정용 30%
• 시험용 20%

성과분석

Accuracy

Specificity

Sensitivity

Precision

Recall

RoCR 패키지로 성과분석

세로축 ->민감도

가로축 -> 1-특이도

곡선 아래의 면적 = AUROC 클수록 성능 좋음

R프로그래밍 코드

library(rpart)

library(party)

library(ROCR)

x<- kyphosis[sample(1:nrow(kphosis), nrow(kphosis), replace=F),]

이익도표

분류모형의 성능을 평가하귀 위한 척도

과대적합 - 모형이 학습용 데이터를 과하게 학습하여 테스트 데이터나 다른 데이터 적용 시 성능 떨어짐

과소적합 - 모형이 단순하여 패턴이나 규칙을 제대호 학습하지 못함

분류분석

의사결정나무 방법론

의사결정나무 방법론 종류별 특성

R프로그래밍

분류분석

• 데이터가 어떤 그룹에 속하는지 예측하는데 사용
• 클러스터링과 유사하지만, 분류분석은 각 그룹이 정의되어있음
• 교사학습에 해당
• 범주형 속성의 값 알아 맞히기

예측분석

• 시간에 따른 값 두개만을 이용해 앞으로의 매출 또는 온도등 예측
• 모델링을 하는 입력데이터가 어떤것인지에 따라 특성 다름
• 한개의 설명변수
• 연속형 속성의 값을 안아맞히는 것

분류기법

회귀분석, 로지스틱 회귀분석

의사결정나무

베이지안 분류

인공신경망

지지도벡터기계

K 최근접 이웃

규칙기반의 분류와 사례기반추록

로지스틱 회귀분석

의사결정나무

나무 모양으로 그리는 방법

의사결정이 이뤄지는 시점과 성과를 한눈에

해석이 간편

입력값에 대해 출력값을 예측

예측력 치중 - 고객의 유치방안을 예측 

해석력 치중 - 이유 설명

의사결정나무 활용

1) 세분화 - 그룹별 특성 발견

2) 분류 - 관측개체의 목표변수 범주를 몇 개의 등급으로 분류하고자

3) 차원축소 및 변수선택 - 매우많은 수의 예측변수 중 목표변수에 큰 영향 미치는 변수 골라내고자

5) 교호작용효과의 파악 - 목표변수에 작용하는 규칙을 파악하고자

의사결정나무 장점

설명용이

계산 복잡하지않음

대용량 데이터에서도 빠름

비정상 잡음 데이터에 대해서도 민감함 없음

한 변수와 상관성이 높은 다른 불필요한 변수 있어도 영향 없음

설명변수나 목표변수에 수치형변수와 범주형변수를 모두 사용 가능

모형 분휴 정확도가 높음

의사결정나무 단점

새로운 자료에 과대적합 발생 가능성 높음

분류 경계선 부근의 자료값에 대해서 오차큼

설명변수 간의 중요도를 판단하기 어려움

의사결정나무 분석 과정

1) 성장 단계

분리규칙

분리기준 - 이산형 목표변수 : 카이제곱 통계량 p값, 지니지수, 엔트로피 지수  

            - 연속형 목표변수 : 분산분석에서 F 통계량, 분산의 감소량

정지규칙

2) 가지치기 단계

자료가 일정 수 이하일 때 분할 정지하고 비용-복잡도 자기치기를 이용

3) 타당성 평가 단계

4) 해석 및 예측 단계

의사결정나무 알고리즘

CART - 불순도의 측도로 출력변수가 범주형일 경우 지니지수 이용, 연속형인 경우 이진분리

C4.5, C5 - 각 마디에서 다지분리 가능하며 범주형 입력변수에 대해서 범주의 수만큼 분리, 엔트로피 지수 이용

CHAID - 카이제곱 통계량 사용해 불순도 측도, 적당한크기에 성장 중지해 가지치기 안함

party 패키지 - 의사결정나무 사용하기 편함

앙상블 기법

배싱, 부스팅, 랜덤 포레스트 기법의 차이

앙상블

주어진 자료로부터 여러개의 예측모형들을 만든 후 예측 모형들을 조합하여 하나의 최족 예측 모형을 만드는 방법

앙상블 기법의 종류

배깅

Breiman에 의해 제안된 배깅

여러 개의 부트스트랩 자료를 생성하고 예측 모형을 만든 후 결합하여 최종 예측모형을 만드는 방법

보팅 은 여러개의 모형으로 부터 산출된 결과를 다수결에 의해서 최종 결과를 선정

가지치기 하지않고 최대로 성장한 의사결정 나무 활용

배깅은 평균예측모형을 구해 분산을 출이고 예측력을 향상시킴

부스팅

예측력이 약한 모형들을 결합하여 강한 예측모형을 만드는 방법

adaboost - 이진분류에서 랜덤 분류기보다 조금 더 좋은 분류기 n개에 각각 가중치를 설정하고 n개의 분류기를 결합해 최종 분류기를 만드는 방법을 제안

훈련오차를 빨리 쉽게 줄일 수 있음

배깅에 비해 많은 경우 예측오차가 향상 - 배깅 보다 성능이 뛰어난 경우가 많은

랜덤 포레스트

의사결정나무의 특징이 분산이 크다는 점을 고려해 배깅과 부스팅보다 더많은 무작위성을 주어

약한 학습기들을 생성한 후 이를 선형 결합하여 최종 학습기를 만드는 방법

랜덤 포레스트에는 많은 츠리 생성

정확도 높음

해석이 어려움, 예측력 매우 높음

**부트스트랩에서 샘플 추출하더라도 한번도 선택되지않는 원데이터가 발생할 수 있는데, 전체 샘플의 약 36.8% 비율**

인공신경망 이해

고려사항

R프로그래밍 기법

예측분석

인공신경망 분석 ANN

인간 뇌를 기반으로 한 추론 모델로 뉴런은 기본적인 정보처리의 단위이다.

가중치를 반복적으로 조정하며 학습한다.

구조

입력 링크에서 여러 신호를 받아서 새로운 활성화 수준을 계산하고, 출력 링크로 출력 신호를 보냄

입력신호 - 미가공 데이터, 다른 뉴런의 출력

출력신호 - 문제의 최종적인 solution, 다른뉴런의 입력 신호

뉴런의 계산

전이함수(활성화 함수) 사용한다.

뉴런의 활성화 함수

1) 시그모이드 함수 

로지스틱 회귀분석과 유사, 0~1의 확률을 가짐

2) softmax 함수

표준화지수 함수로 불리며 출력값이 여러개 주어짐

목표치가 다범주인 경우 각 범주에 속할 사후확률을 제공

3) Relu 함수

입력값이 0이하는 0

입력값이 0 이상은 x값을 가지는 함수 이며

딥러닝에서 많이 활용하는 활성화 함수

단일 뉴런의 학습 - 단층 퍼셉트론

퍼셉트론은 선형 결합기와 하드 리미터로 구성됨

초평면은 n차원 공간을 두개의 영역으로 나눔

초평면을 선형 분리함수로 정의

신경망 구축 시 고려사항

1) 입력변수

입력자료 선택에 매우 민감함

입력 변수 범주형 -> 모든 범주에서 일정 빈도이상의 값을 갖고 각범주의 빈도가 일정

입력 변수 연속형 -> 입력변수 값들의 범위가 변수간의 큰 차이가 없을 때

연속형 변수의 경우 분포가 평균 중심으로 대칭이 아니면 좋지 않은 결과를 도출하기에 아래 방법 활용

- 변환 : 고객의 소득 : 로그변환

- 범주화 : 각 범주의 빈도가 비슷하게 되도록 설정 

2) 가중치의 초기값과 다중 최소값 문제

역전파 알고리즘은 초기값에 따라 결과가 달라짐

가중치가 0 -> 시그모이드 함수는 선형

일반적으로 초기값을 0근처로 랜덤하게 선택해 초기모형은 선형 모형에 가깝고

가중치 값이 증가될수록 비선형 모형

3) 학습모드

온라인 학습모드

- 각 관측값을 순차적으로 하나씩 신경망에 투입해 가중치 추정값이 매번 바뀜

- 속도 빠르며 유사값이 많은 경우 차이가 두드러짐

- 훈련자료가 비정상성과 같이 특이한 성질을 가진 경우가 좋음

-국소최솟값에서 벗어나기 쉬움

확률적 학습 모드

- 온라인 학습 모드와 같으나 신명망에 투입되는 관측값의 수서가 랜덤

배치 학습 모드

- 전체 훈련자료를 동시에 신경망에 투입

4) 은닉층과 은닉노드의 수

은닉층, 은닉노드가 많으면 가중치 많아짐 -> 과대 적합

은닉층, 은닉노드가 적으면 과소적합

은닉층은 하나로만 선정

은닉노드의 수는 적절히 큰 값으로 놓고 가중치를 감소시켜 적용

5) 과대 적합 문제

알고리즘의 조기종료와 가중치 감소 기법으로 해결

검증오차 증가하기 시작하면 조기종료 시행

가중치감소라는 변점화 기법 활용 

군집분석이란?

계층적 군집분석 알고리즘

비계층적 군집분석 알고리즘

R프로그래밍

군집분석?

각 객체의 유사성을 측정하여 유사성이 높은 개상 집단을 분류하고, 군집에 속한 객체들의 유사성과 서로 다른 군집에 속한 객체간의 상이성을 규명

특성에 따라 고객을 여러개의 배타적인 집단으로 나눔

결과는 방법에 따라 차이남

데이터들 사이의 거리를 기준으로 군집화 유도

계측정 군집 - 합병형 : 단일연결법, 평균연결법, Ward연결법, 완전연결법, 중심연결법

                - 분리영 : 다이아나 방법

분할정 군집 - 프로토타입 : K중심 군집(평균, 중앙값, 메도이드) 피지군집

                - 분포 기반: 혼합분포군집

                - 밀도 기반: 중심밀도 군집, 밀도기반

데이터간 거리

1) 연속형 변수의 경우

유클라디안 거리

표준화 거리

마할라노비스 거리

체비셰프 거리

맨하탄 거리

캔버라 거리

민코우스키 거리

2) 범주형 변수의 경우

자카드 거리

자카드 계수

코사인 거리

코사인 유사도

계층적 군집분석

1) 최단연결법

n*n 거리행려에서 거리가 가장 가까운 데이터를 묶어서 군집을 형성

군집과 군집 또는 데이터와의 거리를 계산 시 최단거리를 거리로 계산 

2) 최장연결법

군집과 군집 또는 데이터와의 거리를 계산 시 최장거리를 거리로 계산

3) 평균연결법

군집과 군집 또는 데이터와의 거리를 계산 시 평균거리를 거리로 계산

4) 와드연결법

군집내 편차들의 제곱합을 고려한 방법이다.

5) 군집화

거리행렬을 통해 가장 가까운 서리의 객체들간의 관계를 규명하고 덴드로그램그림

5개 이상의 군집은 활용하지않음

비계층적 군집분석

1) K-평균 군집분석

주어진 데이터를 k개의 클러스터로 묶는 알고리즘으로 각 클러스터와 거리 차이의 분산을 최소화하는 방식

2) K-평균 군집분석 과정

원하는 군집의 개수와 초기 값들을 정해 seed중심으로 군집 형성

각데이터를 거리가 가장 가까운 seed이 있는 군집으로 분류

각 군집의 seed값을 다시 계산

3) 장점

알고리즘 단순

많은 양의 데이터 다룰 수 있음

사전정보 없어도 의미있는 자료구조 찾을 수 있음

다양한 형태의 데이터에 적용 가능

4) 단점

군집의 수, 가중치와 거리 정의가 어려움

결과 해석 어려움

잡음이나 이상값의 영향을 많이 받는다.

볼록한 형태가 아닌 군집이 존재할 경우 성늘 떨어짐

초기 군집수 결정에 어려움

혼합 분초 군집

모형 기반의 군집 방법이며, 데이터가 k개의 모수적 모형의 가중합으로 표현되는 모집단 모형으로부터 다왔다는 가정하에서 모수와 함께 가중치를 자료로부터 추정하는 방법을 사용

연관분석이란?

연관분석의 측도

연관규칙의 장단점

R 프로그래밍

연관규칙

연관 분석 = 장바구니 분석 = 서열 분석

"기업의 데이터베이스에서 상품의 구매, 서비스 등 일련의 거래 또는 사건들 간의 규칙을 발견하기 위해"

If A then B : 만일 A가 일어나면 B가 일어난다.

연관규칙의 측도

1) 지지도 Support : 전체 거래 중 항목 A,B 동시에 포함하는 거래의 비율 

2) 신뢰도 Confidence : 항목 A를 포함한 거래중 항목 A,B가 같이 포함될 활률 -> 지지도/ P(A)

3) 향상도 Lift : A가 구매되지 않았을 때 품목 B의 구매확률에 비해 A가 구매됐을 때 품목 B의 구매확률의 증가 비

서로 관련이 없을 경우엔 향상도 = 1 -> A,B 동시에 포함된 거래수 / A포함 거래수 X B포함 거래수

연관규칙의 절차

최소 지지도 결정 -> 품목 중 최소 지지도 넘는 품목 분류 -> 2가지 품목 집합 생성 -> 반복

연관규칙의 장점

결과 쉽게 이해할 수 있다.

목적이 없는 경우 유용하게 사용할 수 있다. (목적변수 없음)

데이터 변환없이 그자체로 이용할 수 있는 간단한 자료구조 형태

분석을 위한 계산이 간단.

연관규칙의 단점

품목수가 늘어나면 필요한 계산이 늘어남 -> 유사 품목을 한 범주로, 의미가 적은 연관규칙은 제외

너무 세분화 되어있으면 연관규칙 찾는게 의미없음 -> 적절히 큰점주로 구분

거래량이 적은 품목은 거래수가 작아 제외하기 쉬움

순차 패턴

동시에 구매될 가능성이 큰 상품군을 찾아내는 연관성 =분석에 시간이라는 개념을 포함시켜 순차적으로 구매가능성이 큰 상품군을 찾아내는 것

연관성분석 알고리즘

1) Aprori 알고리즘 : 최소 지지도 이상의 빈발항목집합을 찾은 후 그것에 대해서만 계사

2) FP-Growth 알고리즘 : 후보 빈발항목집합을 생성하지않고, FP-Tree를 만든 후 더 빠르게 빈발항목집합을 추출

R프로그래밍 예제

data(Groceries)

inspect(Groceries[1:3])

apriori(Groceries,parameter = list(support=0.01, confidence =0.3))

규칙의 수가 너무 적으면 지지도와 신뢰도를 낮추고, 너무 많으면 지지도와 신뢰도를 높여야 한다.

8/2 부터 신청하여 8/29에 시험이다.

아마 내기억으로는 데이터 자격검정 시험들은 인근 고등학교가 아니고 대학교에 가서 시험을 봤던것으로 기억한다.

참고할 서적은 데이터분석준전문가 2021, 데이터진흥원 필기 기출 문제집이다.

https://book.naver.com/bookdb/book_detail.nhn?bid=17764954 

https://book.naver.com/bookdb/book_detail.nhn?bid=11664050