๊ด€๋ฆฌ ๋ฉ”๋‰ด

data_lab

2๊ณผ๋ชฉ ์ •๋ฆฌ ๋ณธ๋ฌธ

๋ฏธ์‚ฌ์šฉ/ADsP

2๊ณผ๋ชฉ ์ •๋ฆฌ

๐Ÿฐํžˆํžˆ 2021. 8. 23. 16:26
  ๋ถ„์„๋Œ€์ƒ ์•Œ ๋ถ„์„๋Œ€์ƒ ๋ชจ๋ฆ„
๋ถ„์„๋ฐฉ๋ฒ• ์•Œ ์ตœ์ ํ™” ํ†ต์ฐฐ
๋ถ„์„๋ฐฉ๋ฒ• ๋ชจ๋ฆ„ ์†”๋ฃจ์…˜ ๋ฐœ๊ฒฌ

 

๊ณผ์ œ ์ค‘์‹ฌ์ ์ธ ๋ฐฉ์‹           ๋งˆ์Šคํ„ฐ ํ”Œ๋žœ ๋‹จ์œ„

speed & test                      Accuracy&Deploy

quick & win                       Long Term view

problem solving                  problem Definition

 

๋ถ„์„ ๊ธฐํš์‹œ ๊ณ ๋ ค์‚ฌํ•ญ

- ๊ฐ€์šฉ ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ๊ณ ๋ ค

- ์ ์ ˆํ•œ ํ™œ์šฉ๋ฐฉ์•ˆ๊ณผ ์œ ์ฆˆ์ผ€์ด์Šค

- ์žฅ์• ์š”์†Œ๋“ค์— ๋Œ€ํ•œ ์‚ฌ์ „๊ณ„ํš ์ˆ˜๋ฆฝ

 

๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ํ•œ ์˜์‚ฌ๊ฒฐ์ • ๋ฐฉํ•ด์š”์†Œ - ํ”„๋ ˆ์ด๋ฐํšจ๊ณผ, ํŽธํ–ฅ๋œ ์ƒ๊ฐ, ๊ณ ์ •๊ด€๋…

-ํ”„๋ ˆ์ด๋ฐ ํšจ๊ณผ :ํ‘œํ˜„๋ฐฉ์‹ ๋ฐ ๋ฐœํ‘œ์ž์— ๋”ฐ๋ผ ๋™์ผํ•œ ์‚ฌ์‹ค์—๋„ ํŒ๋‹จ์„ ๋‹ฌ๋ฆฌํ•˜๋Š” ํ˜„์ƒ

 

๋ถ„์„๋ฐฉ๋ฒ•๋ก  ๊ฐœ์š”

- ์ ˆ์ฐจ, ๋ฐฉ๋ฒ•, ๋„๊ตฌ์™€ ๊ธฐ๋ฒ•, ํ…œํ”Œ๋ฆฟ๊ณผ ์‚ฐ์ถœ๋ฌผ

 

๋ถ„์„ ๋ฐฉ๋ฒ•๋ก 

์•”๋ฌต์ง€ - ์ฒดํ™”๋˜์–ด์žˆ์ง€๋งŒ ๋“œ๋Ÿฌ๋‚˜์ง€์•Š๋Š” ์ง€์‹

ํ˜•์‹์ง€ - ๋ฌธ์„œ๋‚˜ ๋งค๋‰ด์–ผ ์ฒ˜๋Ÿผ ํ˜•์ƒํ™”๋œ ์ง€์‹

 

๋ฐฉ๋ฒ•๋ก ์˜ ์ ์šฉ์—…๋ฌด์— ๋”ฐ๋ฅธ ๋ชจ๋ธ

- ํญํฌ์ˆ˜ ๋ชจ๋ธ 

- ํ”„๋กœํ† ํƒ€์ž…

- ๋‚˜์„ ํ˜•๋ชจ๋ธ : ์ ์ฆ์  ๊ฐœ๋ฐœํ•˜๋Š” ๋ฐฉ๋ฒ•

 

๋ฐฉ๋ฒ•๋ก ์˜ ๊ตฌ์„ฑ ๋‹จ๊ณ„ > ํƒœ์Šคํฌ > ์Šคํ…

 

KDD ๋ถ„์„ ๋ฐฉ๋ฒ•๋ก 

๋ฐ์ดํ„ฐ์…‹ ์„ ํƒ - ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ - ๋ฐ์ดํ„ฐ  ๋ณ€ํ™˜ - ๋ฐ์ดํ„ฐ ๋งˆ์ด๋‹ - ๋ฐ์ดํ„ฐ ๋งˆ์ด๋‹ ๊ฒฐ๊ณผ ํ‰๊ฐ€

 

CRISP-DM ๋ถ„์„ ๋ฐฉ๋ฒ•๋ก 

์—…๋ฌด์ดํ•ด - ๋ฐ์ดํ„ฐ ์ดํ•ด(์„ ํƒ, ์ „์ฒ˜๋ฆฌ) - ๋ฐ์ดํ„ฐ ์ค€๋น„(์ „์ฒ˜๋ฆฌ) - ๋ชจ๋ธ๋ง(๋งˆ์ด๋‹) - ํ‰๊ฐ€(๊ฒฐ๊ณผ ํ‰๊ฐ€) - ์ „๊ฐœ

 

๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ ๋ฐฉ๋ฒ•๋ก 

๋ถ„์„๊ธฐํš - ๋ฐ์ดํ„ฐ ๋ถ„๋น„ - ๋ฐ์ดํ„ฐ ๋ถ„์„ - ์‹œ์Šคํ…œ ๊ตฌํ˜„ - ํ‰๊ฐ€ ๋ฐ ์ „๊ฐœ

 

๋ถ„์„ ๊ณผ์ œ ๋ฐœ๊ตด (๊ณผ์ œ ๋ฐœ๊ตด ํ›„ ๊ณผ์ œ ์ˆ˜ํ–‰)

- ํ•˜ํ–ฅ์‹ ์ ‘๊ทผ๋ฐฉ๋ฒ•(์ตœ์ ํ™” > ์†”๋ฃจ์…˜) ๋ฌธ์ œ์ฃผ์–ด์ง€๊ณ  ์ด์— ๋Œ€ํ•œ ํ•ด๋ฒ•์„ ์ฐพ๊ธฐ ์œ„ํ•˜์—ฌ ๊ฐ ๊ณผ์ •์ด ์ฒด๊ณ„์ ์œผ๋กœ ๋‹จ๊ณ„ํ™”

๋ฌธ์ œ ํƒ์ƒ‰ - ๋ฌธ์ œ์ •์˜ - ํ•ด๊ฒฐ๋ฐฉ์•ˆ ํƒ์ƒ‰ - ํƒ€๋‹น์„ฑ ๊ฒ€ํ† 

-- ๋น„์ฆˆ๋‹ˆ์Šค ๋ชจ๋ธ ๊ธฐ๋ฐ˜ ๋ฌธ์ œ ํƒ์ƒ‰

-- ๋ฒ”์œ„ ํ™•์žฅ

  • ์—…๋ฌด, ์ œ์ถค, ๊ณ ๊ฐ, ๊ทœ์ œ & ๊ฐ์‚ฌ, ์ง€์› ์ธํ”„๋ผ
  • ๊ฑฐ์ง€์„ ๊ด€์ ์˜ ๋ฉ”๊ฐ€ ํŠธ๋žœ๋“œ STEEP
  • ๊ฒฝ์Ÿ์ž ํ™•๋Œ€ ๊ด€์  - ๋Œ€์ฒด์ž, ๊ฒฝ์Ÿ์ž, ์‹ ๊ทœ ์ง„์ž…์ž
  • ์‹œ์žฅ์˜ ๋‹ˆ์ฆˆ ํƒ์ƒ‰ ๊ด€์  - ๊ณ ๊ฐ, ์ฑ„๋„, ์˜ํ–ฅ์ž
  • ์—ญ๋Ÿ‰์˜ ์žฌํ•ด์„ ๊ด€์  - ๋‚ด๋ถ€์—ญ๋Ÿ‰, ํŒŒํŠธ๋„ˆ์™€ ๋„คํŠธ์›Œํฌ

์™ธ๋ถ€ ์ฐธ์กฐ ๋ชจ๋ธ๊ธฐ๋ฐ˜ - ํ…Œ๋งˆ ํ›„๋ณด ๊ทธ๋ฃน์„ ํ†ตํ•ด quick & easy

๋ถ„์„ ์œ ์ฆˆ ์ผ€์ด์Šค

 

๋ฌธ์ œ์ •์˜ - ๋น„์ฆˆ๋‹ˆ์Šค ๋ฌธ์ œ๋ฅผ ๋ฐ์ดํ„ฐ์˜ ๋ฌธ์ œ๋กœ

ํ•ด๊ฒฐ๋ฐฉ์•ˆ ํƒ์ƒ‰

ํƒ€๋‹น์„ฑ ๊ฒ€ํ†  - ๊ฒฝ์ œ์ , ๋ฐ์ดํ„ฐ ๋ฐ ๊ธฐ์ˆ ์ 

 

- ์ƒํ–ฅ์‹ ์ ‘๊ทผ๋ฐฉ๋ฒ•

๋””์ž์ธ ์‚ฌ๊ณ  ์ ‘๊ทผ๋ฒ• ํ†ตํ•ด ํ•˜ํ–ฅ์‹ ๊ทน๋ณต

๊ฐ์ •์ด์ž… - define - ideate - prototype - test

๋น„์ง€๋„ ํ•™์Šต - ์žฅ๋ฐ”๊ตฌ๋‹ˆ, ๊ตฐ์ง‘

์ง€๋„ํ•™์Šต

ํ”„๋กœํ†  ํƒ€์ž…

 

๋ถ„์„ ํ”„๋กœ์ ํŠธ ๊ด€๋ฆฌ

์ฃผ์š”์˜์—ญ - Data Size, Data Complexity, Speed, Analytic Complexity, Accuracy& Precision

 

๋ถ„์„ ๋งˆ์Šคํ„ฐ ํ”Œ๋žœ

์šฐ์„ ์ˆœ์œ„ ๊ณ ๋ ค - ์ „๋žต์  ์ค‘์š”๋„, ๋น„์ฆˆ๋‹ˆ์Šค ์„ฑ๊ณผ/ROI, ์‹คํ–‰์šฉ์ด์„ฑ

์ ์šฉ๋ฒ”์œ„, ๋ฐฉ์‹ ๊ณ ๋ ค์š”์†Œ - ๋‚ด์ œํ™”, ๋ฐ์ดํ„ฐ ์ ์šฉ, ์ง€๊ตฟใ„น ์ ์šฉ ์ˆ˜์ค€

ISP - ๊ณต๊ณต๊ธฐ๊ด€์—์„œ ๊ณ„ํš ์ˆ˜๋ฆฝ

 

์‹œ๊ธ‰์„ฑ 3-4-2

๋‚œ์ด๋„ 3-1-2

 

๊ฑฐ๋ฒ„๋„Œ์Šค ๊ตฌ์„ฑ - ๊ณผ์ œ ๊ธฐํš ๋ฐ ์šด์˜ ํ”„๋กœ์„ธ์Šค, ์‹œ์Šคํ…œ, ๋ฐ์ดํ„ฐ, HR, ์กฐ์ง

 

๋ถ„์„ ์ค€๋น„๋„ - ๋ถ„์„ ์—…๋ฌด, ๋ถ„์„์ธ๋ ฅ&์กฐ์ง, ๋ถ„์„๊ธฐ๋ฒ•, ๋ถ„์„๋ฐ์ดํ„ฐ, ๋ถ„์„ ๋ฌธํ™”, ๋ถ„์„ ์ธํ”„๋ผ

๋ถ„์„ ์„ฑ์ˆ™๋„ - ๋„์ž…>ํ™œ์šฉ>ํ™•์‚ฐ>์ตœ์ ํ™”

์„ฑ์ˆ™๋„ ํ‰๊ฐ€ ๋ชจ๋ธ - CMMI

 

  ์ค€๋น„๋„ ๋‚ฎ์Œ ์ค€๋น„๋„ ๋†’์Œ
์„ฑ์ˆ™๋„ ๋†’์Œ ์ •์ฐฉํ˜• ํ™•์‚ฐํ˜•
์„ฑ์ˆ™๋„ ๋‚ฎ์Œ ์ค€๋น„ํ˜• ๋„์ž…ํ˜•

 

๊ฑฐ๋ฒ„๋„Œ์Šค ๊ตฌ์„ฑ์š”์†Œ - ์›์น™, ์กฐ์ง, ํ”„๋กœ์„ธ์Šค

 

๋ฐ์ดํ„ฐ ํ‘œ์ค€ํ™”

๋ฐ์ดํ„ฐ ๊ด€๋ฆฌ ์ฒด๊ณ„

๋ฐ์ดํ„ฐ ์ €์žฅ์†Œ - ์›Œํฌํ”Œ๋กœ์šฐ, ์‚ฌ์ „์˜ํ–ฅ ํ‰๊ฐ€

ํ‘œ์ค€ํ™” ํ™œ๋™

 

๋ถ„์„ ์กฐ์ง ๊ตฌ์กฐ

- ์ง‘์ค‘ ๊ตฌ์กฐ : ์ด์ค‘ํ™”/์ด์›ํ™” ๊ฐ€๋Šฅ์„ฑ ๋†’์Œ

- ๊ธฐ๋Šฅ ๊ตฌ์กฐ : ๋ณ„๋„ ๋ถ„์„์กฐ์ง ์—†์Œ

- ๋ถ„์‚ฐ ๊ตฌ์กฐ : ์‹ ์†ํ•œ ์•ก์…˜ ๊ฐ€๋Šฅ

 

***๊ณผ์ œ๋ฐœ๊ตด > ๊ณผ์ œ์ˆ˜ํ–‰ ***

 

BI ํ‚ค์›Œ๋“œ - Information, Ad hoc Report, Alerts, Clean Data

 

728x90
๋ฐ˜์‘ํ˜•