data_lab

하둡에 들어가기 앞서 빅데이터가 뭔지 알아보려 한다. 빅데이터란 ? 기존의 데이터베이스 관리 도구 방법으로 처리할 수 없는 규모로 복잡한 데이터 구조를 가지고 있다. 기존의 데이터 베이스는 OLTP성으로 빠르고 정확하다. 빅데이터는 정확성에 초점을 두기보다는 대용량 데이터를 분산처리하는데에 초점을 두고 있다. 따라서 pk, update등 안되고 데이터를 새로 put해야 한다. 빅데이터 3V Volume 대규모의 크기를 가지고 있다. (기업마다 차이는 있지만 수십테라바이트부터 수십페타데이터 이상) Variety 존재하는 데이터의 방식이 다양하다. 정형 : 의미 파악하기 쉬우며 규칙적인 데이터 반정형: HTML, XML,JSON 형태로 한 텍스트에 column, value 같이 비정형:텍스트, 음성, 영상 ..