13. 데이터 과학과 빅데이터

데이터 과학

데이터 과학은 데이터를 수집한 후 분석을 통해 데이터를 정확히 이해함으로써 그 속에 숨겨진 새로운 지식을 발견하고 이를 문제 해결에 활용하는 모든 과정의 활동을 의미하며, 그러한 활동을 지원하는 수단이나 기술을 포함한다. 데이터 과학의 목표를 보다 잘 이해하기 위해서는 데이터가 지혜가 되는 과정을 설명할 때 많이 언급되는

DIKW(Data-Information-Knowledge-Wisdom) 계층 구조를 살펴볼 필요가 있다.

데이터는 관찰하거나 측정하여 수집한 사실이나 값을 의미한다. 이러한 데이터를 상황에 대한 이해를 바탕으로 목적에 맞게 가공한 것이 정보다. 그리고 규칙과 패턴을 통해 찾아낸 의미 있고 유용한 정보가 지식이다. 최종적으로 지식에 통찰력을 더해 새롭고 창의적인 아이디어를 도출한 것이 지혜다. 수집된 데이터로부터 가공된 정보를 거쳐 지식과 지혜를 추출하는 것이 데이터 과학의 목표라 할 수 있다.'

 

출판사를 예로 들어보자

3년간 1월부터 12월까지 매달 책의 판매량을 조사한 결과는 가공하지 않은 그대로의 데이터가 된다. 연간 분기별 판매량의 합계를 계산한 것은 데이터를 가공한 정보가 된다. 연간 분기별 판매량을 분석하여 3분기가 되면 책의 판매량이 증가하는 규칙을 찾아내고, 더운 여름에 시우너한 자소에서 독서를 즐기는 사람들이 많아지게 된 것이 그 원인임을 찾아냈다면 이는 지식이 된다. 이러한 지식을 토대로 내년 3분기에 새로 출간할 책의 콘텐츠를 기획하고 적합한 홍보 전략을 세우는 것은 지혜에 해당한다.

빅데이터

빅데이터의 개념

데이터를 많이 확보하면 그만큼 가치 있는 정보를 많이 만들 수 있지만 문제는 수집한 엄청난 양의 데이터를 기존 데이터베이스 시스템에 저장하고 관리하기가 어렵다는 것이다. 그래서 기존 데이터베이스의 주요 기능을 포함하면서도 대규모 데이터에 적합한 새로운 저장 및 관리 기술이 필요하게 되었다. 그리고 엄ㅊ어난 양의 데이터를 분석하여 가치 있는 정보를 추추랗려면 기존 분석 기술보다 훨씬 복잡하고 정교한 분석 기술이 필요하게 되었다. 이러한 다양한 요구에 부응하기 위해 등장한 것이 빅데이터다.

빅데이터를 기존의 데이터베이스가 저장하고 관리할 수 있는 범위를 넘어서는 대규모의 다양한 데이터로 좁게 정의하기도 한다. 하지만 최근에는 빅데이터를 대규모의 데이터를 저장 및 관리하는 기술과 가치 있는 정보를 만들기 위해 분석하는 기술까지도 포함하여 정이한다.

다양한 유형의 대규모 데이터를 저장 및 관리, 분석하는 빅데이터 기술은 빠르게 변하는 현대 사회에서 개인의 성향을 정확히 예측하여 맞춤형 정보를 제공할 수 있게 해준다. ex) 구글, 아마존, 페이스북

빅데이터의 특징

빅데이터를 단순히 대규모의 데이터로 특징 짓기에는 부족한 면이 있다. 그래서 빅데이터의 특징은

데이터양volume, 속도velocity, 다양성variety을 의미하는 3V로 요약한다.

 

빅데이터의 기술

 

빅데이터 저장 기술 : NoSQL

 

빅데이터 분석 기술 : 데이터 마이닝