SWSTAT - 소프트웨어통계포털

연구자료

빅데이터를 제대로 활용하기 위한 조건 : 데이터 확보와 비즈니스 발굴

안성원AI정책연구실 실장

2017.08.30

19665

- Conditions for using Big Data properly: Data acquisition and business discovery
- 빅데이터(BigData)는 제4차 산업혁명의 핵심 요소기술 중 하나로 사물인터넷(IoT), 인공지능(AI)과 동반성장하는 생태계에 속해있다. 지난 기고에서 언급한 것처럼 IoT-BigData-AI로 이어지는 기술체인은 상호보완적이고 필요충분 조건하에 있기 때문에, 이들이 발전하기 위해서는 각각의 기술 모두가 서로에게 갖춰져야 한다.
- 빅데이터는 기업들이 새로운 가치를 창출할 수 있는 재료이자, 갚진 보석을 발견할 수 있는 원석과 같은 존재이다. 근래에 빅데이터를 이용하여 새로운 서비스를 찾고 가치를 창출하는 기업들이 업종을 막론하고 늘어나고 있으며, 산업과 사회 전반에 걸쳐 “데이터를 활용한 가치창출”이 이루어지고 있다.
- 기업들은 각자의 목적에 맞는 빅데이터를 수집하고 분석하는 것으로 새로운 서비스를 제공하고, 기존의 업종들은 이를 통해 디지털전환(Digital Transformation)을 진행하고 있다. 새로운 가치를 창출한다는 것은 결국 생성된 빅데이터를 필요한 목적에 맞게 가공하고 분석하여 새로운 결론을 얻어내고, 이를 통해 최적의 답안을 제시하는 것을 말한다. 이는 기존 현상에 대한 패턴을 분석해서 향후에 일어날 현상과 상태를 예측하고 대응하는 것이다.
- 빅데이터를 활용하여 새로운 가치를 창출하는 대표적인 사례를 각 분야별로 몇 가지 살펴보자. 먼저 기업들 중에서는, 전통적인 제조 기업에서 SW 및 데이터 분석 기업으로 전환을 선언한 GE는 자사에서 생산중인 비행기 엔진(Genx)에 센서를 부착하였다. 그리고 이 센서로부터 수집된 빅데이터를 자사의 클라우드 인공지능 플랫폼인 Predix에서 분석한다. 이를 통해 실시간 엔진상태 점검, 정비 시기 알림제공, 비행경로 관리, 비행시간 단축 및 연료절감 등 항공기 유지보수 비용 감소와 안전보장 서비스를 고객(항공사 등)에게 제공한다.
- 스마트 공장을 실현한 지멘스(Siemens)는 자사의 공장 설비에 센서를 부착하고 네트워크 연결을 통 해 IoT를 구 현하였다. 이 스마트 공 장에서 생산되는 모 든 제 품과 생산 공 정은 실시간으로 수집된 데이터를 기반으로 제어된다. 제품 품질상태 및 생산 공정 간의 오류 등의 데이터를 분석하여 관리 감독함으로써 불량률을 기존의 2.5% 수준으로 낮추었다. 공정상의 오류와 불량품에 대한 롤백(Roll back)을 획기적으로 줄이게 되면서, 공장을 가동하는데 필요한 에너지 또한 기존의 70% 수준으로 절감했다.
- 유통업체인 아마존(Amazon)은 자사의 온라인 쇼핑몰에서 행해지는 고객들의 쇼핑관련 정보를 수집한다. 이렇게 수집된 데이터를 분석해서 고객의 쇼핑패턴을 알아내고, 고객이 원하는 상품 또는 곧 구입할 상품을 예측하여 근처의 지점으로 미리 배송해 놓음으로써 배송시간을 획기적으로 단축시켰다. 동시에 유통과 물류에 소비되는 비용 또한 감소시킬 수 있었다.
- 인공지능으로 잘 알려진 IBM의 왓슨(Watson)은 의료분야에서도 빅데이터를 활용한 괄목할 성과를 보이고 있는데, 환자의 의료 빅데이터를 분석해서 의사에게 정확한 처방을 추천해주고, 200종 이상의 의학 저널 등에서 관련 임상실험 결과와 논문 등의 자료까지 찾아준다.
- 중장비 제조업체인 캐터필러(Caterpillar)는 자사가 제조 및 판매하는 중장비에 센서를 부착하여 실시간으로 데이터를 수집, 자사의 IoT 네트워크인 CAT CONNECT에서 분석하여 장비의 상태를 체크하고 부품 교환 가이드를 제공한다. 이를 통해 장비가 공사장에서 고장 나 멈춰 있는 시간을 기존의 10% 수준으로 단축시키고 작업의 효율성을 증가시키는 서비스를 실현했다.
- 빅데이터의 활용사례는 정부기관이나 각종 연구소에서도 매우 활발하게 진행되고 있는데, 일본 이화학연구소(RIKEN)는 30초 단위로 기상 데이터를 수집하고 빅데이터를 분석하여 10분 뒤의 강수확률을 정확하게 예측하는‘ 3차원 현재예보(nowcasting)’ 서비스를 구현했다. 일본 간사이 지방을 대상으로 하는 이 시스템에서는 매 10~30초마다 60km 범위의 100개 각도로 비구름의 위상을 측정한 데이터를 분석한다.
- 세계 자본 이동의 현황을 파악하는 미 재무부 산하 금융범죄단속반(FinCEN)은 실시간으로 수집하는 금융정보 빅데이터와 인공지능을 활용해 불법 자금의 흐름이나 테러관련 자금을 파악한다. 우리나라 또한 이를 벤치마킹하여 금융위원회 산하 금융정보분석원(FIU)에서 금년 60억원 규모의‘ 인공지능 기반 차세대 자금세탁방지 분석 시스템’을 구축하고 있다.
- 입자 가속충돌 시험으로 잘 알려진 유럽 원자핵 공동 연구소(CERN)은 매 실험마다 초당 1페타바이트(PetaByte, PB)¹의 데이터가 쏟아져 나온다. 모든 데이터를 저장할 수 없어 꼭 필요한 극히 일부의 데이터만을 수집 및 저장하고 있는 데도, 최근 축적한 데이터가 200PB를 넘겼다고 한다. 그야말로 빅(Big)데이터이다.
- 금융권도 빅데이터를 활용해서 새로운 비즈니스 아이템을 활발하게 발굴하는 대표 분야인데, 국내의 은행 및 카드사들은 빅데이터 분석을 통해서 고객의 연령, 성별대별로 라이프 스타일을 파악하고 각각의 관심사에 맞는 금융상품을 설계하고 출시하고 있다.보험사들도 마찬가지이다. 그간의 보험 사례 빅데이터를 분석하여 임산부나 어린 자녀를 둔 부모가 사고를 적게 낸다는 사실을 발견하고 관련 상품개발에 응용했다.
- 이처럼 빅데이터를 활용하는 사례는 점차 늘어나고 있다. 중국의 거대 유통기업인 알리바바의 CEO 마윈은‘ 앞으로 데이터를 활용해 돈을 버는 일이 미래의 핵심 가치가 될 것’이라고 언급하기도 했다. 정확하게 맞는 말이다. 빅데이터의 활용이 늘어남에 따라 시장 또한 가파르게 성장세이다. 시장조사 기관인 IDC는 빅데이터 시장이 2015년 이후 연평균 11.3% 이상의 높은 성장세를 이어가며 2020년에는 2,100억 달러까지 성장할 것이라고 전망했다.
- 당장 올해만 빅데이터 분석 시장은 1,500억 달러를 넘어설 것이라고 한다.
- 빅데이터가 제4차 산업혁명시대를 현실로 만들어 주는 중요한 요소기술로 자리 잡은 가운데, 비교적 최근인 지난 16년 조사 자료에 따르면, 국내 기업의 빅데이터 도입률은 전체 기업기준으로 약 4.3%에 불과한 것으로 나타났다.² 국내 기업의 빅데이터 활용 성장률은 중대형 업체의 경우 20~25% 수준이고, 중소업체의 경우는 더 낮은 5~8% 수준이다.반면, 외국계 IT 기업은 30% 수준 이상의 도입률로 가파른 성장세를 보이고 있는 것으로 조사되었다. 국내 기업의 향후 빅데이터 수요는 전체기업의 30.2% 수준으로 예측되며, 기업들이 빅데이터 도입을 고려하는 시기는 2018~19년 이후가 많은 것으로 파악되었다.
- 왜 많은 기업들의 빅데이터 활용률이 이렇게 저조할까? 세계 각국이 제4차 산업혁명 시대의 도래와 함께 빅데이터의 중요성을 강조하고, 유수 기업들이 적극적인 투자와 새로운 사업을 발굴해 나가는데, 조사자료에 의하면 우리 기업들의 다수는 아직 제자리걸음이다. 물론 조사당시는 2015년을 기준으로 했기 때문에, 최근에는 빅데이터의 확산이 좀 더 증가 했을 것으로 예상되지만, 아직 우리기업들의 현장에서 빅데이터 활용률은 저조한 것이 사실이다.
- 빅데이터의 활용을 위해서는 크게 두 가지 측면이 전제되어야 한다. 첫 번째는 데이터의 확보이다. 데이터의 확보를 다시 세밀하게 나누자면, 데이터 자체의 확보와 양질의 데이터를 확보하는 것으로 말할 수 있다.
- 얼마 전 빅데이터 관련 IT업체들과의 미팅에서 빅데이터 분석을 잘 하고 있는지에 대한 질문을 했는데, 돌아온 답변은‘ 분석할 데이터가 없어서 잘 못하고 있다’ 였다. 데이터만 확보된다면 이런저런 사업아이템들을 구현해보고 싶은데, 데이터 확보가 만만치 않다는 것이다. 결국, 국내 기업들의 빅데이터 분석 도입 수준이 뒤처지는 이유는 빅데이터 분석을 할 만큼 풍부한 데이터가 부족하고, 데이터 분석의 고도화를 위한 환경 조성이 미흡하기 때문이다.
- 빅데이터 활용에서 데이터의 확보가 중요한 이유이다. 데이터를 모으는 것조차 안 되어 있다면, 이는 마치 요리사가 이것저것 요리를 만들어 내고 싶은데 요리할 재료 자체가 없는 것과 같다. 이미 여러 차례 언급되었지만, 알파고도 빅데이터 학습을 통해 탄생했다. 일부 자본력을 갖추고 시장 확보가 탄탄한 기업들은 자체 인프라를 활용하여 데이터를 확보하고 새로운 가치 창출을 시도하고 있지만, 여전히 대다수의 기업들은 그리 좋은 성적을 내고 있진 못한 듯하다.
- 현재 많은 수의 기업들은 데이터 확보에 어려움을 겪고 있는데, 제도적인 측면과 인프라의 부재가 원인으로 꼽힌다. 제도 측면으로는 대표적인 것이 개인정보 보호법에 의한 제약들이다. 개인정보 비식별화를 통한 정부의 가이드라인이 마련되긴 했지만, 아직 까지는 갈 길이 멀다.
- 또한, 데이터 확보를 위해서는 보다 많은 인풋 채널(input channel) 즉, 데이터 수집수단이 있어야 한다. 온라인상으로 구축된 서비스들은 상대적으로 용이한 데이터 수집이 가능하다. 아마존이 자사의 온라인 쇼핑몰에서 사용자의 구매 패턴, 특정 제품의 페이지에 머물렀던 시간, 심지어는 마우스 커서가 올려 있는 대상까지도 고객의 니즈를 예측·분석하기 위한 수단으로 쓰이는데, 이 모든 것은 비교적 센서와 같은 추가 하드웨어의 보급 없이도 이루어진다.
- 반면, 기구나 장비, 자동차, 생산시설 등 다양한 물체들을 통한 빅데이터의 수집과 그에 따른 서비스를 제공하기 위해서는 센서의 투입과 네트워크 연결이 전제되어야 한다. 그나마 국립연구소 같은 정부기관은 데이터 확보를 위한 센서의 투입 내지는 위성이나 시설 망 등과의 네트워크 연결이 상대적으로 용이하다. 그러나 자본력이 부족한 중소 업체들은 사실상 빅데이터를 활용한 회사의 생산 관리 및 서비스 창출이 어렵다. 이를 해결하기 위해서는 초기 요람시장을 정부협력으로 형성시켜 주고, 시장 내에서 성과가 두드러지는 기업들을 집중 지원하여 육성시키는 것도 하나의 방법이 될 수 있다.
- 사회 간접자본과 같은 인프라 측면에서도 앞으로 더 많은 센서들이 깔리면서 IoT가 현실화 되고, 여기에서 생성되는 빅데이터를 통해 새로운 서비스가 창출될 것인데, 사실 이것은 시간이 해결해 줄 것이라 본다. 데이터를 수집하기 위한 장치들이 좀 더 대중화되고, 우리 주변의 거의 모든 곳에 보편화되기 위해서는 돈과 시간이 필요하다.
- 데이터에 대한 확보가 되었다면, 양질의 데이터를 걸러내는 것도 중요하다. 많은 인풋 채널을 통해 수집한 데이터는 크게 의미가 없는 데이터들도 많이 포함되어 있을 가능성이 높다. 따라서 빅데이터를 통해 새로운 비즈니스를 창출하기 위해서는 비즈니스를 가능하게 하는 데이터를 걸러내는 것이 필요하다. 수집한 빅데이터에서 일정한 규칙성을 갖는 요소들을 골라내고, 이들을 관찰하여 문제해결을 위한 새로운 아이디어를 발굴하거나 비즈니스 모델을 수립할 수 있다. 이는 다음으로 설명할 비즈니스 모델과도 연관성이 있는데, 빅데이터 분석을 통한 비즈니스 모델의 발굴은 다분히 귀납적³(Bottom Up)인 방법이라 할 수 있다.
- 빅데이터를 잘 활용하기 위한 두 번째 측면은, 비즈니스 모델에 대한 발굴이다. 빅데이터는 그저 데이터를 많이 모았다고만 해서 가치를 갖는 것은 아니다. 해당 데이터를 분석하여 새로운 요소를 분석해내고, 미래를 예측하고, 새로운 비즈니스 아이템, 새로운 서비스를 발굴해 내어야 비로소 가치를 갖는다. 비즈니스 모델에 대한 발굴은 재귀적이긴 하지만,‘ 어떤 데이터를 모아야 할 것인가’에 대한 답변도 될 수 있다.
- 기업들의 빅데이터 활용도가 부족한 것은 데이터의 확보 문제도 있지만, 데이터를 통해 어떠한 비즈니스를 발굴해내야 하는지를 못 찾았거나 찾더라도 그 사업성이 불투명하기 때문인 것도 있다. 이 부분은 유사 업종의 선진 기업들을 벤치마킹하고, 각자의 장점을 살릴 수 있는 아이템을 스스로 찾는 것이 중요하다.
- 새로운 가치사슬을 만들어 내거나, 가치창출을 위해 디지털 전환을 하는 경우나 고객의 니즈(Needs)를 잘 파악하고 그에 맞춘 비즈니스 모델을 수립하는 것이 필요하다. [그림]은 데이터 기반의 서비스 모델로 앞선 GE, 지멘스, 캐터필러 등의 예에서와 같이 비즈니스 모델을 발굴하여 빅데이터를 활용하는 개념과 과정을 도식화 한 것이다.
- [그림]에서처럼 소비자의 요구에 따라 제품을 구성하고 스마트한 공정을 통해서 생산 및 판매를 하는 모든 과정에서 데이터가 활용된다. 데이터 수집을 통해 고객의 니즈를 분석하고, 그에 따른 제품 기획 및 시뮬레이션을 거쳐 제품이 생산된다. 이 과정에서 생성되는 데이터는 다시 생산 공정에 반영된다. 즉, 새로운 비즈니스 모델의 생성, 기존 비즈니스 모델의 수정 및 보완에 사용된다. 고객 및 생산 공정에서 축적된 데이터는 다시금 각 레이어 별로 맞춤형 서비스도 가능하게 한다. 스마트한 생산과 스마트한 서비스가 빅데이터에 의해 맞물려 있는 것이다.
- 아마존, IBM, 금융 및 보험사 등의 비즈니스 모델 또한 [그림]의 과정과 유사하다. 스마트공장(지능형생산)에 해당되는 레이어가 생략되거나 유통 등의 서비스 형태로 바뀌면 된다.
- 정리하면, 빅데이터의 활용률을 높이고 제대로 활용하기 위해서는 우선적으로 데이터를 확보하고 분석하는 것이 필요하다. 그리고 비즈니스 모델을 수립하고 그에 맞춘 양질의 해당 데이터를 다시금 확보하는 것도 중요하다.
- 경험이 풍부하고 시장데이터를 많이 가지며 비교적 안정적인 궤도에 올라있는 기업이나, 중소 또는 신생기업에게나 먼저 치밀한 비즈니스 모델을 세우고 기획하여 그에 맞는 데이터를 확보하는 것은 매우 효율적인 좋은 전략일 수 있다. 다만, 비즈니스 모델의 발굴은 데이터 축적을 근거로 하는 경험적 아이디어에서부터 비롯된다고 볼 수 있기 때문에 결국엔 이것도 데이터의 확보가 관건이다.
- 인류의 과학이 그러하였듯, 과거 많은 과학성과는 관찰에서 비롯되었다. 이렇게 축적된 성과를 바탕으로 새로운 기획을 하기도 하고, 또 애초 기획한 의도와는 다른 발견을 얻을 수도 있다. 데이터를 모으고 분석하다 보면 그동안 미처 인지하지 못했던 패턴을 발견할 수도 있다는 것이다. 기획이라는 것을 하려고 해도 어느 정도 기본적인 데이터에 의한 경험적 축적은 있어야 한다는 의미다. 그만큼 데이터의 확보는 중요하다.
- 그리고 앞으로는 보다 많은 센서가 사회간접자본이나 인프라에 설치되고, 더 많은 사물과 사람들이 더 쉽게 네트워크에 연결되면서 데이터는 넘쳐날 것이다. 상대적으로 데이터를 얻을 수 있는 기회가 많은 환경에서는 빅데이터 분석을 통한 신 서비스 발굴이 기업의 성패를 가를 것이다. 고객의 수요와 데이터의 확보를 통한 비즈니스 모델의 발굴, 그리고 발굴한 비즈니스 모델을 통한 양질의 데이터의 확보, 이 순환적인 방법의 가치창출이 결국 제4차 산업혁명 시대를 이끄는 하나의 패러다임이 될 것이다.
- 이 패러다임에 따라 기업들의‘ 디지털 전환’이 가시화 되고 있는 지금, 우리에게는 데이터 확보에 걸림돌이 될 제약사항을 없애주고 보다 다양한 시범사업들을 추진하면서 성공 사례를 전파하는 민·관 합동의 노력이 필요하다. 기업들도 이미 분석된 결과를 통한 가치창출보다, 직접 대량의 데이터를 확보 및 축적, 분석하여 새로운 가치창출을 하기 위한 노력을 기울여야 한다.
- 1 1PetaByte = 1024TeraByte
- 2 한국정보화진흥원(NIA), 2015년 빅데이터 시장현황조사, 2016. 자료 참조.
- 3 귀납(歸納, induction) : 개별적인 사례로부터 일반적인 명제 또는 진리를 설정하는 방법.
- 본 칼럼은 아이티데일리 2017년 8월 1일자 [전문가 강좌]에 기고한 글입니다.
- http://www.itdaily.kr/news/articleView.html?idxno=84306