4차 산업혁명과 데이터의 역할 - (1) 빅데이터 분석의 돌파구는?

171103 엔코아 공감토크 - ‘4차 산업혁명과 데이터의 역할’ by 이화식 엔코아 대표이사 (1)

4차 산업혁명이란 단어를 보면 요즘은 거부감이 든다. 단어 자체의 문제가 아니라, 단어의 본질이 사라진 채 포장지로만 쓰이는 경우가 너무 많아서다. 유행어처럼 쓰인다고나 할까. 변화의 흐름을 짚어내는 게 아니라, 대충 자신에게 필요한 부분, 유리한 부분만 '4차 산업혁명'이라는 거창한 포장지로 치장하는 모습을 꽤 많이 봐 왔다.

생각했다. 4차 산업혁명이라는 허울을 쓰는 게 아니라, 4차 산업혁명이라는 표현의 의미와 다가올 변화의 핵심을 제대로 짚을 수 있는 강의가 있었으면 좋겠다고. 시중에 책은 이미 많이 나와 있지만, 다양한 산업분야의 변화를 전부 짚어내는 개괄서의 경우 깊이가 너무 없다. 아니면 정반대로, 특정 산업분야를 너무 깊게 설명해 이해하기 어려웠다.

이화식 엔코아 대표이사님.

이번 엔코아 강의는 세 가지 측면에서 내가 들은 강연 중 4차 산업혁명이라는 주제를 가장 적절히 다루었다고 생각한다. 변화하는 시대의 맥을 아우르고, 변화의 핵심으로 부상한 데이터의 역할을 정확히 짚어냈으면서도 이해하기 쉬운 비유가 아주 잘 이루어졌기 때문이다. 연세 있으신 정부 고위관료들에게 발표할 일이 많으셔서 비유가 쉬웠던 걸까. 강의 슬라이드도 그림 위주로 되어 있었고, 쉽게 접할 수 있는 소재들에 비유한 내용이 많았다.

특히 비유가 아주 인상적이었다. A를 B에 비유하려면, A의 특성과 B의 특성을 제대로 파악할 수 있어야 한다. 그 중에서도 A와 B의 비슷한 특징을 제대로 포착해야 하고, 비유한 B의 개념은 사람들이 이해하기 쉬워야 한다. 말하고자 하는 대상을 제대로 이해해야만 쓸 수 있는 방법이 비유다. 이화식 대표님은 이 방법을 내가 본 강연자들 중 가장 효과적으로 쓰셨다. 자칫 무겁고 지루해질 수 있는 주제를 쉽게 전달하는 데 큰 역할을 했다.

강연에서 다룬 소주제는 5가지였지만, 2시간 동안 쉬지 않고 진행된 강연의 특성상 마지막 두 개의 주제는 깊이 있게 접근하지 못했다. 강의의 흐름상으로도 ‘구체적인 방안’에 가까운 내용이었어서, 4차 산업혁명이라는 단어를 이해하는 데에는 소주제 1~3까지만 정리해도 충분하다고 생각해 1~3까지만 정리했다.

---

1. Big Data Analysis의 돌파구는?

빅데이터라는 용어가 대중적으로 인식된 시점은 2012년~2013년이다. 대략 4~5년 정도의 시간이 흘렀다. 마치 미래의 만능열쇠, 모든 문제를 해결할 수 있을 도구처럼 소개된 것 치고는 꽤 조용히 지난 편이다. 그래서 일각에서는 말한다. ‘빅데이터 시장은 왜 이리 더디게 오고 있나?’, ‘유행처럼 왔다가 사라지는 개념 중 하나로 끝나는 것 아니냐?’ 등등.

이 질문에 대답하려면, 어떤 아이디어나 기술이 시장에 정착하는 과정을 짚어봐야 한다. 
새로운 것이 등장하면, 첫 단계는 ‘Identity’다. 
소위 ‘빅마우스’들이 새 아이디어나 기술을 여기저기 떠벌리는 단계다. 

이 단계에서 자연스럽게 두 번째 단계 ‘Establish'에 도달한다. 
몇몇 발빠른 기업이나 기관이 아이디어나 기술을 받아들이고, 실행할 준비를 한다. 

빅데이터의 경우 인프라를 구축하고 데이터를 수집하는 작업이 되겠다. 
여기서 누군가가 새로운 아이디어나 기술로 성공을 거둘 경우 세 번째 단계 'Prove'에 진입한다. 
효과가 시장에 증명되고 가치가 확산된다. 

그러면 다음 단계인 ’Scale'로 접어든다. 
점차 대중화되기 시작하고, 다양한 분야로 해당 아이디어나 기술이 확장된다. 

마지막 단계가 ‘Transform'이다. 하나의 패러다임이나 기준으로 자리잡는다.

빅데이터의 경우, ‘Establish’와 'Prove'사이에 놓여 있다. 물론 데이터를 쌓은 기간이 아직 사회적으로 길다고 할 수준은 아니지만, 데이터 수집과 분석의 중요성이 부각되면서 인프라를 구축하고 데이터를 수집하는 기업은 많아졌다. 여기서 누군가가 가시적인 ‘성과’를 시장에 증명하는 과정이 이루어져야 하는데, 아직 여기에 이르지 못했다.

(개인적으로 여기서는 사회가 ‘성과’라고 생각하는 임계치가 존재한다고 생각했다. 데이터의 활용으로 경쟁력을 제고하거나 새 시장을 창출한 기업은 세계적인 기준으로 볼 때 이미 많다. 다만 한국에서 ‘데이터 수집과 분석으로 성공했다’고 일반화할 수 있을 정도로 많은 사례가 나오지는 않은 것 같다.)

‘Prove’단계의 핵심은 가치의 검증이다. 기업의 매출이 증가했건, 품질 혁신이 이루어지건, 그 외에 차별적 경쟁력을 갖추게 되건 어떤 방식으로든 가치를 증명하면 된다. Scale과정은 경쟁사의 약진에 동기부여를 받은 수많은 기업들이 도입하는 것을 의미하고, 이게 보편화되면 마지막 단계 Transform이기 때문.

---

그럼, 왜 아직 ‘Prove’단계를 뛰어넘지 못했을까? 

이 의문을 해결하기 위해, ‘빅데이터’의 개념을 명확히 짚고 넘어가야 한다.

Big이라는 단어 때문에 빅데이터=양이 많은 데이터 정도로 인식하는 경우가 많은데, ‘크다’라는 뜻은 빅데이터의 여러 특징 중 하나일 뿐이다. 크다고 해서 의미있는 것이 아니다. 많은 양이 있어야만 비로소 분석에 쓸 수 있는 양의 데이터를 추출해낼 수 있는 것이 바로 빅데이터이다.

또한 비정형 데이터 - 텍스트나 이미지, 동영상 등 - 의 크기가 크기 때문에 분석 가능한 수준의 정보량에 도달할 경우 막대한 크기를 차지하는 것이지, 비정형 데이터만 빅데이터라고 부르는 것이 아니다. 정형 데이터나 반정형 데이터도 빅데이터의 범주에 포함될 수 있다. 데이터의 형식보다는 데이터 분석에 필요한 원시 데이터의 크기가 크다는 것이 특징일 뿐이다.

---

기업의 데이터분석 과정은 다음과 같이 봐야 한다. 우선, 기업의 의사결정에 가장 중요한 데이터들 - ERP, CRM, SCM 등 -이 시작점이다. 요리에 비유한다면, 이 데이터들은 요리의 주재료에 해당한다. 여기에 텍스트나 이미지, 동영상 등의 비정형 데이터를 의사결정 과정에 포함한다. 이 데이터의 크기가 보통 가장 크며, 기술력의 발달로 분석이 가능해진 부분이다. 요리에 비유하자면 부재료다. 그리고, 외부 기관이나 정부, 3rd Party에서 필요한 데이터를 의사결정 과정에 포함한다. 이 데이터는 요리에 비유하면 조미료 같은 존재다.

이 모든 데이터들을 Data Lake라는, 요리에 비유하면 일종의 냉장고에 저장한다. 이 안에서 데이터라는 재료를 융합할 수 있는 기반이 마련된다. 요리재료의 숙성장소인 셈이다. 여기에 기술 발달로 가능해진 새로운 데이터 처리 및 분석방법, 즉 조리법을 적용한다. 머신 러닝이나 딥러닝, In-memory등이 있을 것이다. 이렇게 다양한 데이터(재료)와 새로운 분석방법(조리법)으로 만들어진 결과물(요리)이 의사결정에 활용된다. 이렇게 만들어진 요리는 과거 주재료들만 써서 만든 요리보다 고급진 요리이고, 이전보다 훌륭한 결과를 가져올 수 있다.

현재 빅데이터 분석이 갖는 문제점은, 기업이 의사결정에 활용하는 기본 데이터, 즉 주재료의 상태가 그다지 좋지 못하다는 데 있다. 관리가 부실했거나, 데이터를 제대로 활용할 수 없게 수집해놓은 등 여러 가지 이유로, 주재료를 100% 활용하는 데 어려움을 겪고 있다. 이 상황에서 여러 부재료와 조미료를 넣고 조리법으로 요리를 만들었을 때, 새로운 맛은 맞지만 굳이 큰 돈을 투자할 만큼의 가치라고 보기엔 애매한 상태가 된다. 기존 방법으로 만들어낸 요리를 아득히 뛰어넘는 결과가 나오질 않는다. 말하자면, 새로운 재료도 들어왔고 요리법도 익혔지만 온전히 활용하지는 못하는 상태다.

가장 좋은 방법은 물론 주재료의 품질을 높이는 것일 테지만, 데이터의 축적은 필연적으로 시간이 필요하다. 하지만 시간만이 해답이라고 손 놓고 있는 것이 아니라, 가지고 있는 데이터로도 최선의 결과를 꾸려낼 수 있는 사람이 필요하게 된다. 요리로 비유하자면 특급 셰프 정도 되겠다. 빅데이터 산업의 현재가 이러하기에, 기업들이 데이터 사이언티스트라는 좋은 인재를 찾기 위해 혈안이 되어 있다고 보면 된다.