1. 데이터의 원활한 활용을 방해하는 요인
① 기업들이 직면한 주요 도전과제
현재 많은 기업들은 다음과 같은 요인으로 인해 데이터를 원활하게 활용하지 못하고 있다.
데이터 역량 및 기술 미흡
인적 및 물적 역량과 기술에 투자를 많이 해왔음에도 불구하고, 회사 관점에서 역량이 얼마나, 어떻게 성장했는지 불분명하다. 관련 성과를 판단하거나 참고할 수 있는 사례가 부족하다.
비즈니스 가치 생성에 부적합한 데이터
비즈니스 기회를 발굴하고 운영을 효율화 하는 데 있어서, 대부분의 데이터가 분절되어 있기 때문에 데이터를 신속하게 적용하기 어렵고, 실질적 효과를 얻은 사례가 부족하다.
데이터 기반 결과 창출 미흡
가시적인 비즈니스 효과를 창출하고, 조직 내에서 공감과 지지 등 긍정적 피드백이 확인된 사례가 부족하다.
► 데이터 전략 추진 과정에서의 가장 큰 장애 요인
② 데이터 중심 기업으로의 Step-Up을 위한 효율적 접근법이 필요
국내 기업의 데이터 활용도 가시적으로 성과를 창출하기 어려운 상황이다. 데이터 및 데이터를 다루는 조직이 분절되어 있으며, 데이터 플랫폼의 양/질이 모두 부족하기 때문이다.
► 국내 헬스케어 기업 데이터 현황 (고객사 사례)
2. 데이터 플랫폼의 발전 방향
① Who : 데이터 플랫폼 활용 주체의 확대
기존의 데이터 플랫폼 사용자가 데이터 팀과 유관부서 중심이었던 반면, 앞으로는 기존의 데이터 전문가 뿐 아니라, 가치사슬의 이해관계자가 모두 참여하는 방식으로 데이터 플랫폼의 활용 주체가 확대될 것으로 전망된다.
기존에는 사용자가 데이터를 활용하는 데 있어서, 다수의 분석 솔루션이 분리되어 있고 기술 난이도가 높으며, 수작업이 많아서 큰 어려움을 겪었다. 게다가 데이터 활용의 구체적인 가이드와 교육이 불충분했다. 최근 여러 기업들은 기능 및 UX 측면에서 데이터 플랫폼의 사용자 경험을 개선하고, 생성형 AI 연계를 통해 기존의 어려움을 해소하고 있다. 예를 들어, 마이크로소프트는 MS Fabric에서 코파일럿(Copilot)을 결합하였고, AWS는 올해 5월 출시된 아마존 Q로 작업을 지원하고, 구글은 제미나이(Gemini)를 업무 전반에 결합하고 있다.
이와 같은 흐름으로 고객 경험의 개선 뿐 아니라, 현장의 업무 수행 능력(Operation Excellence)의 개선을 위해 더 많은 현업 부서와 백오피스 부서 모두 적극 참여할 수 있는 기반이 갖춰지고 있다.
► 데이터 플랫폼 활용 확대
글로벌 선도 사례: 마이크로소프트(Microsoft), MS Fabric을 통한 데이터 플랫폼 고도화
마이크로소프트는 2023년 출시한 MS Fabric를 통해 데이터 팩토리, 시냅스 데이터 웨어하우스, 애널리틱스, 파워 BI 등 데이터 분석 서비스를 통합했다. 게다가 생성형 AI인 코파일럿과 MS 오피스(파워포인트, 엑셀 등)를 결합하여 제공한다. 사용자가 코파일럿을 통해 질문이나 요청을 하면, 전체 업무 과정에 따라 서비스들을 연결하여 결과물을 쉽고 빠르게 도출한다. 가령, 행이나 열을 추가하거나 함수를 입력하는 등 수작업이 필요했던 엑셀 작업도 AI 봇을 통해 손쉽게 할 수 있다. 또한, 추출된 데이터로 몇 초 만에 예측 모델을 손쉽게 생성할 수 있고, 코파일럿 데이터 분석을 통해 보고서도 생성할 수 있다.
이제 전문적인 데이터 사이언티스트가 아니더라도, 누구나 손쉽게 데이터 플랫폼을 활용해서 쿼리 작성, 모델 생성, 보고서 작성 등을 편리하고 신속히 수행할 수 있게 되었다. 이를 통해 전사적으로 데이터 기반의 의사결정을 촉진할 수 있다.
► 마이크로소프트의 MS Fabric
② What : 옴니채널에서 실시간, 정형·비정형 데이터 수집 및 분석
여전히 많은 기업이 온·오프라인의 분리 및 여러 시스템의 단절로 인해 어려움을 겪고 있다. 하지만 앞으로도 실시간 데이터 및 정형·비정형 데이터를 보다 넓고 깊게 수집함으로써, 옴니채널(Omni-Channel)에서 최적의 제안을 하고 운영 효율성을 높이는 방향으로 나아갈 것이다.
이를 통해 이벤트 기반 실시간 마케팅을 가속화할 수 있고, 고객별 통합된 데이터를 분석하고 관리하는 ‘360˚ 고객 싱글 뷰(Single-view)’를 통해 온·오프라인 상담을 통합할 수 있다. 가령 리테일 산업의 경우, 오프라인 매장 내 상담원은 온라인 주문 내역이나 불만 사항을 볼 수 없어서 고객경험을 해치는 경우가 많았다.
채널 별 상담 시스템을 통합함으로써 이러한 문제를 해결하고 고객경험을 개선할 수 있을 것이다.
► 실시간 및 정형·비정형 데이터의 활용 예시 (금융 산업)
글로벌 선도 사례: 애플(Apple), 실시간 데이터 분석을 통한 오퍼링 강화 및 공급망 수요 예측
애플은 고객 정보를 실시간으로 수집, 분석하여 온·오프라인 오퍼(Offer)를 강화하거나 내부 공급망 수요 예측을 정교화하는 방향으로 활용하고 있다.
고객 위치 정보 분석 기반 오퍼링 경쟁력 강화
먼저, 고객 위치 정보 분석을 기반으로 오퍼링을 강화한 사례를 보자. 애플은 센서매틱(Sensormatic) 솔루션을 활용해 공식 리셀러 매장에 GPS 기반 오퍼가 가능하도록 하였다. 수집 데이터로는 Geo-Fence 기반의 고객 위치 정보, 고객 매장 방문 전후 이동 경로, 고객의 관심사 및 브랜드 충성도가 있다. 가령, 지도에 고객이 방문한 장소가 표시되고, 이후 이동 동선을 분석해 주는 식이다. 이를 통해서 다음과 같이 오퍼링을 최적화한다.
- 고객 이탈 동선 분석: 고객 이탈 정보를 조합하여 경쟁사 대비 적극적인 프로모션을 진행할 수 있다.
- 매장 방문 전후 동선 분석: 구매 내역, 매장 방문 시점, 방문 브랜드 등 타겟 고객의 특성을 파악하고 핵심 고객군을 식별할 수 있다.
- 타겟 대상 위치 기반 마케팅 진행: 매장 주위 타겟 포착 시, 프로모션 및 할인 정보 등을 담은 모바일 푸시 알림을 제공할 수 있다.
공급 수요 예측 최적화 기반 물류 개선
애플의 두 번째 사례는 매우 복잡한 오퍼레이션도 효율화가 가능하다는 것을 보여준다. 빅데이터 분석 기반의 채널별 공급망의 수요 예측을 최적화하여, 엔드유저(End-Customer)를 위한 물류 체계를 강화했다. 분석 데이터로 SKU 단위 지역별 판매실적, 비축 재고 데이터, 거래선별 기존 공급 계획, Sell-through 실적, 재고 현황 데이터, 향후 세일즈 예측 데이터 등을 활용한다. 이를 통해 거래선 긴급 보충, 최종 소비자 긴급 배송, D2C로 고객에게 배송 등 공급망의 수요 예측을 최적화한다. 앞으로도 고객의 선호 뿐 아니라 행동을 기반으로 대응하는 것이 더욱 강화될 것이고, 내부 오퍼레이션 측면에서도 극한의 효율화를 지속 추구할 것으로 예측된다.
► 애플의 실시간 데이터 활용 성과
③ How : DataOps 기반의 협업 및 운영 관리 자동화 강화
고품질 데이터를 지속적으로 전달하고 제공하기 위해 DataOps 기반의 운영 관리 자동화는 점점 더 고도화될 것으로 전망한다. DataOps 기반 관리의 필요성이 대두된 배경은 3가지로 정리해볼 수 있다. 먼저, 데이터 부서의 IT 부서 의존도가 높다는 것이다. IT 부서의 협조 없이는 데이터를 확보하고 가공하는 것이 어려워 원천시스템의 접근부터 데이터 추출까지 무려 한 달이나 걸리는 상황도 있었다.
두 번째, 권한의 부족이다. 데이터 조직에 주어진 권한이 충분하지 않기 때문에 스스로 문제를 찾거나 개선하는 일을 하기에는 한계가 있다.
세 번째, 기술환경의 부족이다. 기술적인 환경 및 사용자 지원이 부족하다 보니, 데이터 분석, 적용, 피드백 사이클을 단기간에 적용하기에 어려움이 있다.
향후, 아래와 같이 DataOps를 통해 조직 내 데이터 관리자와 사용자 사이의 데이터 플로우를 자동화하고, 원활한 협업을 활성화하는 역할이 더욱 고도화될 것으로 예측한다.
► DataOps의 기능 예시
글로벌 선도 사례: 마이크로소프트(Microsoft), 협업을 통한 데이터 자동화 아키텍처 지원
마이크로소프트는 데이터 브릭스(Databricks)과의 협업을 통해 데이터 유입, 정제, 피처링을 자동화하는 메달리온 아키텍처(Medallion Architecture)를 지원한다. 브론즈 레이어(Bronze Layer)의 Raw 데이터를 비즈니스 수준에서 바로 사용할 수 있는 골드 레이어(Gold Layer)의 데이터로 정제 및 저장할 수 있다. 또한, 사용자는 원하는 데이터를 상품처럼 제공받음으로써 데이터 품질을 높이고 원하는 목적에 따라 데이터를 유연하게 사용할 수 있다.
데이터 파이프라인을 통해 데이터의 랜딩, 폐기, 저장, 변환 등을 빠르게 할 수 있도록 지원하고, 이를 통해 데이터 사이언티스트 뿐 아니라, 인공지능 및 머신러닝 모델러, 현업 유저까지 편하게 사용할 수 있도록 지원한다.
► 마이크로소프트의 DataOps 사례
고객사 사례: DataOps를 통한 자동화로 일관된 데이터 관리
차세대 프로젝트를 진행하고 있던 고객사는 새로운 디지털 플랫폼을 구축해야 하는 상황이었다. 이 때, DataOps를 통해 개발, 검증, 운영 환경에서 데이터 관리의 일관성을 유지할 수 있도록 자동화를 추진했다. ‘테스트, 모니터링, 오케스트레이션’이라는 3가지 측면에서 자동화를 진행했고, 이를 통해 워크플로우 자동화, 데이터 수명주기 관리, 데이터 소스의 완전성/정합성 관리가 가능하도록 지원했다.
향후 DataOps는 MLOps와 결합하여 데이터 전처리, 학습, 튜닝 및 최적화 등 전 단계에서 자동화를 가속화할 것으로 전망된다. 결측치 처리, 이상치 탐지, 스케일링 및 특성 엔지니어링과 같은 작업들을 자동화할 수 있는 도구와 라이브러리가 더욱 확충될 것이다.
► 헬스케어 기업의 DataOps 기능 관점의 아키텍처 설계
④ Where : Cloud-Native 아키텍처를 채용한 서비스 플랫폼 또는 SaaS형 Data Lakehouse로 전환되는 데이터 플랫폼
기존의 온프레미스(On-Premise)에 있는 데이터베이스, 웨어하우스 어플라이언스(Warehouse Appliance), 빅데이터 하둡(Hadoop) 등도 목적에 따라 여전히 유용하지만, 더 많은 비정형 및 실시간 데이터를 처리하기 위해서 클라우드-네이티브 구조로 전환되고 있다. 이 구조가 가용성, 확장성, 비용효율성 측면에서 유리하기 때문이다. 실제 전 산업에 걸쳐 많은 고객사들도 이와 같은 솔루션을 고려하고 있다.
클라우드-네이티브 기반의 플랫폼을 선택할 때에는 당사의 사용 목적, 비용 등 요건을 고려해 선택한다. 특히 스노우 플레이크(Snowflake)와 데이터 브릭스(DataBricks)중 고민하는 경우가 많은데, 스노우 플레이크는 정형에서 출발해서 비정형으로, 데이터 브릭스는 비정형에서 출발해서 머신러닝 기반으로 이뤄지기 때문에 시작점이 다르다는 측면이 있다. 사용자 역량 측면에서도 고도화된 인력을 많이 갖추고 있는지도 고려해서 선택하는 것을 권고한다.
► 데이터 주도형 기술의 진화에 따른 통합 데이터 플랫폼 추진 지향점
국내 선도 사례 ① 하이브리드-멀티 클라우드 환경에서의 추가적 이점
국내 기업 사례를 보면, 해당 기업은 클라우드 기반의 아키텍처로 넘어가면서 확장성 및 가용성을 높였다. PaaS 활용을 통해 기존에는 4주가 걸리던 서비스 및 솔루션 도입 기간을 1주로 단축했다. 비용 관점에서는 퍼블릭 클라우드로 전환을 통해 약 20%를 절감했고, 라이트-사이징(Right-Sizing) 등 저사용 자원으로 약 10%를 절감해, 기존 대비 총 30% 정도 비용 절감효과를 달성했다.
더불어, 많은 고객사는 클라우드 서비스와 기능을 필요에 따라 선택해서 사용하고, 특정 클라우드에 묶이기 보다는 클라우드를 바꿔 활용하고 싶은 니즈를 가지고 있다. AWS, MS, GCP는 이를 방지하기 위해 노력 중이지만, 이미 고객은 전체 이득을 극대화하는 방안으로서 하이브리드-멀티 클라우드를 고민하고 있고, 데이터 플랫폼 역시 해당 방향으로 나아갈 것으로 전망된다.
해당 국내 기업은 특정 클라우드로의 쏠림이 90% 정도로 벤더 종속성이 강한 편이었는데, 여러 벤더사의 클라우드를 섞어 활용함으로써 벤더 협상력을 더욱 강화할 수 있었다. 또한 클라우드에 따라 특화 서비스가 존재하기 때문에 멀티 클라우드에서의 데이터 플랫폼을 통해 효율을 극대화하는 방향으로 골라 쓸 수 있다. 예를 들어 AWS는 보다 더 많은 기능, 인프라, IaaS에 강점이 있다면, MS Azure는 인공지능과 머신러닝에 강점이 있고, GCP는 분석, PaaS에 강점이 있기 때문에 앞으로도 벤더사 각각의 서비스 강점을 골라 활용할 수 있도록 발전할 것이다.
► Hybrid-Multi Cloud의 필요성 및 기대효과
국내 선도 사례 ② 하이브리드-멀티 클라우드 환경에서 네트워크 및 보안환경 별도 구성
고객사는 하이브리드-멀티 클라우드 환경에서 벤더별 서비스 특장점을 극대화하기 위해 네트워크 및 보안 환경을 별도로 구성했다. 먼저, 전용선을 사용해 클라우드 익스체인지(Cloud eXchange)와 외부 클라우드 서비스들을 연결함으로써 데이터 전송 속도를 높였다. 또한 기업 전체를 대상으로 통합된 보안 존(Zone)을 만들고, 이 보안 존을 여러 클라우드 서비스와 연결하여 외부 접속 트래픽으로부터 보호한다. 이러한 네트워크 및 보안 환경을 바탕으로, 다양한 클라우드와 그 위에서 운영되는 데이터 플랫폼을 자유롭게 사용할 수 있는 기반을 마련했다.
현재 산업에 따라 도입 속도는 다르지만, 앞으로는 이러한 구성이 레퍼런스로 활용될 가능성이 크다. 특히 대기업일수록 하이브리드-멀티 클라우드 환경의 필요성이 더 클 것으로 예상한다. 이 흐름에 맞춰 벤더들도 클라우드 전환(스위치)을 준비하고 있다.
► Hybrid-Multi Cloud 운영 환경 구성 예시
3. 데이터 중심 기업으로의 전환 방안
데이터 중심 기업으로의 본격적 전환을 위해 Kearney는 Think-Build-Scale Transformation Framework를 제시한다.
- Think Data : 비즈니스의 목적, 전략적 방향성 관점에서 어떤 데이터를 모아서 어떻게 활용할 것인가?
- Build Data : 데이터 아키텍처 관점에서 데이터의 저장, 분석, 활용을 위한 기반을 어떻게 고도화 할 것인가?
- Scale Data : 데이터 운영 모델 관점에서 사람, 조직, KPI, 역량, 협업 등 일하는 방식을 어떻게 전환하고, 어떻게 파트너 생태계를 만들 것인가?
► Think-Build-Scale Transformation Framework
① Think Data : 전체 사업 영역과 조직에 걸쳐 데이터 활용 사례를 발굴해야
비즈니스 전체 관점에서 기업이 데이터를 활용할 사례(Use Case)를 발굴하는 과정이 필요하다. 산업과 비즈니스 유형에 따라 활용 사례가 다양할 텐데, 선도 기업을 벤치마킹하는 과정에서 발굴하는 경우도 많다. 산업별 규제나 고객 특성에 따라 Use Case의 범위에 차이가 있을 것이고, 일부 업종의 경우, 특정 규제로 인해 업무가 프론트에 몰려 Use Case가 많지 않다는 고객의 보이스도 있었다.
아래는 Kearney가 수행한 통신 산업의 Use Case 라이브러리다. 비즈니스 이해관계자들이 모두 모여 전체 가치사슬에서 어떤 인사이트를 도출해낼 것인지 토론하면서 발굴하고, 이를 지속적으로 구체화 나갔다. 특히 최근에는 인공지능, 머신러닝과 연계하여 Use Case를 더욱 고도화하거나, 새로 추가되는 업무가 많아지고 있다. 예를 들어, 음성 비서를 활용하는 것 뿐만 아니라, 이미지 분석을 활용한 진료, 이미지와 설문을 조합한 고객의 보장 검토 등 많은 사례를 발굴하고 있다. 이처럼 기술적인 영역과 함께 총체적으로 검토하면 Use Case를 점차 확장할 수 있을 것이다.
► Kearney Use Case 라이브러리 (통신 산업)
② Build Data: Use Case의 활용을 위해 전사적인 데이터 기반을 구축해야
데이터의 저장, 분석, 활용을 위한 기반(Architecture)을 고도화 하려면 아래 4가지 사항을 고려해야 한다.
다수 임직원이 쉽고 편하게 사용할 수 있는 플랫폼 구축
누가 데이터를 활용하고, 사용 권한 범위를 어디까지 제공할 것인지 등 데이터 액세스 권한 지정에 대한 거버넌스 정비가 필요하다. 또한, 이해관계자 간 협업이 늘어날 것이기 때문에 명확한 의사소통 체계를 수립해야 한다.
실시간(Real-Time), 비정형 데이터의 수집 및 분석 범위 확대
Use Case를 명확히 하고, 인프라 확보 및 기술역량을 강화할 뿐 아니라 데이터 품질 관리 체계를 정비해야 한다.
DataOps 기반의 운영관리 자동화 추진
자동화 대상 프로세스, 워크플로우(Workflow)를 사전에 정의하는 것이 필요하다. 또한, 데이터의 정확성 및 일관성을 보장하고, 품질 관리 체계를 지속적으로 고도화 할 필요가 있다.
Hybrid-Multi Cloud 기반의 데이터 플랫폼 활용
하이브리드-멀티 클라우드 활용을 위한 네트워크 아키텍처 및 보안 존(Zone)을 구성해야 한다.
③ Scale Data : 일하는 방식 전환을 통해 데이터 중심 기업으로 도약해야
마지막으로, 조직 구조, R&R, KPI, 역량 등 조직 내 일하는 방식을 변화시킴으로써 데이터 기업으로의 전환을 준비해야 한다.
아래 자료는 Kearney의 통신 산업에서의 글로벌 레퍼런스다. 실제 적용할 때에는 각 사의 현황 분석을 통해 접근해야 한다. 갈수록 비즈니스 및 기술 변화 속도가 빨라지기 때문에, 5가지 영역 중 일하는 방식, 즉 기업의 민첩성 (Agility)이 더욱 강조되고 있다.
애자일 업무 방식에 따라 탄력적 운영 모델을 적용하고, 의미 있는 성과를 지속 발굴하며 확산하는 것이 중요하다. 이를 통해 CDO 조직의 추진력을 확보할 수 있고, 기술 발전에 대응할 수 있는 민첩한 구조를 갖출 수 있을 것이다.
► 우수 사례 (통신 산업)
나아가, Think-Build-Scale 프레임워크에 기반하여 프로젝트 팀(전환 프로그램)을 통해 데이터 중심 기업으로의 전환을 추진하는 것이 현실적이다. 이러한 변화는 데이터 분석 가치 창출, 데이터 기반의 의사결정 등 단계적인 접근을 통해 몇 년에 걸쳐 점진적으로 이루어진다.
이 과정에서 특정 업무는 자체적으로 수행하고, 이외 업무는 외부 협업을 통해 진행하는 경우가 많다. 이때 전체적인 계획 수립과 모니터링 등 진행 측면도 중요하게 챙겨야 할 포인트다.
주로 국내 고객사는 데이터 플랫폼 신규 구축을 목표로, 아래와 같은 프로세스를 통해 업무를 진행한다. 플랫폼 구축을 위한 예산을 받고, 전사적인, 특히 C레벨의 지지와 스폰서십을 받아 진행하면서 점진적인 전환을 추진하는 것이 용이할 것이다.
► 데이터 플랫폼 구축을 위한 프로젝트 프로세스
4. 데이터 플랫폼의 성공을 위한 제언
생성형 AI 등 신기술 발전에 대응하기 위한 내·외부 협업 강화
현재의 기술 발전 속도는 단일 기업이 따라잡기에는 벅찬 상황이므로, 채용 및 전환을 통해 단계적으로 내부 역량을 확보하되, 기술을 보유한 빅테크, SI, 솔루션 기업과의 전략적 제휴가 필요하다.
지속적으로 성공 사례를 축적함으로써 전사적 지원 확보
초기에 큰 목표를 설정하기보다, 실용적으로 시작하여 점차 확장하는 방식이 유효하다. 많은 기업의 CDO는 자신의 존재 이유를 증명하는데 어려움을 느낄 수 있는데, 성공 경험을 통해 전사를 설득하여 지원을 확보할 수 있다.
조직, 문화, 거버넌스, IT 투자를 통해 전사적 혁신 추진
데이터 부서의 노력만이 아닌, 전사적 관점으로 데이터 운영 모델을 확립해야 한다. 가치 중심의 데이터 활용이 가능하도록 지속적으로 혁신을 주도하고
모니터링하는 체계가 필요하다.
