topics data mart 데이터 마트란?
데이터 마트는 물론, 이를 통해 기업에서 팀 효율성을 높이고 비용을 낮추며 보다 스마트한 전략적 비즈니스 의사결정을 어떻게 내릴 수 있는지 알아봅니다.
파란색과 검은색 배경
데이터 마트란?

데이터 마트는 특정 LOB(line of business), 부서, 주제 영역에 중점을 둔 데이터 웨어하우스의 하위 그룹입니다. 데이터 마트는 정의된 사용자 그룹에 특정 데이터를 제공하고, 이러한 사용자는 데이터 마트를 통해 데이터 웨어하우스 전체를 검색하며 시간을 낭비하지 않고 중요한 인사이트를 신속하게 얻을 수 있습니다. 예를 들면, 많은 기업에서 데이터 마트는 재무, 영업 또는 마케팅과 같은 비즈니스 내 특정 부서와 연동되어 있습니다.

데이터 마트, 데이터 웨어하우스 및 데이터 레이크 비교

데이터 마트, 데이터 웨어하우스 그리고 데이터 레이크는 중요한 중앙 데이터 저장소이지만, 이들은 조직 내에서 다른 요구사항을 충족합니다.

데이터 웨어하우스는 궁극적으로 정교한 분석 및 비즈니스 인텔리전스를 높일 수 있는 데이터 마이닝, 인공 지능(AI), 머신 러닝을 지원하기 위해 여러 소스의 데이터를 중앙의 일관된 단일 데이터 저장소로 집계하는 시스템입니다. 이러한 전략적 수집 프로세스를 통해 데이터 웨어하우스 솔루션은 다양한 소스의 데이터를 통합하여 하나의 통합된 형식으로 제공합니다. 

(위에서 언급한 대로) 데이터 마트는 조직 내 단일 팀 또는 일부 사용자 그룹에 중요하며 이들에게 필요한 소규모 하위 그룹의 데이터를 포함하고 있는 데이터 웨어하우스의 한 버전입니다. 데이터 마트는 복잡한 절차를 통해 기존 데이터 웨어하우스(또는 기타 데이터 소스)로부터 구축됩니다. 이러한 절차에는 물리적 데이터베이스를 설계 및 구성하고, 이를 데이터로 채우고, 복잡한 액세스 및 관리 프로토콜을 설정하기 위한 여러 가지 기술과 툴이 사용됩니다.

어려운 프로세스지만, 이를 통해 사업부는 더 큰 데이터 웨어하우스 데이터 세트로 작업할 때보다 더 빨리 집중적으로 인사이트를 얻을 수 있습니다. 예를 들면, 마케팅 팀에서 기존 웨어하우스로 데이터 마트를 만들어 유용하게 활용할 수 있습니다. 일반적으로 마케팅 팀의 활동은 비즈니스의 나머지 영역과 독립적으로 수행되기 떄문입니다. 따라서 마케팅 팀은 모든 엔터프라이즈 데이터에 액세스할 필요가 없습니다.

데이터 레이크 역시 데이터를 위한 저장소입니다. 데이터 레이크는 여러 소스를 통해 공급된 비정형 또는 원시 데이터를 위한 대규모 스토리지를 제공하지만, 이러한 정보는 아직 분석을 위해 처리되거나 준비된 것이 아닙니다. 원시 형식으로 데이터를 저장할 수 있으므로 데이터 레이크는 데이터 웨어하우스보다 접근성과 비용 효율성이 더 뛰어납니다. 수집하기 전에 데이터를 정리하고 처리할 필요가 없습니다.

예를 들어, 정부는 교통 상황, 전력 사용, 수로에 관한 데이터를 추적하여 데이터 레이크에 저장하는 기술을 활용함으로써 이러한 데이터를 사용하여 효율적인 서비스를 제공하는 "스마트 도시"를 만드는 방법을 이해할 수 있습니다.

데이터 마트의 장점

데이터 마트는 비교적 좁은 주제의 데이터를 보유하여 특정 그룹의 요구사항을 충족하도록 설계되었습니다. 데이터 마트도 수백만 개의 레코드를 포함할 수 있지만, 그 목표는 비즈니스 사용자에게 가장 짧은 시간 안에 가장 관련성 있는 데이터를 제공하는 것입니다. 

더 좁고 집중된 설계를 가진 데이터 마트는 다음과 같은 여러 가지 장점을 최종 사용자에게 제공합니다.

  • 비용 효율성: 범위, 통합 및 추출, 변환, 로드(ETL) 프로세스 등 데이터 마트를 설정할 때 고려해야 할 요인이 많습니다. 그러나 데이터 마트는 일반적으로 데이터 웨어하우스 비용의 극히 일부만을 사용합니다.

  • 데이터 액세스 간소화: 데이터 마트는 데이터의 작은 하위 그룹만을 보관하므로 사용자는 데이터 웨어하우스의 더 큰 데이터 세트로 작업할 때보다 더 쉽고 빠르게 필요한 데이터를 검색할 수 있습니다.

  • 빠르게 인사이트 확보: 데이터 웨어하우스에서 얻은 인사이트는 엔터프라이즈 수준에서 전략적 의사 결정을 지원하며, 이는 비즈니스 전체에 영향을 줍니다. 데이터 마트는 부서 수준에서 의사 결정을 돕는 비즈니스 인텔리전스 및 분석을 지원합니다. 팀은 특정 목표를 염두에 두고 특정 목적에 집중된 데이터를 활용할 수 있습니다. 팀에서 더 짧은 시간 안에 가치 있는 데이터를 찾고 추출할 수 있으므로 엔터프라이즈는 비즈니스 프로세스 속도 향상과 생산성 향상을 통해 이득을 얻을 수 있습니다.

  • 데이터 유지보수 간소화: 데이터 웨어하우스는 여러 LOB(line of business)를 위한 많은 비즈니스 정보를 보관합니다. 데이터 마트는 100GB 미만의 데이터를 보관하며 하나의 사업부에 집중하므로 번거롭지 않고 더 쉽게 유지보수를 수행할 수 있습니다.

  • 더 쉽고 빠른 구현: 데이터 웨어하우스는 많은 내부 및 외부 소스로부터 데이터를 수집하므로 특히 대기업의 경우 데이터 웨어하우스 구현에는 상당한 시간이 소요됩니다. 반면, 데이터 마트를 설정할 때는 소규모 하위 그룹의 데이터만 필요하므로 더 효율적으로 구현할 수 있고 준비 시간도 더 적게 소요됩니다.
데이터 마트의 유형

데이터 웨어하우스와의 관계 그리고 각 시스템의 해당 데이터 소스에 따라 데이터 마트는 세 가지 유형으로 나눌 수 있습니다.

  • 종속적 데이터 마트는 엔터프라이즈 데이터 웨어하우스 내의 파티셔닝된 세그먼트입니다. 이 하향식 접근법은 하나의 중앙 위치에서 모든 비즈니스 데이터를 저장하면서 시작됩니다. 새롭게 생성된 이 데이터 마트는 분석에 필요할 때마다 기본 데이터의 정의된 하위 그룹을 추출합니다.

  • 독립적 데이터 마트는 데이터 웨어하우스에 의존하지 않는 독립형 시스템 역할을 수행합니다. 분석가들은 내부 또는 외부 데이터 소스에서 특정 주제 또는 비즈니스 프로세스에 대한 데이터를 추출하고 처리한 후 팀에서 필요로 할 때까지 데이터 마트 저장소에 저장합니다.

  • 하이브리드 데이터 마트는 기존 데이터 웨어하우스와 기타 운영 소스의 데이터를 결합합니다. 이 통합된 접근법은 하향식 접근법의 속도와 사용자 친화적 인터페이스를 활용하며, 독립적 방법의 엔터프라이즈 수준 통합을 제공합니다.
데이터 마트의 구조

데이터 마트는 트랜잭션 데이터를 행과 열로 저장하는 주제 지향적 관계형 데이터베이스이므로 액세스하고, 정리하고, 이해하기가 쉽습니다. 데이터 마트는 내역 데이터를 포함하므로 그 구조 덕분에 분석가가 데이터 트렌드를 더 쉽게 파악할 수 있습니다. 일반적인 데이터 필드에는 수치적 순서, 시간 값 및 하나 이상의 오브젝트에 대한 참조가 포함됩니다.

기업들은 분석 작업을 위해 데이터베이스를 사용하는 사람들의 요구를 해결하기 위해 데이터 마트를 블루프린트로 다차원 스키마 안에 구성합니다. 세 가지 주요 스키마 유형은 스타, 스노우플레이크 및 볼트입니다.

스타
 

스타 스키마는 별 모양을 닮은 다차원 데이터베이스에 테이블을 논리적으로 형성한 것을 말합니다. 이 블루프린트에서는 특정 비즈니스 이벤트 또는 프로세스와 관련이 있는 메트릭 세트인 하나의 팩트 테이블이 스타의 중심에 있으며, 이 주위를 여러 개의 관련 차원 테이블이 둘러싸고 있습니다.

차원 테이블 간에는 종속성이 없으므로 스타 스키마는 쿼리를 작성할 때 조인이 적게 필요합니다. 이러한 구조 덕분에 더 쉽게 쿼리할 수 있습니다. 따라서 스타 스키마는 대규모 데이터 세트에 액세스하고 이를 탐색하고자 하는 분석가에게 매우 효율적입니다.

스노우플레이크
 

스노우플레이크 스키마는 스타 스키마를 논리적으로 확장한 것으로 추가적인 차원 테이블을 사용하여 블루프린트를 구축합니다. 차원 테이블은 데이터 무결성을 보호하고 데이터 중복성을 최소화하도록 정규화됩니다.

이 방법은 차원 테이블을 저장할 공간이 더 적게 필요하지만, 관리하기 어려울 수 있는 복잡한 구조로 되어 있습니다. 스노우플레이크 스키마의 주된 장점은 디스크 공간이 적게 필요하다는 것입니다. 그러나 단점은 테이블이 추가되므로 성능에 부정적인 영향이 발생한다는 것입니다.

Vault
 

데이터 볼트는 IT 전문가가 민첩한 엔터프라이즈 데이터 웨어하우스를 설계하도록 돕는 최신 데이터베이스 모델링 기법입니다. 이 접근법은 계층화된 구조를 활용하며, 다른 스키마 모델을 사용할 경우 발생하는 민첩성, 유연성, 확장성 관련 문제를 해결하기 위해 개발되었습니다.

데이터 볼트를 사용하면 스타 스키마처럼 정제가 필요하지 않으며, 기존 스키마에 전혀 지장을 주지 않고, 새 데이터 소스를 효율적으로 추가할 수 있습니다.

데이터 마트 이용 대상(및 방법)

데이터 마트는 부서 수준의 중요한 비즈니스 의사 결정을 지원합니다. 예를 들면, 마케팅 팀이 데이터 마트를 사용하여 소비자 행동을 분석할 수 있으며, 영업 직원은 데이터 마트를 사용하여 분기별 판매 보고서를 만들 수 있습니다. 이러한 작업은 해당 부서 내에서 수행되므로 팀이 모든 엔터프라이즈 데이터에 액세스할 필요가 없습니다.

일반적으로 데이터 마트는 해당 데이터 마트를 사용하려고 하는 특정 비즈니스 부서가 만들고 관리합니다. 데이터 마트 설계 프로세스는 보통 다음 단계로 구성됩니다.

  1. 데이터 마트의 비즈니스 요구사항과 기술적 요구사항을 이해하기 위해 필수 요구사항을 문서화합니다.

  2. 데이터 마트가 정보를 얻을 데이터 소스를 확인합니다.

  3. 주제에 대한 모든 정보거나, 더 세분화된 수준의 특정 분야든, 데이터 하위 그룹을 결정합니다.

  4. 더 큰 데이터 웨어하우스와 상관관계가 있는 스키마를 선택하여 데이터 마트의 논리적 레이아웃을 설계합니다.

준비 작업이 완료되면 Qlik 또는 SiSense와 같은 전문 비즈니스 인텔리전스 툴을 사용하여 데이터 마트에서 최대한의 가치를 실현할 수 있습니다. 이러한 솔루션에는 대시보드와 인사이트를 데이터로부터 쉽게 구분하도록 해주는 시각화 기능이 포함되어 있습니다. 이러한 인사이트를 활용하여 궁극적으로 회사에 이득이 되는 더 스마트한 의사 결정을 내릴 수 있습니다.

데이터 마트 및 클라우드 아키텍처

데이터 마트는 기업에 효율성 및 유연성 향상이라는 장점을 제공하지만, 멈출 수 없는 데이터의 증가는 온프레미스 솔루션을 계속 사용하는 기업들에게 문제를 제기합니다.

데이터 웨어하우스가 클라우드로 이동하면, 데이터 마트도 클라우드로 이동합니다. 기업은 데이터 리소스를 모든 데이터 마트를 포함하는 단일 저장소로 통합함으로써 비용을 절감하고 모든 부서에 실시간으로 필요한 데이터에 대한 제약 없는 액세스를 제공할 수 있습니다.

클라우드 기반 플랫폼은 손쉽게 대량의 데이터 세트를 생성, 공유, 저장하는 것을 가능하게 하여 더 효율적이고 효과적인 방식으로 데이터에 액세스하고 이를 분석할 수 있는 길을 열어 줍니다. 클라우드 시스템은 지속 가능한 비즈니스 성장을 위해 구축되며, 많은 최신 SaaS(Software-as-a Service) 제공자는 데이터 스토리지를 컴퓨팅으로부터 분리하여 데이터를 쿼리할 떄 확장성을 높입니다.

관련 솔루션
Db2 Warehouse on Cloud

고성능 분석과 AI를 위해 구축된 완벽히 관리되는 탄력적 클라우드 데이터 웨어하우스의 기능을 살펴봅니다.

Db2 Warehouse on Cloud 살펴보기
InfoSphere Master Data Management

IBM InfoSphere Master Data Management가 기업 전체에서 신뢰할 수 있는 마스터 데이터를 활용하여 협업하고 혁신할 수 있도록 비즈니스 및 IT 사용자의 역량을 어떻게 강화하는지 살펴봅니다.

InfoSphere Master Data Management 살펴보기
리소스 데이터 및 AI 과제 해결을 위해 최적의 엔터프라이즈 데이터 웨어하우스 찾기

AI와 관련하여 직면하게 될 수많은 과제를 엔터프라이즈 데이터 웨어하우스와 데이터 마트로 극복할 수 있습니다. 이러한 솔루션으로 누릴 수 있는 총 가치를 평가하는 방법을 알아보세요.

데이터 레이크와 데이터 웨어하우스의 만남

Ventana Research의 분석가 David Menninger 씨가 이야기하는 데이터 레이크와 데이터 웨어하우스의 교차점에 대해 알아보세요. 교차점은 데이터 마트를 구축할 때 중요한 고려 사항입니다.

다음 단계

IBM Db2 Warehouse on Cloud는 스토리지와 컴퓨팅의 독립적 스케일링을 제공하는 탄력적 클라우드 데이터 웨어하우스입니다. 소규모 데이터 마트에서는 고성능 분석을 위해 구축된 탄력적 데이터 웨어하우스인 Flex One 기능을 사용할 수 있습니다. 이 시스템은 여러 클라우드 제공자에 배포 가능하며 스토리지는 40GB부터 시작합니다.

IBM Db2 Warehouse on Cloud 살펴보기