Brain290. 데이터 마트 (Data Mart)
핵심 인사이트 (3줄 요약)
- 본질: 데이터 마트(Data Mart)는 데이터 웨어하우스의 부분집합으로, 특정 부서나 조직 단위의 분석 필요에 맞춰 구축되는 소규모 전문 분석 데이터 저장소이다.
- 가치: 부서별 맞춤형 분석, 빠른 구축, 낮은 비용, 부서 자율성 제공, 전사 DW의 subset으로 일관성 유지가 가능하다.
- 융합: DW, ODS, ETL, 차원 모델링, 스타 스키마, Kimball 방법론(상향식), 부서별 BI와 밀접하게 연관된다.
Ⅰ. 개요 및 필요성 (Context & Necessity)
개념 정의
데이터 마트(Data Mart)는 데이터 웨어하우스(Warehouse)의 부분집합(Subset)으로서, 특정 부서(영업, 마케팅, 재무 등)나 기능 영역(고객 분석, 재고 분석 등)에 초점을 맞춘 소규모 분석 데이터 저장소이다. 전사적 통합 데이터 웨어하우스가 전사 차원의 의사결정을 지원하는 반면, 데이터 마트는 특정 부서의 일상적 의사결정을支援한다. Ralph Kimball이 제시한 상향식(Bottom-up) 데이터 웨어하우스 방법론의 핵심 구성 요소로, 부서별로 먼저 데이터 마트를 구축한 후 이를 통합하여 전사 DW를 구축하는 접근 방식을 취한다.
필요성
전사적 데이터 웨어하우스는 구축에 상당한 시간과 비용이 소요된다. 그러나 각 부서는 자신의 분석 필요에 따라 빠르게 데이터를 활용하고 싶어한다. 데이터 마트는 이러한 부서의 니즈에 충족하기 위해 전사 DW의 일부를针对性으로 구축하여, 빠른 구축과 저렴한 비용으로 부서별 분석을 가능하게 한다. 또한 전사 DW를 기다리지 않고 각 부서가 먼저 자신들의 데이터로 분석을 시작할 수 있어, 데이터 기반 문화 정착에 기여한다.
배경
1990년대 Ralph Kimball은 Bill Inmon의 상향식(Top-down) DW 방법론과 대비되는 하향식(Bottom-up) 방법론을 제시했다. Inmon은 전사적 DW를 먼저 구축한 후 부서별 데이터 마트를 파생시키는 접근을 주장했고, Kimball은 각 부서의 데이터 마트를 먼저 구축하여 전사 DW를 완성해가는 접근을 주장�다. 이후 두 방법론은 상호 보완적으로 활용되는 경향이 있다. Kimball 방법론에서는 데이터 마트가 전사 DW의 시작점이며, 각 데이터 마트는 같은 차원 모델링 원칙(콘포밍 디멘젼, 균일한 시간 정의)을 따라야만 궁극적으로 통합이 가능하다.
비유
데이터 마트는大型도서관의 열람실과 같다.大型도서관(전사 DW)에는 모든 분야의 책이 있지만, 각 열람실(데이터 마트)은 특정 분야(자연과학, 인문학, 예술 등)에 특화된 책을 배치하여 해당 분야研究자에게는より素早い文献 서비스를 제공한다. 열람실 책의编排 역시 도서관 전체 목록과 연계되어 있어, 필요시 도서관 전체資料로 확장 조회가 가능하다.
📢 섹션 요약: 데이터 마트는 전사 DW의 부분집합으로 특정 부서/영역에 맞춘 소규모 분석 저장소이며, 빠른 구축과 부서별 맞춤형 분석이 가능하다.
Ⅱ. 아키텍처 및 핵심 원리 (Deep Dive)
데이터 마트 아키텍처 유형
┌─────────────────────────────────────────────────────────────────────────────┐
│ 데이터 마트 아키텍처 유형 │
├─────────────────────────────────────────────────────────────────────────────┤
│ │
│ [유형 1] 직접 연결형 (Direct Dependent Data Mart) │
│ ───────────────────────────────────────────── │
│ • 전사 DW에서 직접 파생된 데이터 마트 │
│ • DW의 subset 형태 │
│ • 높은 일관성, 중앙 관리 가능 │
│ │
│ ┌──────────────────┐ │
│ │ Data Warehouse │ │
│ │ (전사 DW) │ │
│ └────────┬─────────┘ │
│ ┌─────┴─────┐ │
│ ▼ ▼ │
│ ┌──────────┐ ┌──────────┐ │
│ │ Sales │ │Marketing │ │
│ │ Data Mart│ │Data Mart │ │
│ └──────────┘ └──────────┘ │
│ │
│ [유형 2] 간접 연결형 (Indirect Independent Data Mart) │
│ ───────────────────────────────────────────── │
│ • 전사 DW와 별개로 독립적生源에서 직접 데이터 마트 구축 │
│ • 빠른 구축 가능하나 일관성 위험 │
│ │
│ ┌──────────────────┐ │
│ │ Data Warehouse │ │
│ │ (전사 DW) │ │
│ └──────────────────┘ │
│ ↑ │
│ ┌─────────┴─────────┐ │
│ │ ODS / Staging │ │
│ └─────────┬─────────┘ │
│ ┌────────┴────────┐ │
│ ▼ ▼ │
│ ┌──────────┐ ┌──────────┐ │
│ │ Sales │ │Marketing │ │
│ │ Data Mart│ │Data Mart │ │
│ │( 독립적) │ │( 독립적) │ │
│ └──────────┘ └──────────┘ │
│ │
│ [유형 3] 하이브리드형 (Hybrid Data Mart) │
│ ───────────────────────────────────────── │
│ • 직접 연결과 간접 연결의Hybrid │
│ • 일부 데이터는 DW에서, 일부는 직접 수집 │
│ │
│ ┌──────────────────┐ ┌──────────────────┐ │
│ │ Data Warehouse │◀───▶│ Data Mart │ │
│ │ (전사 DW) │ │ (하이브리드) │ │
│ └──────────────────┘ └──────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────────────────────┘
데이터 마트 vs 데이터 웨어하우스 비교
┌─────────────────────────────────────────────────────────────────────────────┐
│ 데이터 마트 vs 데이터 웨어하우스 비교 │
├─────────────────────────────────────────────────────────────────────────────┤
│ │
│ ┌──────────────────┬────────────────────────┬────────────────────────┐ │
│ │ 특성 │ 데이터 웨어하우스 │ 데이터 마트 │ │
│ │ │ (DW) │ (Data Mart) │ │
│ ├──────────────────┼────────────────────────┼────────────────────────┤ │
│ │ 범위 │ 전사적 (Enterprise) │ 부서/영역 단위 (Local) │ │
│ │ │ │ │ │
│ │ 목적 │ 전략적 의사결정 지원 │ 전술적/운영적 의사결정 │ │
│ │ │ (경영진) │ (팀/부서 관리자) │ │
│ ├──────────────────┼────────────────────────┼────────────────────────┤ │
│ │ 데이터량 │ 수 TB ~ 수 PB │ 수십 GB ~ 수 TB │ │
│ ├──────────────────┼────────────────────────┼────────────────────────┤ │
│ │ 구축 기간 │ 수개월 ~ 수년 │ 수주 ~ 수개월 │ │
│ ├────────────────__┼────────────────────────┼────────────────────────┤ │
│ │ 비용 │ 높음 │ 낮음 ~ 중간 │ │
│ ├──────────────────┼────────────────────────┼────────────────────────┤ │
│ │ 사용자 수 │ 수백 ~ 수천 명 │ 수십 ~ 수백 명 │ │
│ ├──────────────────┼────────────────────────┼────────────────────────┤ │
│ │ 분석 종류 │ 복잡한 전사적 분석 │ 특화된 부서 분석 │ │
│ │ │ 예측 분석, 데이터 마이닝 │ 드릴다운, 비교 분석 │ │
│ ├──────────────────┼────────────────────────┼────────────────────────┤ │
│ │ 데이터 모델 │ 정규화된 차원 모델링 │ 비정규화 스타 스키마 │ │
│ │ │ (스노우플레이크) │ (보통 1차 정규화만) │ │
│ ├──────────────────┼────────────────────────┼────────────────────────┤ │
│ │ 구축 방법론 │ Inmon (Top-down) │ Kimball (Bottom-up) │ │
│ │ │ 또는 Hybrid │ 또는 부서별 자율 구축 │ │
│ └──────────────────┴────────────────────────┴────────────────────────┘ │
│ │
│ [결정 트리: DW vs 데이터 마트] │
│ ───────────────────────────── │
│ │
│ ┌─────────────────────────────┐ │
│ │ 분석 필요 데이터 범위? │ │
│ └─────────────┬───────────────┘ │
│ 넓음 │ │ 좁음 │
│ DW │ │ 데이터 마트 │
│ │ │
│ ▼ │
│ ┌─────────────────────────────┐ │
│ │ 구축 리소스 (시간/예산)? │ │
│ └─────────────┬───────────────┘ │
│ 충분 │ │ 제한적 │
│ DW │ │ 데이터 마트 먼저 → 향후 통합 │
│ │ │
│ ▼ │
│ ┌─────────────────────────────┐ │
│ │ 부서별 자율성 필요? │ │
│ └─────────────┬───────────────┘ │
│ Yes │ │ No │
│ 데이터 마트 │ DW │
│ │
└─────────────────────────────────────────────────────────────────────────────┘
Kimball vs Inmon 접근법
┌─────────────────────────────────────────────────────────────────────────────┐
│ Kimball vs Inmon 방법론 비교 │
├─────────────────────────────────────────────────────────────────────────────┤
│ │
│ ┌─────────────────────────────────────────────────────────────────────┐ │
│ │ Ralph Kimball (하향식/Bottom-up) │ │
│ │ ───────────────────────────────── │ │
│ │ │ │
│ │ 핵심 철학: "데이터 마트를 먼저 구축하고, 이를 통합하여 DW를 만든다" │ │
│ │ │ │
│ │ 접근 방식: │ │
│ │ 1. 부서별 데이터 마트를 먼저 구축 (빠른 결과) │ │
│ │ 2. 각 마트는 콘포밍 디멘젼(Conformed Dimension) 공유 │ │
│ │ 3. 데이터 마트 통합 → 전사 DW 완성 │ │
│ │ │ │
│ │ [시각화] │ │
│ │ ┌─────┐ ┌─────┐ ┌─────┐ │ │
│ │ │ DM1 │ │ DM2 │ │ DM3 │ ← 부서별 마트 (병렬 구축 가능) │ │
│ │ └──┬──┘ └──┬──┘ └──┬──┘ │ │
│ │ └────────┴────────┘ │ │
│ │ │ │ │
│ │ ▼ │ │
│ │ ┌─────────────────┐ │ │
│ │ │ Data Warehouse │ ← 통합된 DW │ │
│ │ └─────────────────┘ │ │
│ │ │ │
│ │ 장점: 빠른ROI, 부서별 요구사항 충족, 점진적 구축 │ │
│ │ 단점: 초기 통합 설계 부족으로 추후 통합 어려움 가능성 │ │
│ │ │ │
│ └─────────────────────────────────────────────────────────────────────┘ │
│ │
│ ┌─────────────────────────────────────────────────────────────────────┐ │
│ │ William Inmon (상향식/Top-down) │ │
│ │ ───────────────────────────────── │ │
│ │ │ │
│ │ 핵심 철학: "전사적 DW를 먼저 구축하고, 이를上游으로 데이터 마트를 만든다" │ │
│ │ │ │
│ │ 접근 방식: │ │
│ │ 1. 전사적 DW를 먼저 구축 (3NF 정규화) │ │
│ │ 2. DW에서 데이터 마트 파생 (스키마 변환) │ │
│ │ 3. 데이터 마트는 항상 DW와 일관성 유지 │ │
│ │ │ │
│ │ [시각화] │ │
│ │ ┌─────────────────┐ │ │
│ │ │ Data Warehouse │ ← 전사 DW 먼저 구축 │ │
│ │ │ (정규화 3NF) │ │ │
│ │ └────────┬────────┘ │ │
│ │ │ │ │
│ │ ┌────────┴────────┐ │ │
│ │ ▼ ▼ │ │
│ │ ┌─────┐ ┌─────┐ ┌─────┐ │ │
│ │ │ DM1 │ │ DM2 │ │ DM3 │ ← DW에서 파생된 마트 │ │
│ │ └─────┘ └─────┘ └─────┘ │ │
│ │ │ │
│ │ 장점: 강력한 일관성, 장기적 확장성, 중앙 관리 │ │
│ │ 단점: 구축 기간 김, 초기 비용 높음, 빠른결과 추구 어려움 │ │
│ │ │ │
│ └─────────────────────────────────────────────────────────────────────┘ │
│ │
│ [현대적 접근: Hybrid] │
│ ─────────────────────── │
│ 실무에서는 두 방법론을Hybrid으로 사용하는 경우가 많다: │
│ • 전체적인 Governing 프레임워크는 Inmon 방식 (중앙 관리) │
│ • 구체적 구현은 Kimball 방식 (데이터 마트 먼저 구축) │
│ • 핵심 공통 차원(고객, 상품, 시간 등)은 사전에 공유 표준 정의 │
│ │
└─────────────────────────────────────────────────────────────────────────────┘
[다이어그램 해설] Kimball과 Inmon 방법론은看似対立하지만 상호 보완적이며, 실무에서는 대부분 Hybrid 형태로 활용된다. 핵심은 데이터 마트 간 통합이 가능해야 한다는 것이다. 콘포밍 디멘젼(Conformed Dimension)을 공유하여 동일한 시간, 고객, 상품 definition을 사용하면, 각 부서 데이터 마트를 나중에 통합하여 전사적 분석이 가능하다. 또한 데이터 마트는 전사 DW의 subset이든 독립적生源이든 상관없이, 분석 목적으로는 동일하게 활용될 수 있다.
📢 섹션 요약: 데이터 마트는 DW의 부분집합으로 Kimball(Bottom-up)과 Inmon(Top-down) 방법론에 따라 다양한 형태로 구축될 수 있으며, 실무에서는 Hybrid 접근이 흔히 사용된다.
Ⅲ. 결론
데이터 마트는 전사적 DW의subset으로서 특정 부서/영역에 맞춘 전문 분석 데이터 저장소이다. Kimball 방법론에서는 DW 구축의 시작점이며, Inmon 방법론에서는 DW에서 파생되는 하위 구성 요소이다. 직접 연결형, 간접 연결형, 하이브리드형 등 다양한 아키텍처 유형이 있고, 각 유형은 일관성, 구축 속도, 비용 등에서 트레이드오프가 있다. 실무에서는 두 방법론을Hybrid으로 사용하여, 중앙 관리 체계하에 부서별 데이터 마트를 빠르게 구축하고 이를 궁극적으로 통합하는 접근이 흔히 사용된다.
📢 섹션 요약: 데이터 마트는 DW의 부분집합으로 부서별 분석에 특화되며, Kimball과 Inmon 방법론에 따라 Bottom-up 또는 Top-down으로 구축될 수 있고, 실무에서는Hybrid 접근이 일반적이다.
핵심 인사이트 ASCII 다이어그램 (Concept Map)
┌─────────────────────────────────────────────────────────────────────────────┐
│ Data Mart Concept Map │
│ │
│ ┌─────────────────────────────────┐ │
│ │ Data Mart │ │
│ │ (데이터 마트) │ │
│ └───────────────┬─────────────────┘ │
│ │ │
│ ┌────────────────────┼────────────────────┐ │
│ ▼ ▼ ▼ │
│ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │
│ │ Dependent │ │ Independent │ │ Hybrid │ │
│ │ (직접연결) │ │ (독립적) │ │ (하이브리드) │ │
│ │ │ │ │ │ │ │
│ └──────────────┘ └──────────────┘ └──────────────┘ │
│ │ │ │ │
│ └────────────────────┼────────────────────┘ │
│ ▼ │
│ ┌─────────────────────┐ │
│ │ Kimball vs Inmon │ │
│ │ Bottom-up vs Top- │ │
│ │ down + Hybrid │ │
│ └─────────────────────┘ │
│ │
│ 목적: 부서별 분석 | 빠른 구축 | 전사 DW 통합 │
│ │
└─────────────────────────────────────────────────────────────────────────────┘
참고
- 데이터 마트는 DW의 부분집합으로 특정 부서에 맞춘 분석 저장소이다.
- Kimball은 Bottom-up, Inmon은 Top-down 방법론을 제시했다.
- 직접 연결형, 간접 연결형, 하이브리드형 아키텍처가 있다.
- 전사 DW보다 구축 기간과 비용이 적게 소요된다.
- 실무에서는 Hybrid 접근이 흔히 사용된다.
- 콘포밍 디멘젼 공유가 궁극적 통합의 핵심이다.