Brain데이터 웨어하우스 (Data Warehouse)
핵심 인사이트 (3줄 요약)
의사결정을 위한 주제 중심의 통합 데이터 저장소. 운영 DB와 분리된 읽기 전용 DB로, ETL을 통해 데이터를 수집. 다차원 분석, OLAP, 데이터 마이닝 지원.
📝 기술사 모의답안 (2.5페이지 분량)
📌 예상 문제
"데이터 웨어하우스 (Data Warehouse)의 개념과 핵심 원리를 설명하고, 관련 기술과의 비교를 통해 데이터 관리 측면에서의 활용 방안을 논하시오."
Ⅰ. 개요
1. 개념
데이터 웨어하우스는 기업의 의사결정 지원을 위해 주제별로 통합된, 시계열적이고 비휘발성인 데이터 저장소이다.
비유: "기업의 기억 저장소" - 과거부터 현재까지 모든 비즈니스 데이터를 한 곳에
Ⅱ. 구성 요소 및 핵심 원리
2. 데이터 웨어하우스 특성
W.H. Inmon의 4가지 특성:
1. 주제 지향 (Subject-Oriented)
- 업무 중심이 아닌 주제 중심
- 예: 고객, 상품, 판매
2. 통합 (Integrated)
- 이기종 데이터 소스 통합
- 데이터 표준화 (단위, 코드 등)
3. 시계열 (Time-Variant)
- 과거 데이터 보관
- 스냅샷 형태 저장
4. 비휘발성 (Non-Volatile)
- 읽기 전용
- 데이터 수정/삭제 없음
3. 아키텍처
┌─────────────────────────────────────────────────────────────┐
│ 데이터 소스 (Source) │
│ ┌────────┐ ┌────────┐ ┌────────┐ ┌────────┐ │
│ │ ERP │ │ CRM │ │ SCM │ │ 로그 │ │
│ └────────┘ └────────┘ └────────┘ └────────┘ │
└─────────────────────────┬───────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────┐
│ ETL (추출, 변환, 적재) │
│ ┌─────────┐ ┌─────────┐ ┌─────────┐ │
│ │Extract │───→│Transform│───→│ Load │ │
│ │(추출) │ │(변환) │ │(적재) │ │
│ └─────────┘ └─────────┘ └─────────┘ │
└─────────────────────────┬───────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────┐
│ 데이터 웨어하우스 │
│ ┌──────────────────────────────────────────────────────┐ │
│ │ 팩트 테이블 │ │
│ │ (Fact Table: 수치 데이터) │ │
│ └──────────────────────────────────────────────────────┘ │
│ ┌────────┐ ┌────────┐ ┌────────┐ ┌────────┐ │
│ │ 시간 │ │ 상품 │ │ 지역 │ │ 고객 │ │
│ │차원테이블│ │차원테이블│ │차원테이블│ │차원테이블│ │
│ └────────┘ └────────┘ └────────┘ └────────┘ │
└─────────────────────────┬───────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────┐
│ 데이터 마트 (Data Mart) │
│ ┌────────────┐ ┌────────────┐ ┌────────────┐ │
│ │ 영업 마트 │ │ 마케팅 마트 │ │ 재무 마트 │ │
│ └────────────┘ └────────────┘ └────────────┘ │
└─────────────────────────┬───────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────┐
│ BI/분석 도구 │
│ ┌────────┐ ┌────────┐ ┌────────┐ ┌────────┐ │
│ │ 리포트 │ │ OLAP │ │ 대시보드│ │ 마이닝 │ │
│ └────────┘ └────────┘ └────────┘ └────────┘ │
└─────────────────────────────────────────────────────────────┘
4. 다차원 모델링
4.1 스타 스키마 (Star Schema)
┌─────────────┐
│ 시간 │
│ ─────────── │
│ 시간키 (PK) │
│ 년, 월, 일 │
└──────┬──────┘
│
┌─────────────┐ │ ┌─────────────┐
│ 상품 │ │ │ 지역 │
│ ─────────── │ │ │ ─────────── │
│ 상품키 (PK) │───────┼────────│ 지역키 (PK) │
│ 상품명 │ │ │ 지역명 │
│ 카테고리 │ │ │ 국가 │
└─────────────┘ │ └─────────────┘
│
┌─────┴─────┐
│ 판매 │ ← 팩트 테이블
│ ───────── │
│ 시간키(FK) │
│ 상품키(FK) │
│ 지역키(FK) │
│ 고객키(FK) │
│ ───────── │
│ 매출액 │ ← 측정값
│ 수량 │
│ 이익 │
└─────┬─────┘
│
┌─────┴─────┐
│ 고객 │
│ ───────── │
│ 고객키(PK) │
│ 고객명 │
│ 등급 │
└───────────┘
특징:
- 팩트 테이블: 1개 (중앙)
- 차원 테이블: 여러 개 (주변)
- 별 모양
- 단순한 조인
4.2 스노우플레이크 스키마 (Snowflake Schema)
┌─────────┐
│ 시간 │
└────┬────┘
│
┌─────────┐ ┌─────┴─────┐ ┌─────────┐
│ 카테고리│────│ 상품 │────│ 지역 │
└─────────┘ └─────┬─────┘ └────┬────┘
│ │
┌─────┴─────┐ ┌─────┴─────┐
│ 판매 │ │ 국가 │
└───────────┘ └───────────┘
특징:
- 차원 테이블 정규화
- 눈송이 모양
- 저장 공간 절약
- 조인 복잡
5. OLAP (Online Analytical Processing)
5.1 OLAP 연산
1. Slice (슬라이스)
- 한 차원 값 고정
- 예: 2024년 데이터만
2. Dice (다이스)
- 여러 차원 값 고정
- 예: 2024년, 서울, 전자제품
3. Roll-up (롤업)
- 상위 수준으로 집계
- 예: 월 → 분기 → 년
┌──────┬──────┬──────┐
│ 1월 │ 2월 │ 3월 │
└──────┴──────┴──────┘
↓
┌─────────┐
│ 1분기 │
└─────────┘
4. Drill-down (드릴다운)
- 하위 수준으로 상세화
- 예: 년 → 분기 → 월
5. Pivot (피벗)
- 차원 회전
- 행 ↔ 열 교환
5.2 OLAP 종류
MOLAP (Multidimensional OLAP):
- 다차원 배열 저장
- 빠른 조회
- 저장 공간 많이 필요
ROLAP (Relational OLAP):
- 관계형 테이블 사용
- 확장성 좋음
- 성능 상대적으로 느림
HOLAP (Hybrid OLAP):
- MOLAP + ROLAP
- 요약: MOLAP
- 상세: ROLAP
6. ETL 프로세스
Extract (추출):
┌────────────────────────────────────────┐
│ 소스 시스템에서 데이터 추출 │
│ - 전체 추출 │
│ - 증분 추출 (변경분만) │
│ - CDC (Change Data Capture) │
└────────────────────────────────────────┘
│
▼
Transform (변환):
┌────────────────────────────────────────┐
│ 데이터 정제 및 변환 │
│ - 데이터 정제 (공백, NULL 처리) │
│ - 데이터 변환 (형식, 단위) │
│ - 데이터 통합 (중복 제거) │
│ - 데이터 집계 │
└────────────────────────────────────────┘
│
▼
Load (적재):
┌────────────────────────────────────────┐
│ 데이터 웨어하우스에 적재 │
│ - 초기 적재 (Initial Load) │
│ - 증분 적재 (Incremental Load) │
│ - 갱신 적재 (Refresh Load) │
└────────────────────────────────────────┘
7. 데이터 마트
데이터 웨어하우스의 하위 집합
특징:
- 부서/업무별 특화
- 더 작은 규모
- 더 빠른 조회
종류:
1. 종속형 데이터 마트
┌───────────────────┐
│ Data Warehouse │
└─────────┬─────────┘
│
┌───────┼───────┐
▼ ▼ ▼
┌───┐ ┌───┐ ┌───┐
│영업│ │마케팅│ │재무│
└───┘ └───┘ └───┘
2. 독립형 데이터 마트
┌───┐ ┌───┐ ┌───┐
│영업│ │마케팅│ │재무│
└───┘ └───┘ └───┘
↑ ↑ ↑
소스 소스 소스
Ⅲ. 기술 비교 분석
9. 데이터 레이크 vs 데이터 웨어하우스
| 항목 | Data Warehouse | Data Lake |
|---|---|---|
| 데이터 | 정형 | 정형 + 비정형 |
| 스키마 | 스키마 온 리드 | 스키마 온 라이트 |
| 처리 | ETL | ELT |
| 비용 | 높음 | 낮음 |
| 사용자 | 비즈니스 분석가 | 데이터 과학자 |
| 목적 | BI, 리포팅 | ML, 탐색적 분석 |
10. 장단점
장점
| 장점 | 설명 |
|---|---|
| 통합 뷰 | 전사적 데이터 통합 |
| 의사결정 | 분석 기반 결정 지원 |
| 성능 | 운영 DB 영향 없음 |
| 과거 데이터 | 시계열 분석 가능 |
단점
| 단점 | 설명 |
|---|---|
| 비용 | 구축/운영 비용 높음 |
| 복잡성 | 설계/구현 어려움 |
| 지연 | 실시간 분석 어려움 |
| 유연성 | 스키마 변경 어려움 |
Ⅳ. 실무 적용 방안
11. 실무에선? (기술사적 판단)
- 구축 방식: 처음부터 크게 말고 점진적 확장
- 클라우드: Snowflake, BigQuery, Redshift 활용
- 실시간: 실시간 DW → 스트리밍 + 배치 하이브리드
- 데이터 품질: ETL 품질이 분석 품질 결정
- 거버넌스: 메타데이터 관리 필수
Ⅴ. 기대 효과 및 결론
| 효과 영역 | 내용 | 정량적 목표 |
|---|---|---|
| 데이터 무결성 | ACID 트랜잭션·정규화로 데이터 정합성 보장 | 데이터 이상 현상(Anomaly) 100% 방지 |
| 쿼리 성능 | 인덱스·쿼리 최적화로 데이터 조회 속도 향상 | 응답 시간 90% 단축 |
| 확장성 | 분산 DB·NewSQL로 대용량 트래픽 수평 확장 | TPS 10배 이상 향상 |
결론
**데이터 웨어하우스 (Data Warehouse)**은(는) 데이터베이스는 HTAP(하이브리드 거래·분석 처리)와 AI 통합(벡터 DB, RAG 파이프라인)으로 진화하며, 단순 저장소를 넘어 비즈니스 인텔리전스의 핵심 엔진이 될 것이다.
※ 참고 표준: IEEE 754, SQL:2023 표준, ISO/IEC 9075, MongoDB Atlas 아키텍처
어린이를 위한 종합 설명
데이터 웨어하우스를 쉽게 이해해보자!
의사결정을 위한 주제 중심의 통합 데이터 저장소. 운영 DB와 분리된 읽기 전용 DB로, ETL을 통해 데이터를 수집. 다차원 분석, OLAP, 데이터 마이닝 지원.
왜 필요할까?
기존 방식의 한계를 넘기 위해
어떻게 동작하나?
복잡한 문제 → 데이터 웨어하우스 적용 → 더 빠르고 안전한 결과!
핵심 한 줄:
데이터 웨어하우스 = 똑똑하게 문제를 해결하는 방법
비유: 데이터 웨어하우스은 마치 요리사가 레시피를 따르는 것과 같아. 혼란스러운 재료들을 정해진 순서대로 조합하면 → 맛있는 요리(최적 결과)가 나오지! 🍳