195. 데이터 품질 차원 (Data Quality Dimensions) — 완전성/정확성/일관성/적시성

핵심 인사이트 (3줄 요약)

• 본질: 데이터 품질(Data Quality)은 완전성(Completeness)·정확성(Accuracy)·일관성(Consistency)·적시성(Timeliness)·유일성(Uniqueness)·유효성(Validity)의 6차원으로 측정되며, 각 차원은 서로 다른 결함 유형을 포착한다.
• 가치: 데이터 품질 저하는 AI 모델 오작동, 잘못된 경영 의사결정, 규제 위반으로 이어지며 IBM 연구에 따르면 미국 기업에 연간 3.1조 달러의 경제적 손실을 유발한다.
• 판단 포인트: 단순히 "NULL이 없다"는 완전성만 보는 것은 불충분하며, 6차원을 모두 측정해야 진정한 데이터 품질 수준을 파악할 수 있다는 점이 기술사 답안의 차별점이다.

Ⅰ. 개요 및 필요성

1.1 데이터 품질의 중요성

"Garbage In, Garbage Out" — 데이터 분석과 AI의 근본 원칙이다. 아무리 정교한 머신러닝 알고리즘도 품질 낮은 데이터로는 신뢰할 수 없는 결과를 낸다.

주요 데이터 품질 문제 사례:

• 의료: 잘못된 환자 정보 → 오진·약물 오처방
• 금융: 중복 거래 레코드 → 과장된 매출 보고
• 물류: 부정확한 주소 데이터 → 배송 실패율 증가
• ML: 편향된 학습 데이터 → 차별적 모델 출력

1.2 DAMA 6차원 개요

DAMA (Data Management Association) DMBOK이 정의한 6대 데이터 품질 차원:

📢 섹션 요약 비유: 데이터 품질 6차원은 식당 음식 평가 기준과 같다. 맛(정확성), 양(완전성), 신선도(적시성), 위생(유효성), 메뉴 일관성(일관성), 중복 주문 없음(유일성) — 이 중 하나라도 빠지면 좋은 식당이 아니다.

Ⅱ. 아키텍처 및 핵심 원리

2.1 6차원 상세 설명

┌──────────────────────────────────────────────────────────────┐
│                  데이터 품질 6차원                            │
│                                                              │
│  ┌──────────────┐  완전성(Completeness)                      │
│  │ NULL 비율    │  · 필수 항목 채움 비율 = 채워진 값/전체 × 100│
│  │ 측정         │  · 목표: 핵심 필드 99.9% 이상              │
│  └──────────────┘                                            │
│  ┌──────────────┐  정확성(Accuracy)                          │
│  │ 외부 기준    │  · 실세계 정보와 일치 여부                  │
│  │ 비교         │  · 검증: 공공 DB 대조, 현장 확인 샘플링     │
│  └──────────────┘                                            │
│  ┌──────────────┐  일관성(Consistency)                       │
│  │ 시스템 간    │  · 동일 속성이 다른 시스템 간 일치           │
│  │ 비교         │  · 예: CRM 고객 나이 ≠ DW 고객 나이 → 불일치│
│  └──────────────┘                                            │
│  ┌──────────────┐  적시성(Timeliness)                        │
│  │ SLA 기준     │  · 데이터가 사용 가능한 시점의 최신성        │
│  │ 측정         │  · 배치: 매일 06:00 갱신 SLA              │
│  └──────────────┘                                            │
│  ┌──────────────┐  유일성(Uniqueness)                        │
│  │ 중복 탐지    │  · 동일 엔티티의 중복 레코드 없음            │
│  │ 알고리즘     │  · 중복률 = 중복 레코드 수/전체 레코드 수    │
│  └──────────────┘                                            │
│  ┌──────────────┐  유효성(Validity)                          │
│  │ 규칙 검사    │  · 형식·도메인·참조 무결성 준수             │
│  │ 엔진         │  · 예: 날짜 형식, 코드 목록, FK 무결성      │
│  └──────────────┘                                            │
└──────────────────────────────────────────────────────────────┘

2.2 품질 점수 계산

데이터 품질 종합 점수 (DQS, Data Quality Score):

DQS = (W1×Completeness + W2×Accuracy + W3×Consistency
       + W4×Timeliness + W5×Uniqueness + W6×Validity) / ΣWi

여기서 Wi는 비즈니스 중요도에 따른 가중치

실무 예시: 고객 마스터 데이터 품질 측정

📢 섹션 요약 비유: 품질 점수는 학교 성적표와 같다. 수학만 100점(완전성만 완벽)이고 나머지가 엉망이면 진학에 실패한다. 종합 점수가 중요하다.

Ⅲ. 비교 및 연결

3.1 차원별 대표 문제와 원인

3.2 데이터 품질 vs 유사 개념

📢 섹션 요약 비유: 6차원과 실제 문제의 관계는 건강검진 항목과 같다. 혈압(정확성), 체중(완전성), 혈당(유효성) 등 각 항목이 다른 건강 위험을 측정하듯, 각 차원은 다른 유형의 데이터 위험을 잡아낸다.

Ⅳ. 실무 적용 및 기술사 판단

4.1 ETL 파이프라인에서의 DQ 검사

[소스 데이터 추출]
         │
         ▼
[DQ 검사 1: 완전성 + 유효성 검사] ──실패──▶ [격리(Quarantine) + 알림]
         │통과
         ▼
[데이터 변환(Transformation)]
         │
         ▼
[DQ 검사 2: 일관성 + 유일성 검사] ──실패──▶ [오류 로그 + 수동 검토 큐]
         │통과
         ▼
[목적 시스템 로드]
         │
         ▼
[DQ 검사 3: 적시성 + 정확성 샘플링] ──실패──▶ [대시보드 경보]

"Fail Fast" 원칙: 품질 문제는 파이프라인 최대한 앞단에서 잡아야 수정 비용 최소화.

4.2 차원별 측정 쿼리 예시 (SQL)

-- 완전성 측정
SELECT
    COUNT(*) AS total_rows,
    SUM(CASE WHEN email IS NULL THEN 1 ELSE 0 END) AS null_email,
    ROUND(100.0 * SUM(CASE WHEN email IS NOT NULL THEN 1 ELSE 0 END)
          / COUNT(*), 2) AS completeness_pct
FROM customers;

-- 유일성 측정
SELECT
    COUNT(*) AS total,
    COUNT(DISTINCT customer_id) AS unique_ids,
    COUNT(*) - COUNT(DISTINCT customer_id) AS duplicates
FROM customers;

📢 섹션 요약 비유: ETL 파이프라인의 DQ 검사는 공장 품질 검사 라인과 같다. 불량품을 최대한 공정 초기에 걸러야 완성품 폐기 비용을 줄일 수 있다.

Ⅴ. 기대효과 및 결론

5.1 데이터 품질 향상 기대효과

5.2 결론

데이터 품질 6차원은 "데이터가 얼마나 좋은가"를 다각도에서 측정하는 표준 언어다. 조직마다 비즈니스 우선순위에 따라 가중치를 다르게 설정하되, 모든 차원을 지속적으로 측정하고 개선하는 **데이터 품질 관리 체계(DQM, Data Quality Management)**를 구축해야 한다.

📢 섹션 요약 비유: 데이터 품질 관리는 지속적인 운동 습관과 같다. 한 번 좋아진다고 끝이 아니라, 꾸준히 측정하고 관리해야 오래 건강(품질)을 유지할 수 있다.

📌 관련 개념 맵

📈 관련 키워드 및 발전 흐름도

[데이터 수집 (Data Ingestion) — 원천 시스템에서 원시 데이터 유입]
    │
    ▼
[데이터 품질 진단 (DQ Assessment) — 완전성·정확성·일관성·적시성 측정]
    │
    ▼
[데이터 클렌징 (Data Cleansing) — 결측·중복·오류 데이터 처리]
    │
    ▼
[마스터 데이터 관리 (MDM — Master Data Management) — 핵심 데이터 단일 진실 공급원 확보]
    │
    ▼
[데이터 거버넌스 (Data Governance) — 지속적 품질 측정·정책·책임 체계 운영]

이 흐름은 원시 데이터 수집에서 품질 진단·클렌징을 거쳐 마스터 데이터 관리와 거버넌스로 이어지는 데이터 품질 관리 체계를 나타낸다.

👶 어린이를 위한 3줄 비유 설명

1. 데이터 품질 6차원은 숙제 검사표와 같아 — 빠진 게 없는지(완전성), 맞는지(정확성), 예쁘게 썼는지(유효성), 제시간에 냈는지(적시성), 똑같은 답을 두 번 쓰지 않았는지(유일성), 모든 책에서 같은 답이 나오는지(일관성).
2. 이 중 하나라도 통과 못 하면 선생님(시스템)이 그 데이터를 믿지 못해서 틀린 결정을 내릴 수 있어.
3. "쓰레기를 넣으면 쓰레기가 나온다(Garbage In, Garbage Out)"는 말처럼, 나쁜 데이터로 만든 AI는 나쁜 답변을 내놔.