156. 데이터 패브릭 (Data Fabric) — 위치 무관 지능형 데이터 연결

핵심 인사이트 (3줄 요약)

데이터 패브릭(Data Fabric)은 Gartner가 정의한 아키텍처 개념으로, 온프레미스·클라우드·엣지 등 이기종 환경에 분산된 데이터를 위치 무관하게 통합 접근할 수 있는 지능형 데이터 연결 레이어다.
**능동적 메타데이터(Active Metadata)**와 **지식 그래프(Knowledge Graph)**를 통해 데이터 간 의미론적 관계를 AI가 자동으로 발견하고, 접근 경로를 동적으로 최적화한다.
데이터 메시(Data Mesh)가 **조직 원칙 중심(도메인 소유권)**이라면, 데이터 패브릭은 **기술 원칙 중심(지능형 통합 레이어)**으로 상호 보완적 개념이다.

Ⅰ. 개요 및 필요성

현대 기업의 데이터는 온프레미스 DB, AWS S3, Azure Data Lake, SaaS 애플리케이션(Salesforce, SAP) 등 수십 개의 이기종 시스템에 분산되어 있다. 이 데이터를 통합 분석하려면 복잡한 ETL 파이프라인을 별도로 구축해야 하며, 데이터 거버넌스 정책도 각 시스템마다 중복 설정해야 한다.

데이터 패브릭은 이 분산된 데이터 환경을 단일 논리 레이어로 연결하는 아키텍처다. 데이터를 물리적으로 이동하지 않고도 통합 쿼리·거버넌스·리니지를 적용할 수 있다.

전통 데이터 통합	데이터 패브릭
물리적 데이터 복사 (ETL)	논리적 가상화 레이어
시스템별 별도 거버넌스	통합 정책 엔진
정적 파이프라인	AI 기반 동적 최적화
수동 메타데이터 관리	능동적 메타데이터 자동 발견
단일 클라우드/온프레미스	멀티 클라우드 + 온프레미스

📢 섹션 요약 비유: 데이터 패브릭은 도시 전체를 연결하는 지하 전기 케이블망과 같다. 각 건물(데이터 소스)의 전기(데이터)를 새 배관 없이 통합 배전반(패브릭)에서 어디서든 사용할 수 있게 한다.

Ⅱ. 아키텍처 및 핵심 원리

┌──────────────────────────────────────────────────────────────────┐
│               Data Fabric 아키텍처                               │
├──────────────────────────────────────────────────────────────────┤
│                                                                  │
│  ┌───────────┐  ┌───────────┐  ┌───────────┐  ┌────────────┐   │
│  │ 온프레미스 │  │  AWS S3   │  │ Azure DL  │  │  SaaS DB   │   │
│  │  Oracle   │  │  Parquet  │  │  Gen2     │  │ Salesforce │   │
│  └─────┬─────┘  └─────┬─────┘  └─────┬─────┘  └─────┬──────┘   │
│        │              │              │              │           │
│        └──────────────┴──────────────┴──────────────┘           │
│                              │                                   │
│         ┌────────────────────▼──────────────────────┐           │
│         │          Data Fabric 레이어                 │           │
│         │                                           │           │
│         │  ┌────────────────┐  ┌──────────────────┐ │           │
│         │  │ 능동적 메타데이터│  │ 지식 그래프       │ │           │
│         │  │ (Active Metadata│  │ (Knowledge Graph) │ │           │
│         │  │  AI 자동 수집)  │  │ 의미 관계 맵핑    │ │           │
│         │  └────────────────┘  └──────────────────┘ │           │
│         │                                           │           │
│         │  ┌────────────────┐  ┌──────────────────┐ │           │
│         │  │ 통합 거버넌스   │  │ 데이터 가상화     │ │           │
│         │  │ (정책 엔진)     │  │ (물리 이동 없음)  │ │           │
│         │  └────────────────┘  └──────────────────┘ │           │
│         └────────────────────────────────────────────┘           │
│                              │                                   │
│         ┌────────────────────▼──────────────────────┐           │
│         │        소비자 (BI / ML / 앱)               │           │
│         └───────────────────────────────────────────┘           │
└──────────────────────────────────────────────────────────────────┘

핵심 기술 구성 요소

구성 요소	역할	기술 예시
능동적 메타데이터	AI로 데이터 관계·품질 자동 발견	Alation, Collibra, Atlan
지식 그래프	개념 간 의미 관계 표현	Neo4j, Amazon Neptune
데이터 가상화	물리 이동 없이 쿼리 통합	Denodo, Dremio
통합 거버넌스	멀티 소스 정책 일원 관리	Apache Atlas, Purview
AI 추천	관련 데이터셋 자동 제안	ML 기반 카탈로그 검색

📢 섹션 요약 비유: 능동적 메타데이터는 AI 사서와 같다. 책(데이터)이 도서관에 들어오면 AI가 자동으로 주제를 파악하고, 유사한 책들과의 관계를 카드 목록에 기록하며, 독자에게 관련 책을 추천한다.

Ⅲ. 비교 및 연결

Data Fabric vs Data Mesh 비교

항목	Data Fabric	Data Mesh
접근 방식	기술 중심 (지능형 레이어)	조직 원칙 중심 (도메인 소유권)
데이터 이동	최소화 (가상화 선호)	도메인별 독립 운영
거버넌스 방식	중앙화 + AI 자동화	연합 (중앙 정책 + 도메인 자율)
도입 복잡도	기술 플랫폼 구축 필요	조직 문화 변화 필요
상호 보완성	Data Mesh 조직에 Fabric 기술 적용 가능	Fabric 위에 Mesh 원칙 구현 가능

데이터 가상화 vs 물리적 통합

항목	물리적 통합 (ETL)	데이터 가상화
데이터 이동	복사 후 DW 저장	쿼리 시점에 소스 직접 접근
데이터 신선도	배치 지연 발생	항상 최신
쿼리 성능	최적화 가능	소스 성능에 의존
거버넌스	단일 저장소 관리	소스별 분산 관리

📢 섹션 요약 비유: Data Fabric이 AI 비서가 모든 방의 물건을 파악하고 찾아주는 스마트 하우스라면, Data Mesh는 각 가족(도메인)이 자기 방을 책임지는 가정 관리 방식이다.

Ⅳ. 실무 적용 및 기술사 판단

Data Fabric 도입 적합 시나리오

멀티 클라우드/하이브리드: AWS + Azure + 온프레미스에 데이터가 분산된 대기업
M&A 후 통합: 서로 다른 데이터 스택을 가진 두 회사 시스템을 빠르게 통합
레거시 현대화: 온프레미스 레거시 DB를 즉시 클라우드로 이전하지 않고도 분석 통합
규제 환경: 데이터 거주지(Data Residency) 규제로 물리적 데이터 이동이 불가한 경우

기술사 답안 포인트

질문	핵심 답변
Data Fabric 정의	이기종 분산 데이터를 위치 무관하게 연결하는 지능형 통합 레이어
능동적 메타데이터 역할	AI가 데이터 관계·품질·사용 패턴을 자동 발견·추천
Data Mesh와 차이	Fabric = 기술 중심 통합, Mesh = 조직 중심 소유권 분산
데이터 가상화 한계	쿼리 성능이 소스 시스템에 의존, 복잡한 조인 비용 증가

📢 섹션 요약 비유: Data Fabric 도입은 전국 각지 도서관을 디지털로 연결하는 국가 도서관 네트워크 구축과 같다. 어느 지역의 책도 인터넷으로 바로 읽을 수 있되, 책은 각 도서관에 그대로 있다.

Ⅴ. 기대효과 및 결론

효과	내용
데이터 접근성 향상	분산 데이터를 단일 인터페이스로 통합 접근
ETL 비용 절감	가상화로 불필요한 데이터 복사 제거
거버넌스 일원화	멀티 소스에 통합 정책 적용
AI 기반 발견	숨겨진 데이터셋 자동 탐색, 분석 준비 시간 단축

데이터 패브릭은 Gartner가 2022년부터 Top Data Management Trend로 꾸준히 선정하고 있는 아키텍처 방향이다. 단기적으로는 데이터 가상화와 통합 카탈로그, 중장기적으로는 AI 기반 능동적 메타데이터와 지식 그래프로 진화한다. 기술사 시험에서는 능동적 메타데이터 개념, Data Fabric vs Data Mesh 비교, 데이터 가상화 원리와 한계가 핵심 논점이다.

📢 섹션 요약 비유: 데이터 패브릭은 데이터 세계의 인터넷과 같다. 세계 각지의 서버(데이터 소스)가 프로토콜(패브릭 레이어)로 연결되어, 어디서든 원하는 정보를 위치 걱정 없이 가져올 수 있다.

📌 관련 개념 맵

개념	관계	설명
능동적 메타데이터	핵심 기술	AI 기반 데이터 관계·품질 자동 발견
지식 그래프	핵심 기술	데이터 개념 간 의미론적 관계 표현
데이터 가상화	구현 방식	물리 이동 없이 소스 직접 쿼리
Data Mesh	비교 개념	조직 원칙 중심 (vs 기술 중심 Fabric)
Alation / Collibra	솔루션	능동적 메타데이터·카탈로그 플랫폼
Data Residency	관련 규제	데이터 거주지 규제로 가상화 필요

📈 관련 키워드 및 발전 흐름도

[데이터 사일로 (Data Silo) — 부서별 분산 저장, 통합 활용 불가 문제]
    │
    ▼
[ETL / ELT — 중앙 집중 복사·변환, 실시간성·유연성 한계]
    │
    ▼
[데이터 패브릭 (Data Fabric) — 메타데이터 지능으로 위치 무관 데이터 연결]
    │
    ▼
[데이터 메시 (Data Mesh) — 도메인 오너십 분산, 데이터 제품화 전략]
    │
    ▼
[지식 그래프 + AI 자동화 — 패브릭 기반 자동 데이터 발견·품질·거버넌스]

이 흐름은 데이터 사일로 문제를 ETL로 임시 해결하던 방식에서 메타데이터 지능 기반 패브릭으로 진화하고, 도메인 분산 거버넌스(데이터 메시)와 AI 자동화로 데이터 통합의 미래를 만들어가는 과정을 보여준다.

👶 어린이를 위한 3줄 비유 설명

데이터 패브릭은 마법의 도서관 카드예요. 전국 어느 도서관에 있는 책도 이 카드 하나로 바로 빌릴 수 있어요.
AI 사서(능동적 메타데이터)가 어떤 책이 어디 있는지 자동으로 파악하고, 비슷한 책도 알려줘요.
책을 우리 도서관으로 옮길 필요 없이 그 자리에서 바로 읽을 수 있어서(데이터 가상화) 훨씬 빠르답니다.