212. 데이터 패브릭 (Data Fabric)

핵심 인사이트

본질: 데이터 패브릭(Data Fabric)은 이질적인 데이터 소스(온프레미스·클라우드·엣지)를 물리적으로 이동시키지 않고 AI 기반 메타데이터 자동화와 가상화(Virtualization) 계층을 통해 단일한 통합 데이터 접근 경험을 제공하는 아키텍처 패턴이다.

가치: 지식 그래프(Knowledge Graph)로 데이터 관계와 컨텍스트를 표현하고, 활성 메타데이터(Active Metadata)로 AI가 데이터 통합·품질·거버넌스 작업을 자동 추천·실행하여 데이터 엔지니어링 수작업을 70% 이상 절감한다(Gartner 추산).

판단 포인트: 레거시 시스템과 클라우드 데이터가 혼재하고 즉각적인 물리적 마이그레이션이 불가능한 환경, 또는 다양한 데이터 소스를 빠르게 통합해야 할 때 Data Fabric이 적합하며, Data Mesh와 상호 보완적으로 적용 가능하다.

Ⅰ. 개요 및 필요성

1.1 데이터 사일로(Data Silo) 문제

대형 기업에서 데이터는 수십 개의 이질적 시스템에 분산된다. Oracle ERP, Salesforce CRM, AWS S3 Data Lake, 온프레미스 레거시 DB, IoT 엣지 장비, SaaS 애플리케이션 등 각 시스템은 서로 다른 포맷·프로토콜·보안 정책을 갖는다. 이를 통합하기 위해 데이터를 중앙으로 복사하는 방식은 데이터 중복·지연·보안 위험을 야기하며, 복사 비용이 기하급수적으로 증가한다.

Gartner는 2019년부터 Data Fabric을 데이터 관리 분야 핵심 트렌드로 선정하며, "데이터를 이동시키는 대신 데이터가 있는 곳에서 접근하는" 가상화 접근법을 강조한다. 2030년까지 데이터 관리 자동화의 70%가 데이터 패브릭 방식으로 전환될 것으로 전망한다.

1.2 Data Fabric의 4대 구성 요소

지식 그래프(Knowledge Graph): 데이터 엔티티 간 관계를 그래프 구조로 표현, 컨텍스트 인식 가능
활성 메타데이터(Active Metadata): 수동 메타데이터 관리를 넘어 AI가 실시간으로 메타데이터를 분석·추천
데이터 가상화(Data Virtualization): 물리적 복사 없이 이질적 소스를 단일 뷰로 통합
자동화 거버넌스(Automated Governance): 정책 적용, 품질 검사, 접근 제어의 자동화

📢 섹션 요약 비유: 데이터 패브릭은 전 세계 도서관을 연결하는 인터넷 검색 엔진과 같다. 책을 한 곳에 모으는 대신(물리적 이동 없음), AI 사서(Active Metadata)가 어디에 무슨 책이 있는지 파악하고(Knowledge Graph), 요청 즉시 원문을 보여준다(Data Virtualization).

Ⅱ. 아키텍처 및 핵심 원리

2.1 Data Fabric 아키텍처 전체 구조

┌─────────────────────────────────────────────────────────────┐
│               Data Fabric Architecture                      │
│                                                             │
│  ┌─────────────────────────────────────────────────────┐   │
│  │            Consumption Layer (소비 계층)             │   │
│  │  BI Tools │ ML Platforms │ Applications │ API        │   │
│  └──────────────────────┬──────────────────────────────┘   │
│                         │ 단일 통합 접근 인터페이스          │
│  ┌──────────────────────▼──────────────────────────────┐   │
│  │         Intelligent Fabric Layer (지능 패브릭)       │   │
│  │  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐ │   │
│  │  │  Knowledge  │  │  Active     │  │  Data       │ │   │
│  │  │  Graph      │  │  Metadata   │  │ Virtuali-   │ │   │
│  │  │  (관계 그래프)│  │  (AI 자동화)│  │  zation     │ │   │
│  │  └─────────────┘  └─────────────┘  └─────────────┘ │   │
│  │  ┌─────────────────────────────────────────────────┐│   │
│  │  │    Automated Governance (자동화 거버넌스)         ││   │
│  │  │  정책 엔진  │  품질 규칙  │  접근 제어  │  감사  ││   │
│  │  └─────────────────────────────────────────────────┘│   │
│  └──────────────────────┬──────────────────────────────┘   │
│                         │ 메타데이터 수집 / 가상 쿼리        │
│  ┌──────────────────────▼──────────────────────────────┐   │
│  │              Data Source Layer (원천 계층)           │   │
│  │  ┌───────┐  ┌───────┐  ┌───────┐  ┌─────────────┐  │   │
│  │  │온프레미│  │ AWS   │  │ Azure │  │  SaaS / IoT │  │   │
│  │  │스 Oracle│  │ S3/RDS│  │ ADLS  │  │  Salesforce │  │   │
│  │  └───────┘  └───────┘  └───────┘  └─────────────┘  │   │
│  └──────────────────────────────────────────────────────┘   │
└─────────────────────────────────────────────────────────────┘

2.2 지식 그래프(Knowledge Graph) 역할

지식 그래프는 데이터 엔티티(고객, 주문, 제품)와 그 관계(구매, 환불, 카테고리)를 노드-엣지 구조로 표현한다. 이를 통해 AI는 "고객 테이블을 수정하면 주문 분석 데이터마트에 어떤 영향을 미치는가"를 자동으로 파악하고, 변경 영향 분석(Impact Analysis)을 즉시 제공한다.

2.3 활성 메타데이터(Active Metadata) 자동화

수동 메타데이터 관리(수작업 태깅, 문서 업데이트)와 달리, Active Metadata는 ML 모델이 데이터 사용 패턴을 학습하여 자동으로 메타데이터를 생성·보완한다. 예를 들어 "이 컬럼은 전화번호 패턴이다"를 자동 감지하고 PII(Personally Identifiable Information, 개인 식별 정보) 태그를 붙인다.

📢 섹션 요약 비유: Knowledge Graph는 조직도와 업무 관계도가 합쳐진 스마트 지도다. "A 팀장이 팀원 B에게 보고하고, 프로젝트 C에 배정되어 있다"는 관계를 한눈에 파악하듯, 데이터 간 연결 관계를 시각화하고 AI가 이를 활용해 스스로 거버넌스를 적용한다.

Ⅲ. 비교 및 연결

3.1 Data Fabric vs Data Mesh vs 전통 데이터 통합

항목	Traditional Integration	Data Fabric	Data Mesh
통합 방식	ETL 물리적 복사	가상화 + AI 자동화	도메인 분산 소유
데이터 이동	중앙으로 이동	이동 최소화 (가상화)	도메인 내 유지
거버넌스	수동 중앙 관리	AI 자동화	연합 자율
핵심 기술	ETL 도구	지식 그래프, 메타데이터	데이터 프로덕트, 플랫폼
적합 환경	소수 동종 소스	대규모 이종 소스 혼재	대규모 분산 조직

3.2 데이터 가상화(Data Virtualization) 기술

데이터 가상화는 물리적으로 데이터를 복사하지 않고, 가상 레이어에서 다양한 소스를 실시간 쿼리한다. Denodo, Tibco Data Virtualization, Informatica 등이 대표 제품이다.

방식	설명	장점	단점
Push-down Query	쿼리를 소스 시스템으로 전달	소스 성능 활용	소스 부하 증가
Caching	자주 쓰는 데이터 캐싱	빠른 응답	신선도 저하
Federation	여러 소스 결합 쿼리	유연성	복잡한 조인 성능

📢 섹션 요약 비유: Data Fabric은 자동화 물류 AI가 전국 창고 재고를 실시간으로 파악하는 시스템이다. 물건을 한 창고로 모으는 대신, AI가 "A 창고 3번 선반에 있다"는 정보를 즉시 알려주고, 주문 즉시 배송한다. 사일로는 그대로지만 연결이 자동화된다.

Ⅳ. 실무 적용 및 기술사 판단

4.1 Data Fabric 구현 플랫폼

제품/플랫폼	특징
IBM Data Fabric	Knowledge Graph + Watson AI, 엔터프라이즈 거버넌스
Informatica IDMC	AI 기반 메타데이터 관리, 클라우드 네이티브
Denodo	데이터 가상화 전문, 멀티소스 연합 쿼리
Microsoft Purview	Azure 생태계 데이터 거버넌스·카탈로그 통합
Talend	오픈소스 기반 데이터 통합·품질 관리

4.2 Data Fabric + Data Mesh 시너지

두 패러다임은 상호 보완적이다. Data Mesh가 **"누가 데이터를 소유하고 관리하는가"(조직 문제)**를 해결한다면, Data Fabric은 **"어떻게 기술적으로 데이터를 통합·가상화하는가"(기술 문제)**를 해결한다. 대형 엔터프라이즈는 두 접근법을 병행 적용하여 조직적 분산화(Mesh) + 기술적 통합화(Fabric)를 동시에 달성한다.

4.3 기술사 핵심 출제 포인트

Data Fabric의 4대 구성 요소: 지식 그래프, 활성 메타데이터, 데이터 가상화, 자동화 거버넌스
Data Fabric vs Data Mesh 비교: 기술적 vs 조직적 접근, 보완 관계
데이터 가상화의 원리와 유형: Push-down, Caching, Federation
Active Metadata의 AI 자동화: PII 자동 탐지, 데이터 품질 자동 검사, 파이프라인 자동 생성

📢 섹션 요약 비유: Data Fabric 구축은 구글 맵을 만드는 것과 같다. 전국의 도로 정보(데이터)를 한 창고에 모으는 대신, 위성·카메라·GPS 데이터를 실시간 연결(가상화)하고, AI가 교통 정보를 자동으로 업데이트(Active Metadata)하며, 목적지 경로를 즉시 안내(통합 접근)한다.

Ⅴ. 기대효과 및 결론

5.1 Data Fabric 도입 효과

효과	내용
데이터 통합 시간 단축	수동 ETL 개발 대비 AI 자동화로 70% 시간 절감
데이터 사일로 해소	물리적 이동 없이 이종 소스 통합
거버넌스 자동화	PII 감지, 품질 규칙 적용, 접근 정책의 자동 실행
데이터 민첩성	새로운 소스 추가 시 자동 탐색·태깅·연결
비용 절감	데이터 복제 스토리지 비용 및 ETL 개발 인건비 절감

5.2 한계 및 고려사항

Data Fabric 구현은 초기 지식 그래프 구축 및 메타데이터 시딩(Seeding) 비용이 높고, AI 모델이 학습하기 위한 충분한 메타데이터 축적 기간이 필요하다. 또한 가상화 쿼리는 소스 시스템의 성능에 의존하므로, 레이턴시가 민감한 워크로드에는 물리적 복사가 여전히 필요할 수 있다.

📢 섹션 요약 비유: Data Fabric은 스마트 홈 허브와 같다. 각 방의 가전(데이터 소스)을 옮기지 않고 중앙 허브가 AI로 연결·제어한다. 처음에 기기를 연결하는 설정(초기 구축)이 번거롭지만, 이후에는 음성 명령 한 마디로 모든 것을 자동 제어할 수 있다.

📌 관련 개념 맵

개념	설명	연관 키워드
Data Virtualization (데이터 가상화)	물리적 이동 없는 이종 소스 통합 접근	Denodo, Federation
Knowledge Graph (지식 그래프)	데이터 엔티티 관계 그래프 표현	Neo4j, RDF, 영향 분석
Active Metadata (활성 메타데이터)	AI 기반 실시간 메타데이터 자동화	ML, PII 자동 감지
Data Lineage (데이터 리니지)	데이터 흐름 추적·시각화	영향 분석, Apache Atlas
Automated Governance (자동화 거버넌스)	정책·품질·보안의 자동 적용	정책 엔진, RBAC
Data Fabric vs Mesh	기술적 통합 vs 조직적 분산 패러다임 비교	보완 관계
Semantic Layer (시맨틱 계층)	비즈니스 용어로 데이터 추상화	비즈니스 메타데이터

👶 어린이를 위한 3줄 비유 설명

데이터 패브릭은 전 세계 도서관을 연결하는 구글처럼, 책을 한 곳에 모으지 않고 AI가 "어느 도서관 어느 선반"인지 알아서 찾아주는 시스템이야.
지식 그래프는 학교 인맥 지도야. "A는 B의 친구이고, B는 C 동아리 소속"이라는 관계를 지도로 그리면, AI가 "A에 관련된 모든 것"을 한 번에 찾을 수 있어.
활성 메타데이터는 AI 사서야. 새 책이 들어오면 자동으로 분류·태그를 붙이고, "이 책은 개인정보가 포함됐어요"라고 알려주는 스마트 도우미야.