359. 데이터 패브릭 (Data Fabric)

핵심 인사이트 (3줄 요약)

물리적 복사(ETL)가 불가능할 만큼 비대해지고 파편화된 데이터 인프라 위에, 지능형 메타데이터 그래프라는 보이지 않는 거대한 융단(Fabric)을 덮어 단일 인터페이스를 제공한다.

AI 기반의 '활성 메타데이터(Active Metadata)' 분석을 통해 어딨는 데이터를 끌어와야 쿼리가 제일 빠른지 자율 최적화를 수행한다.

데이터 메시가 '조직/문화적 분산'이라면 패브릭은 '기술적/아키텍처 인프라 결합' 통제망 툴이다.

Ⅰ. 아키텍처 및 원리

  [ 다차원 메타데이터 기반 직물 라우터망 레이어 ]
   (API) --- 질의 ---> [ AI 튜너 / 메타 카탈로그 / 보안 인가 제어탑 ] (패브릭)
                                 | (동적 라우팅/가상화)
              [ AWS S3 ]      [ 오라클 On-Prem ]      [ GCP BigQuery ]

Ⅱ. 실무 적용 및 결론

사용자는 데이터가 지구 반대편 물리 서버에 있는지 AWS 클라우드에 있는지 모른 채 SQL을 날려도, 패브릭 엔진이 알아서 잘린 쿼리를 각 진영으로 쏴 결과를 합쳐(가상화) 수 초 내에 배달해주는 극강의 물리/논리 분산 스위치 체계다.