358. 데이터 메시 (Data Mesh)

핵심 인사이트 (3줄 요약)

1. 모든 회사 데이터를 중앙 데이터 엔지니어팀(1곳)에 밀어 넣는 병목 적폐를 부수고, 영업본부/재무본부 각 도메인에서 스스로 데이터를 가공해 '제품'처럼 제공하게 만드는 분산 마이크로서비스 사상의 데이터화다.
2. 탈중앙적 데이터 소유권(Domain Ownership)과 연합된 거버넌스(Federated Governance)를 뼈대로 채택한다.
3. 인프라 구축 팀은 '데이터가 다닐 수 있는 자동화 레일(Self-Serve Data Platform)'만 관리할 뿐 실제 쿼리 내용은 간섭하지 않는다.

Ⅰ. 아키텍처 및 원리

  [ 중앙 집중 레이크 ]       vs      [ 분산 도메인 융합 메시망 ]
    모든 데이터 -> [ 중앙 호수 ]       (영업 데이터망) <--- 연결 ---> (재무 데이터망)
    병목 1팀이 모두 정제              각 본부가 자기 데이터 책임지고 API/Query 개방

Ⅱ. 실무 적용 및 결론

AI 파이프라인의 폭증으로 중앙 데이터 엔지니어 팀은 수백 개의 타 부서 요구사항 포맷을 맞추다 과로사한다. 메시 구조로 개편하면 데이터의 발생 원천 부서가 가장 정확한 지식(품질)을 담보하여 타부서에 직접 API를 쏴주는 클라우드 네이티브의 최종 지향점이다.