807. East-West 트래픽 - 데이터센터 내부 가상 통신 흐름 (스파인 리프 최적화)

핵심 인사이트: 넷플릭스 앱을 켜면 내 폰(외부)에서 넷플릭스 서버(내부)로 '접속 신호 1개(North-South)'가 들어간다. 하지만 이 접속 신호 하나를 처리하기 위해, 넷플릭스 데이터센터 안에 있는 '로그인 확인 서버 ➜ 내 취향 분석 서버 ➜ 영상 추천 서버 ➜ 영상 썸네일 전송 서버' 수십 대가 서로에게 데이터베이스를 물어보며 지들끼리 1,000번의 데이터 핑퐁 대화를 나눈다. 이처럼 데이터센터 뱃속 안에서 서버들끼리 치고받고 옆으로(수평으로) 날아다니는 엄청난 트래픽 폭풍이 바로 East-West 트래픽이다.

Ⅰ. East-West 트래픽의 개념

  • 개념: 외부 인터넷(Client)을 거치지 않고, 데이터센터 내부에 있는 서버와 서버, 가상머신(VM)과 가상머신, 혹은 마이크로서비스 컨테이너들끼리 데이터를 주고받으며 발생하는 수평적(좌/우)인 네트워크 데이터 흐름을 의미합니다.
  • 데이터센터 다이어그램에서 서버들끼리의 통신을 양옆(East, West) 방향 화살표로 그리기 때문에 붙여진 이름입니다.

Ⅱ. East-West 트래픽이 폭주하게 된 3대 원인 🌟

오늘날 클라우드 시대에 전체 트래픽의 80% 이상을 차지하며 데이터센터를 터뜨리는 주범입니다.

1. 마이크로서비스 아키텍처 (MSA) 🌟

  • 옛날엔 커다란 프로그램(Monolithic) 1개가 모든 걸 다 처리했습니다.
  • 지금은 프로그램을 결제, 로그인, 장바구니 등 100개의 작은 서비스 조각(컨테이너)으로 쪼개서 각기 다른 서버에 분산시켜 둡니다(MSA). 결제 버튼 하나 누르면 이 100개의 서버들끼리 승인을 받기 위해 엄청난 양의 API 통신(East-West)을 미친 듯이 주고받아야만 합니다.

2. 서버 가상화 (VM 마이그레이션)

  • VMWare 등으로 서버 한 대에 10개의 가상머신(VM)을 띄워 씁니다. 1번 물리 서버가 고장 날 것 같으면, 그 안에서 돌던 100GB짜리 가상머신 덩어리를 2번 물리 서버로 멈춤 없이 쓱 옮겨버립니다(Live Migration, 629번). 이 100GB짜리 이사짐 데이터가 East-West 트래픽으로 쏟아집니다.

3. 빅데이터 클러스터 분산 처리 (하둡)

  • 거대한 빅데이터를 분석할 때 하둡(Hadoop) 노드 수백 대가 서로 쪼개서 계산하고, 그 결과를 다시 뭉치기 위해 자기들끼리 수 테라바이트의 데이터(Shuffle & Sort)를 옆으로 던지며 통신합니다.

Ⅲ. 인프라 구조의 대격변 (Spine-Leaf의 승리) 🌟

엄청나게 뚱뚱해진 East-West 트래픽을 처리하기 위해 낡은 건물을 허물었습니다.

  • 3-Tier의 패배: 앞선 801번 문서에서 봤듯, 피라미드 구조에서는 옆 서버와 대화하려면 무조건 저 꼭대기 층(Aggregation 스위치)까지 올라갔다 내려와야 해서 중앙 고속도로가 매일 마비되었습니다(헤어핀 라우팅 병목).
  • Spine-Leaf의 대관식: 802번 문서의 2계층 바둑판 구조(Spine-Leaf)가 이 East-West 트래픽을 빛의 속도로 치워버리기 위해 발명된 구원자입니다. 어떤 서버든 스위치를 딱 한 번(1-Hop)만 찍으면 옆 서버로 광속 도달하므로, 내부망 트래픽 지연(Latency)이 바닥으로 뚝 떨어집니다.
  • 보안의 변화: 정문 방화벽 하나로는 내부 랜섬웨어 전파를 막을 수 없어, 내부 서버마다 미니 방화벽을 씌우는 마이크로 세그멘테이션(739번) 기술이 떡상했습니다.

📢 섹션 요약 비유: East-West 트래픽은 거대한 이마트(데이터센터) 내부에서 '직원들끼리 재고를 옮기며 분주하게 움직이는 지게차들의 동선(수평)'입니다. 옛날엔 직원 1명이 손님(North-South 트래픽)을 직접 응대하고 창고에서 물건을 가져와 건네주면 끝이었습니다. 하지만 시스템이 고도화(MSA)되면서, 손님이 과자 하나를 주문하면 정육 코너, 수산 코너, 야채 코너 직원 10명이 무전기를 치고 지게차를 몰며 매장 횡단 통로를 미친 듯이 가로지르며 물건을 취합해옵니다. 이 엄청난 '내부 직원들의 수평적 교통 체증(East-West 트래픽)'을 해결하기 위해 매장의 모든 통로를 다 뚫어버린 거대한 십자 교차로 시스템(Spine-Leaf 구조)이 도입된 것입니다.