622. 스케일 아웃 (Scale-Out) 클러스터 망

핵심 인사이트 (3줄 요약)

과거의 메인프레임이나 거대 DB 서버는 장비 하나의 성능을 극한으로 올리는 스케일 업(Scale-Up) 방식을 썼지만, 가격이 수십억 원으로 폭등하고 물리적 한계에 부딪혔다.

이를 타개하기 위해 구글, 아마존은 100만 원짜리 저렴한 깡통 서버(Commodity Hardware) 만 대를 옆으로 무한정 이어 붙이는 스케일 아웃(Scale-Out) 전략으로 클라우드 제국을 건설했다.

스케일 아웃의 핵심은 "서버 하나가 고장 나도 전체 시스템은 멈추지 않는다(결함 허용)"는 점이며, 이를 위해 수만 대의 서버를 1:1로 병목 없이 연결해 주는 클로스(Clos) / 스파인-리프(Spine-Leaf) 네트워크 토폴로지가 필수적이다.

Ⅰ. 거인 1명(Scale-up) vs 개미 1만 마리(Scale-out)

웹서버의 트래픽이 10배로 늘었습니다.

Scale-Up (스케일 업): 기존 서버를 버리고, CPU 코어 수가 10배 많고 메모리가 10배 큰 수억 원짜리 괴물 서버를 한 대 사 옵니다. (비용 기하급수적 증가)
Scale-Out (스케일 아웃): 지금 쓰는 싸구려 100만 원짜리 서버를 옆에 9대 더 사서 랜선으로 묶습니다. (비용 선형적 증가)

현대의 웹/앱, 빅데이터(Hadoop), 딥러닝 시스템은 무조건 스케일 아웃 구조를 채택합니다. 스케일 아웃은 **서버가 고장 나는 것을 당연한 일상(Failures are the norm)**으로 여깁니다. 만 대 중 10대가 불타도 소프트웨어(쿠버네티스 등)가 알아서 살아있는 9,990대에 일을 재분배하기 때문에 시스템 다운타임은 0입니다.

📢 섹션 요약 비유: 무거운 짐을 나를 때, 한 달에 1억 원을 먹는 헐크 1명을 고용하는 대신, 한 달에 200만 원을 받는 일반인 50명을 고용하는 것입니다. 헐크가 감기에 걸리면 일이 올스톱되지만, 일반인은 3명이 감기에 걸려도 47명이 짐을 계속 나릅니다.

Ⅱ. 스케일 아웃 망의 심장: 스파인-리프 (Spine-Leaf)

1만 대의 서버를 연결할 때, 과거의 피라미드형 네트워크(3-Tier: 코어-분배-접근)를 쓰면 끔찍한 병목이 터집니다. 1번 서버가 10000번 서버와 통신하려면 위층, 위층을 거쳐 꼭대기(코어 라우터)를 찍고 다시 내려가야 했기 때문입니다. (East-West 통신 병목)

이를 박살 낸 것이 찰스 클로스(Charles Clos)가 제안하고 페이스북/구글이 완성한 스파인-리프(Spine-Leaf) 아키텍처입니다.

리프(Leaf) 스위치: 각 서버 랙(Rack) 위에 달려있는 나뭇잎 스위치입니다. 서버들은 여기에 꽂힙니다.
스파인(Spine) 스위치: 척추 스위치입니다. 서버와는 연결되지 않고, 오직 아래에 있는 모든 리프 스위치들과 1:1로 빠짐없이 엮입니다(Full-Mesh).

구조 (ASCII 다이어그램)

 ┌── Spine 1 ──┐ ┌── Spine 2 ──┐ ┌── Spine 3 ──┐  (척추: 서로 연결 안 됨)
 └─┬─┬──┬──┬─┬─┘ └─┬─┬──┬──┬─┬─┘ └─┬─┬──┬──┬─┬─┘
   │ │  │  │ │     │ │  │  │ │     │ │  │  │ │    (모든 Spine이 모든 Leaf와 1:1로 직결됨)
 ┌─▼─▼──▼──▼─▼─┐ ┌─▼─▼──▼──▼─▼─┐ ┌─▼─▼──▼──▼─▼─┐
 │   Leaf 1    │ │   Leaf 2    │ │   Leaf 3    │  (나뭇잎)
 └─┬─────────┬─┘ └─┬─────────┬─┘ └─┬─────────┬─┘
  서버      서버    서버      서버    서버      서버

마법 같은 장점: 서버 A에서 다른 어떤 랙에 있는 서버 Z로 데이터를 보내든, 무조건 Leaf $\rightarrow$ Spine $\rightarrow$ Leaf라는 딱 3단계 만에 도착합니다. 모든 통신 거리가 똑같아져(Equidistant) 데이터센터 내의 지연 시간이 완벽하게 예측 가능해집니다.

📢 섹션 요약 비유: 어떤 동네에서 다른 동네로 가든, 동네 입구(Leaf)에서 고속도로(Spine)를 타면 무조건 IC를 한 번만 거치고 상대방 동네(Leaf)로 빠질 수 있도록 도로를 바둑판처럼 촘촘하게 도배해 버린 완벽한 교통망입니다.

Ⅲ. 무한 확장의 비결

스파인-리프 망에서 스케일 아웃(확장)은 너무나 쉽습니다.

서버가 더 필요해? $\rightarrow$ 리프(Leaf) 스위치를 1개 더 사서 기존 스파인 스위치들에 선만 꽂으면 끝입니다.
대역폭(속도)이 부족해? $\rightarrow$ 스파인(Spine) 스위치를 1개 더 사서 기존 리프 스위치들에 선을 추가로 꽂아주면 고속도로 차선이 뻥 뚫립니다.

이러한 레고 블록 같은 수평적 하드웨어 확장이 오늘날 전 세계를 덮고 있는 클라우드 컴퓨팅(AWS, GCP, Azure)의 절대적인 물리적 근간입니다.