813. RoCE (RDMA over Converged Ethernet) - 이더넷 환경에서 RDMA 구현

핵심 인사이트: RDMA가 엄청나게 빠른 마법인 건 알았다(812번). 하지만 치명적인 문제가 있다. RDMA를 쓰려면 앞서 배운 '인피니밴드(811번)'라는 엄청나게 비싸고 폐쇄적인 전용 스위치와 랜선을 서버실 전체에 새로 깔아야 했다. 통신사나 기업들은 빡쳤다. "아니, 우리 전산실 천장에 이미 싸고 흔한 일반 이더넷 랜선이 수만 가닥 깔려있는데 이거 다 뜯어내라고? 야! 그냥 이 기존 흔한 랜선(이더넷) 위에서 RDMA 마법만 쏙 뽑아 쓸 방법 만들어!" 그렇게 기존 망의 뽕을 뽑기 위해 탄생한 가성비 융합 기술이 RoCE다.

Ⅰ. 인피니밴드(IB)의 폐쇄성과 RoCE의 등장 배경

  • RDMA 기술은 원래 무결손(Lossless)을 완벽 보장하는 인피니밴드(InfiniBand) 전용 네트워크 환경에서만 동작하도록 설계되었습니다.
  • 하지만 인피니밴드는 비싸고, 기존 데이터센터 스위치 장비들과 호환이 안 되며, 특정 벤더(엔비디아/멜라녹스) 종속성이 너무 강했습니다.
  • 이에 벤더 연합체(IBTA)는 **전 세계 어디에나 깔려있는 가장 흔한 표준 네트워크 망인 '이더넷(Ethernet)' 케이블과 스위치 위에서도 RDMA 통신(커널 우회, 제로 카피)을 그대로 구현할 수 있는 규격, RoCE (RDMA over Converged Ethernet)**를 만들어 냈습니다.

Ⅱ. RoCE v1과 RoCE v2의 진화 (라우팅의 벽 넘기) 🌟

1. RoCE v1 (버전 1) - L2 계층의 족쇄

  • 초기 1세대는 인피니밴드 프로토콜 패킷을 그대로 가져와서 껍데기만 딱 이더넷 프레임(L2, MAC 주소)으로 덮어씌웠습니다.
  • 한계점: 이더넷(L2) 껍데기밖에 없으므로 IP 주소가 없습니다. 따라서 라우터를 타고 다른 네트워크(다른 서브넷이나 해외망)로 나갈 수가 없고, 같은 스위치에 꽂힌 사내 전산실 동네에서만 쓸 수 있는 반쪽짜리 기술이었습니다.

2. RoCE v2 (버전 2) - L3 라우팅의 자유 🌟

  • 이 한계를 깨부순 현대 데이터센터의 찐 주력 표준입니다.
  • 인피니밴드 패킷을 **이더넷 프레임(L2) + IP 헤더(L3) + UDP 포트 헤더(L4, 포트 4791)**까지 완전히 완벽하게 캡슐화(포장)하여 씌웠습니다.
  • 효과: 이제 이 RDMA 패킷은 IP 주소를 가졌기 때문에, 일반 라우터를 쌩쌩 타고 데이터센터 밖을 벗어나 전 세계 인터넷망 어디로든(L3 라우팅 가능) 자유롭게 날아다니며 원격 메모리에 광속으로 꽂힐 수 있게 되었습니다.

Ⅲ. 무결손 이더넷(Lossless Ethernet) 필수 조건 🌟

RoCE v2는 이더넷망을 타지만, 본질적으로 RDMA는 패킷이 하나라도 바닥에 떨어지면 에러가 나며 뻗어버리는 예민한 귀족입니다.

  • 문제점: 이더넷은 원래 차가 막히면 패킷을 쿨하게 버리는(Drop) 놈입니다.
  • 해결책: RoCE를 완벽히 돌리려면 싸구려 3만 원짜리 스위치로는 안 됩니다. 이더넷 망의 트래픽이 폭주할 때 패킷을 바닥에 버리지 않고 "잠깐 스톱! 뒤에 애들 보내지 마!"라고 통제할 수 있는 PFC(Priority Flow Control) 등의 특수 고급 기능(DCB 규격)이 탑재된 비싼 무결손(Lossless) 데이터센터 이더넷 스위치를 반드시 사용해야만 합니다. (앞서 배운 FCoE(809번)와 완벽히 같은 요구 조건입니다.)

Ⅳ. 왜 RoCE를 쓰는가? (시장 상황)

  • 빅테크 기업들(AWS, Azure 등)은 전 세계 클라우드 망에 이미 수조 원어치의 이더넷 스위치들을 깔아 두었습니다. 여기에 인피니밴드 전용선을 또 깔기란 불가능합니다.
  • RoCE v2 랜카드(RNIC)만 사다 서버에 꽂으면, 기존 이더넷 스위치 망을 그대로 재활용하면서도 CPU 오버헤드 0%의 무시무시한 RDMA 속도를 뽑아낼 수 있어, 현재 딥러닝 AI 클러스터 구축의 양대 산맥(인피니밴드 vs RoCE)으로 치열하게 경쟁 중입니다.

📢 섹션 요약 비유: RDMA(인피니밴드)가 오직 KTX 철도(전용망) 위에서만 달릴 수 있는 '시속 300km짜리 특수 열차'라면, RoCE는 이 특수 열차의 바퀴를 고무 타이어로 개조하여 전 세계 어디에나 깔려있는 흔한 '일반 아스팔트 고속도로(이더넷망)' 위를 달리게 만든 획기적인 '수륙양용 버스'입니다. 값비싼 철길을 새로 깔 필요 없이 기존 고속도로를 그대로 타면서도 300km의 속도를 낼 수 있습니다. 단, 이 특수 버스가 멈추지 않고 달리려면 고속도로 톨게이트 전광판에 "특수 버스 오면 다른 차들 전부 정지!(PFC 무결손 제어)"라는 철저한 프리패스 신호등 시스템이 반드시 고속도로에 깔려 있어야만 합니다.