811. 인피니밴드 (InfiniBand) - 고성능 컴퓨팅(HPC) 클러스터 초저지연 스위칭 통신망

핵심 인사이트: 챗GPT 같은 거대한 인공지능을 훈련시키려면 그래픽카드(GPU) 1만 대가 동시에 데이터를 주고받으며 하나처럼 움직여야 한다. 이 GPU 1만 대를 이더넷(일반 인터넷 랜선)으로 묶으면 어떻게 될까? 이더넷은 패킷을 버리기도 하고, 검사도 많이 해서 0.01초씩 렉이 걸린다. 이 찰나의 렉 때문에 비싼 GPU들이 서로 데이터를 기다리며 놀게 된다. 그래서 아예 "인터넷 포기해! 오직 슈퍼컴퓨터 부품들끼리만 빛의 속도로 대화하는, 무결손 절대 보장의 초고속 전용 고속도로를 새로 깔자!" 하고 만든 괴물 통신망, 이것이 인피니밴드다.

Ⅰ. 기존 이더넷(Ethernet) 네트워크의 한계 (왜 AI 학습에 부적합한가?)

  • 태생적 오버헤드: 이더넷은 웹서핑을 위해 만들어졌습니다. 패킷이 도착하면 운영체제 커널(OS)이 "누구한테 온 거야? 에러 없어?"라며 복잡한 TCP/IP 검사 절차를 거치느라 CPU 자원을 갉아먹고 속도가 지연됩니다.
  • 패킷 손실 (Drop): 트래픽이 몰리면 쿨하게 패킷을 버립니다. 재전송을 기다리는 동안 100억 원어치 GPU 클러스터가 멍 때리고 연산을 멈춥니다(통신 병목 현상).

Ⅱ. 인피니밴드 (InfiniBand)의 개념과 특성 🌟

  • 개념: 1999년에 탄생하여 슈퍼컴퓨터(HPC, High Performance Computing)와 거대 AI 데이터센터 내부의 서버 간(Server-to-Server), 혹은 스토리지 간 통신을 위해 극도로 최적화된 초고속, 초저지연, 무결손(Lossless) 스위치 패브릭 통신 아키텍처입니다. (현재 엔비디아/멜라녹스가 시장을 꽉 쥐고 있습니다.)

인피니밴드의 3대 물리적/논리적 특성 🌟

  1. 무결손 (Lossless) 네트워크 절대 보장:
    • 인피니밴드 스위치는 이더넷처럼 패킷을 절대 바닥에 버리지 않습니다.
    • 신용 기반 흐름 제어 (Credit-based Flow Control): 송신자는 수신자(또는 스위치)에게 미리 "나 패킷 몇 개 보내도 돼?"라고 물어보고 허락(Credit)받은 개수만큼만 쏩니다. 받을 공간이 확실할 때만 쏘기 때문에 망 전체에서 패킷 드랍율이 0%가 됩니다.
  2. 커널 우회 (Kernel Bypass) & 하드웨어 처리:
    • 패킷을 받을 때 OS(윈도우/리눅스) 커널을 아예 거치지 않습니다. 인피니밴드 랜카드(HCA) 칩셋 자체가 패킷을 받자마자 바로 응용 프로그램 메모리로 냅다 꽂아버립니다. (이를 구현하는 기술이 바로 다음 812번 문서의 RDMA입니다.)
  3. 극한의 대역폭과 초저지연:
    • 200Gbps(HDR), 400Gbps(NDR), 최근에는 800Gbps(XDR)까지 단일 링크 속도를 뽑아내며, 스위치를 통과하는 지연 시간(Latency)이 100나노초(0.0001ms) 이하로 이더넷보다 수십 배 빠릅니다.

Ⅲ. 인피니밴드의 아키텍처 (서브넷과 스위칭)

  • 인터넷의 라우팅(IP) 구조와는 다릅니다. 인피니밴드는 여러 대의 스위치와 서버들을 하나의 **'서브넷(Subnet)'**으로 묶습니다.
  • 서브넷 중앙에는 **서브넷 관리자(Subnet Manager, SM)**라는 똑똑한 관제탑 뇌가 딱 1개 있습니다. 이 SM이 "A 서버에서 B 서버로 갈 때는 3번 스위치를 타라"라고 모든 길을 사전에 완벽하게 그려서 스위치들에게 나눠줍니다. 장비들이 길을 헤매지 않으니 속도가 미친 듯이 빠릅니다.

Ⅳ. AI 데이터센터 (엔비디아 슈퍼팟) 패권

오늘날 수천억 원짜리 거대 LLM(초거대 AI) 학습용 데이터센터를 지을 때, 수만 개의 H100 GPU를 서로 엮어주는 백본망으로 인피니밴드 스위치가 사실상 100% 독점 사용되고 있습니다.

📢 섹션 요약 비유: 이더넷이 전 세계 누구나 택배를 주고받을 수 있는 '공용 우체국 택배망'이라면, 속도는 빠르지만 가끔 분실도 되고 배송 순서도 뒤죽박죽입니다. 인피니밴드는 반도체 공장 내부에 로봇들끼리만 부품을 주고받기 위해 깐 '진공관 하이퍼루프 컨베이어 벨트'입니다. 바깥세상(인터넷)과는 통신할 수 없지만, 공장 내부(클러스터)에서만큼은 수만 대의 로봇이 단 0.001초의 딜레이도 없이, 단 하나의 부품(패킷)도 바닥에 흘리지 않고 완벽한 타이밍으로 부품을 슉슉 던지고 받을 수 있는 극강의 폐쇄형 초고속 핏줄입니다.