상호 연결망 (Interconnection Network)

핵심 인사이트 (3줄 요약)

1. 본질: 다중 프로세서(멀티코어)나 분산 클러스터 환경에서, 수많은 CPU, 메모리 뱅크, I/O 장치들이 서로 데이터를 병목 없이 주고받을 수 있도록 이어주는 하드웨어 스위칭 및 라우팅 인프라 토폴로지(Topology)다.
2. 가치: 코어가 4개일 때는 단순한 공유 버스(Shared Bus)로 충분했지만, 코어가 수십~수만 개로 늘어남에 따라 발생하는 통신 대역폭 고갈과 끔찍한 지연(Latency) 현상을 위상 기하학적 그물망(크로스바, 메시, 큐브)으로 타파한다.
3. 융합: 거대한 슈퍼컴퓨터를 묶는 인피니밴드(Infiniband) 같은 칩 외부 네트워크를 넘어, 현대에는 단일 칩 내부의 100개 코어를 우체국 택배처럼 엮는 NoC (Network-on-Chip) 아키텍처로 수축 융합되며 매니코어(Many-core) 시대의 대동맥이 되었다.

Ⅰ. 개요 및 필요성 (Context & Necessity)

상호 연결망 (Interconnection Network)은 컴퓨터 아키텍처가 "어떻게 더 연산을 잘할까?"에서 **"어떻게 데이터를 길 안 막히고 잘 배달할까?"**로 패러다임이 바뀌면서 등장한 핵심 학문이다.

과거에는 컴퓨터 안에 CPU, 메모리, 그래픽 카드가 각각 1개씩 있었다. 이들을 1차선 고속도로인 '시스템 버스(System Bus)' 하나로 묶는 것(공유 버스 방식)으로 충분했다. 하지만 코어가 8개, 16개를 넘어 수천 개가 되자, 모든 코어가 1개의 버스에 데이터를 던지며 처참한 교통 마비(Bus Contention)가 일어났다. 즉, 연산은 1나노초 만에 끝나는데 배달을 1,000나노초 동안 기다리는 상황이 벌어졌다.

엔지니어들은 "더 이상 1개의 도로(버스)를 공유할 수 없다. **전화국이나 인터넷 망처럼, 수많은 교차로와 스위치를 엮어서 동시다발적으로 데이터가 교차해 지나갈 수 있는 그물망(Network)**을 짜야 한다!"라고 결단했고, 이것이 바로 인터커넥션 네트워크(상호 연결망)의 시작이다.

[공유 버스의 한계와 상호 연결망 도입에 의한 병목 돌파]

(A) 공유 버스 (Shared Bus) 구조 - 코어가 늘면 사망
[CPU1] [CPU2] [CPU3] [CPU4] 
   └──────┼──────┴──────┘
          ▼ (4대가 동시에 진입 불가능. 한 명씩 순서대로!)
   =======[ System Bus ]=======
          ▼
      [ 메인 메모리 ]

(B) 상호 연결망 (Interconnection Network) 구조 - 스위칭 허브 도입
[CPU1] [CPU2] [CPU3] [CPU4]
   │      │      │      │ (각자의 톨게이트 존재)
[========= 스위치 네트워크 망 =========] (동시다발적 교차 통신 허용!)
   │      │      │      │
 [Mem1] [Mem2] [Mem3] [Mem4]
 => CPU1이 Mem1과 통신하는 "동시에" CPU4가 Mem4와 통신 가능 (대역폭 4배 폭증!)

결국 현대 컴퓨터의 성능(확장성)은 코어의 개수가 아니라, 코어들을 엮고 있는 상호 연결망이 얼마나 많은 동시 트래픽(대역폭)을 지연(Latency) 없이 소화해 내느냐에 의해 결정된다.

📢 섹션 요약 비유: 4명이 살 때는 1층에 좁은 복도 1개(시스템 버스)만 있어도 지나다닐 만했지만, 1,000세대가 사는 아파트에서는 복도 1개면 출근 시간에 압사당합니다. 그래서 층마다 구름다리를 뚫고 수십 개의 엘리베이터를 거미줄처럼 엮은 것(상호 연결망)이 최신 아키텍처입니다.

Ⅱ. 아키텍처 및 핵심 원리 (Deep Dive)

상호 연결망을 평가하는 하드웨어적 핵심 지표는 "몇 단계를 거쳐야(Hop) 데이터가 도착하는가?(지연)"와 "선(Wire)을 얼마나 많이 깔아야 하는가?(비용)"의 타협점이다.

네트워크 토폴로지(모양)는 연결 방식에 따라 정적(Static) 연결망과 동적(Dynamic) 연결망으로 나뉜다.

[상호 연결망의 대표적 형태 분류 (Topologies)]

1. 정적 연결망 (Static) : 노드와 노드가 점대점(Point-to-Point) 전선으로 직접 고정 연결됨.
   - 선형 배열(Linear Array): 1차원 줄서기. (멀면 오래 걸림)
   - 링(Ring): 선형의 양끝을 이음. (인텔 CPU 내부 L3 통신에 자주 쓰임)
   - 메시(Mesh): 2차원 바둑판. (GPU 내부, 일반적 매니코어 통신망)
   - 하이퍼큐브(Hypercube): N차원 주사위 구조. 확장성이 좋으나 배선(비용)이 악랄함.

2. 동적 연결망 (Dynamic) : 노드 사이에 전자식 '스위치'가 있어 경로가 실시간으로 바뀜.
   - 공유 버스(Shared Bus): 가장 싸고 단순하지만 병목 최악.
   - 크로스바 스위치(Crossbar): 바둑판처럼 가로세로 스위치를 박아 어떤 노드든 1 Hop 만에 연결 (속도 최강, 비용 최악).
   - 다단 연결망(MIN, Multistage): 스위치를 여러 층(Stage)으로 겹쳐 비용과 속도를 타협한 거대망.

하드웨어 공학자들은 "선을 많이 깔아 1번에 가게 할 것인가(비용 상승)" 아니면 "선을 적게 깔아 여러 스위치를 거쳐 가게 할 것인가(지연시간 증가)" 사이의 지독한 트레이드오프에서 밤을 새우며 위상 수학(Topology) 문제를 푼다.

📢 섹션 요약 비유: 전국 모든 도시에 서로 다이렉트로 가는 고속도로를 깔면(크로스바) 서울에서 부산, 제주까지 막힘 없이 1초 만에 가겠지만 나라에 돈(비용)이 남아나지 않습니다. 그래서 적당히 대전, 대구 같은 환승 휴게소(다단 스위치)를 만들어 비용과 시간을 타협하는 도로망 설계가 바로 상호 연결망입니다.

Ⅲ. 융합 비교 및 다각도 분석 (Comparison & Synergy)

현대 컴퓨터 구조에서 상호 연결망은 단일 칩 내부(On-chip)부터 거대 데이터센터(Off-chip)까지 프랙탈처럼 똑같은 철학으로 융합되어 쓰인다.

대표적 토폴로지 극단적 트레이드오프 비교

타 과목 관점의 융합 시너지

• 매니코어 칩 설계 (Network-on-Chip, NoC): 수십 년 전, 여러 대의 PC를 묶을 때 썼던 랜선 스위치 라우터(TCP/IP) 개념이 아예 손톱만 한 CPU 칩 내부로 융합되어 들어왔다. 100개의 코어를 칩 안에 박았더니 금속 배선(Wire)이 엉켜서 신호가 죽어버리자, 칩 내부에 마이크로 라우터(Router)와 스위치를 심어 데이터 패킷을 날리는 NoC(Network-on-Chip) 구조가 탄생했다. 애플의 M 시리즈 칩과 AMD의 칩렛 내부 통신(Infinity Fabric)이 모두 이 NoC 라우팅 아키텍처의 산물이다.
• 분산 시스템과 클러스터링 (Infiniband): 칩 바깥에서 수만 대의 컴퓨터 노드를 엮는 슈퍼컴퓨터나 AI 트레이닝 클러스터에서는 일반 이더넷(Ethernet)의 TCP/IP 프로토콜 스택 오버헤드조차 너무 느리다. 그래서 커널(OS)을 건너뛰고 남의 컴퓨터 메모리에 스위치 망을 통해 데이터를 직접 꽂아버리는 RDMA 기반의 상호 연결망 (Infiniband 토폴로지) 이 융합되어 대규모 딥러닝(LLM 학습) 인프라의 절대적 기반이 되었다.

[상호 연결망의 프랙탈적 스케일 확장 융합]

1. [ On-Chip ] (CPU 칩 내부)
   - 100개의 Core들이 2D Mesh(바둑판) 통신망(NoC)으로 패킷을 주고받음.
         ▼
2. [ On-Board ] (메인보드)
   - 4개의 CPU 소켓이 QPI/UPI 크로스바 스위치망으로 묶임.
         ▼
3. [ Data Center ] (거대 클러스터)
   - 10만 대의 서버랙이 Fat-Tree 토폴로지 기반의 Infiniband 스위치망으로 묶임.

=> 본질적 철학: 스케일만 다를 뿐, 거미줄처럼 노드를 엮어 병목을 피하는 
               라우팅(Routing)과 스위칭(Switching) 기술은 100% 동일하다!

📢 섹션 요약 비유: 도시에 차가 막히는 문제를 풀기 위해 고가도로와 지하차도를 뚫었던 교통공학이(데이터센터 스위치), 이제는 현미경으로 봐야 보이는 1cm짜리 반도체 칩 내부에도 똑같이 나노미터 크기의 신호등과 교차로(NoC)를 짓는 방식으로 복사/적용되었습니다.

Ⅳ. 실무 적용 및 기술사적 판단 (Strategy & Decision)

실무 클라우드 아키텍트나 백엔드 시스템 엔지니어는 데이터센터의 하드웨어를 고를 때, 서버 내부의 코어 통신망(Ring/Mesh)과 서버 외부의 네트워크망 아키텍처가 트래픽 성격에 맞는지 판단해야 한다.

실무 하드웨어/인프라 아키텍처 선정 시나리오

1. 대규모 RDBMS 서버 CPU 토폴로지 선정 (Ring vs Mesh)

   • 상황: 오라클이나 MySQL 같은 거대 단일 DB용 32코어 서버를 벤더(Intel/AMD)로부터 골라야 함.
   • 의사결정: 구형 Ring Bus 기반의 CPU를 피하고, 2D Mesh 토폴로지(Intel Xeon Scalable 등)나 독립된 CCD 칩렛 구조(AMD EPYC) 기반의 최신 연결망이 박힌 CPU를 선택한다.
   • 이유: Ring Bus(원형) 구조는 코어가 10개 언저리일 때는 링을 한 바퀴만 돌면 되니까 빠르지만, 코어가 32개가 넘어가는 순간 맞은편 코어에 있는 L3 캐시 데이터를 가져오려면 링을 반 바퀴나 빙 돌며 끔찍한 통신 지연(Hop Penalty)을 겪는다. 반면 바둑판 모양의 Mesh 망은 대각선 가로지르기(XY 라우팅)가 가능하여 지연시간이 일정하고 대역폭이 넓어 거대 DB 트랜잭션의 병목을 없애준다.

2. AI GPU 클러스터 딥러닝 팜(Farm) 네트워크 스위치 설계

   • 상황: 1,000대의 GPU 서버를 엮어서 생성형 AI(LLM) 모델을 분산 학습시켜야 함. 스위치 토폴로지를 짜야 함.
   • 의사결정: 트래픽이 상위 스위치로 몰리는 계층형 구조(Traditional 3-Tier)를 버리고, 서버끼리 완벽히 막힘없는 대역폭을 보장하는 Fat-Tree(비차단, Non-blocking) 또는 Spine-Leaf 아키텍처를 물리적으로 구축한다.
   • 이유: AI 학습 시 1,000대의 GPU는 매초 자기가 학습한 가중치 파라미터를 "옆 서버와 똑같은 양으로 쉴 새 없이 동기화(All-Reduce 통신)" 해야 한다. 즉, 서버 간 통신 트래픽(East-West Traffic)이 폭주한다. 일반 스위치망에서는 위쪽 스위치(Core) 병목으로 네트워크 패킷 드랍이 나며 1,000대 중 900대가 멈춰 선다. 하위에서 올라오는 선의 개수만큼 상위 스위치의 대역폭을 무식하게 뚱뚱하게(Fat) 만들어주는 팻 트리 연결망만이 유일한 해답이다.

[실무 클라우드/HPC 인프라 병목 진단 트리]

[현상] 서버를 여러 대 묶어 병렬 처리를 하는데, 노드를 추가할수록 성능이 오히려 떨어짐.
 ├─ 소프트웨어 레벨에서 공유 락(Global Lock) 대기가 원인인가?
 │   ├─ Yes ──> (S/W 병목) DB 락 튜닝이나 락프리 자료구조로 해결할 것.
 │   │
 │   └─ No ───> [질문 2] 네트워크 스위치의 오버서브스크립션(Oversubscription) 비율이 높은가?
 │               ├─ Yes ──> 10Gbps 서버 40대를 40Gbps 상위 스위치 한 대에 묶어놓은 멍청한 망 설계!
 │               │          동시 통신 시 대역폭 병목 터짐. Fat-tree 구조로 케이블을 대량 증설하라.
 │               └─ No ───> MPI 통신 패킷이 너무 잘게 쪼개져 OS 인터럽트 지연 발생. 
 │                          RDMA 기술 도입으로 해결할 것.

운영 및 아키텍처 도입 체크리스트

• 퍼블릭 클라우드(AWS EC2)에서 HPC나 MPI 클러스터를 띄울 때, 서버 간의 물리적 네트워크 Hop이 길어지는 것을 막기 위해 배치 그룹(Placement Group - Cluster) 옵션을 강제하여 동일 랙/스위치 하단에 인스턴스들을 물리적으로 모아두었는가?
• 단일 호스트 내에서 코어 간 메모리 지연(NUMA Distance)을 파악하기 위해 numactl --hardware 명령을 쳐서 코어 간의 상호 연결망 거리 페널티 매트릭스를 확인하고 스레드를 배치하는가?

안티패턴: 클러스터를 짠다면서 싼 가격만 보고 1G 일반 이더넷 스위치 허브 하나에 워커 노드 50대를 무식하게 다 꽂아버리는 것. "대역폭(Bandwidth)은 충분한데 레이턴시(Latency)가 왜 이러지?"라는 무지한 한탄 속에 통신망 정체로 노드들은 하루 종일 놀게 된다.

📢 섹션 요약 비유: 상호 연결망 설계는 도시 설계와 같습니다. 10만 명의 시민(데이터)이 출근할 때, 동네 골목길(버스)로만 몰아넣으면 지각 사태가 납니다. 4차선 대로, 순환 고속도로, 지하철(Mesh, Fat-tree)을 뚫어 트래픽을 분산시키는 인프라 공학이 아키텍처 성능의 8할을 차지합니다.

Ⅴ. 기대효과 및 결론 (Future & Standard)

상호 연결망은 프로세서의 연산 속도를 올려주는 장치가 아니라, 그 연산력이 "굶어 죽지 않도록(Starvation)" 쉴 새 없이 식량(데이터)을 배달해 주는 거대한 대동맥이다.

미래 전망: 실리콘에 전기가 통하는 구리선(Wire)을 깔아 데이터를 통신하는 방식은 저항(RC Delay)과 발열 때문에 그 속도에 한계를 맞이했다. 미래의 가장 파괴적인 상호 연결망 혁신은 칩 내부의 배선을 빛의 신호로 대체해 버리는 실리콘 포토닉스 (Silicon Photonics, 광 연결망) 다. 전기가 아닌 레이저 빔이 칩 내부의 코어들을 연결하고 랙을 연결하게 되면, 발열은 사라지고 대역폭은 테라비트(Tbps) 급으로 뛰며 칩과 네트워크 간의 경계가 완전히 소멸되는 광학 컴퓨팅의 시대가 열릴 것이다.

📢 섹션 요약 비유: 자전거 배달부(시스템 버스)로 택배를 나르던 시대가 무너지고 고속도로 톨게이트(스위칭 네트워크) 시대가 세상을 제패했습니다. 그리고 다가올 미래는 아예 공중에 빛줄기(실리콘 포토닉스)를 쏴서 텔레포트로 물건을 옮기는 광통신망이 반도체 속으로 융합되는 경이로운 세상입니다.

📌 관련 개념 맵 (Knowledge Graph)

• NoC (Network-on-Chip) | 칩 외부에 있던 네트워크 스위칭/라우팅 뼈대 구조를 그대로 아주 작은 CPU 칩 내부에 집어넣어, 수십 개의 코어를 그물망으로 엮은 현대 반도체 기술
• 메시 (Mesh) 토폴로지 | 바둑판처럼 노드들을 2차원으로 배열하여 상하좌우 노드와 직접 통신하게 만든, 칩 내부와 슈퍼컴퓨터의 가장 대중적이고 유연한 연결 방식
• 팻 트리 (Fat-Tree) | 데이터센터에서 루트(Core) 스위치로 트래픽이 몰려 병목이 터지는 것을 막기 위해, 상위 계층으로 갈수록 대역폭(선의 굵기)을 두껍게 확장해 놓은 무손실 네트워크 위상
• RDMA (Remote Direct Memory Access) | 상호 연결망 위에서, CPU와 OS를 번거롭게 거치지 않고 내 네트워크 카드가 옆 컴퓨터의 램(RAM)에 데이터를 직접 꽂아버려 지연을 0에 수렴시키는 마법
• 칩렛 (Chiplet) 아키텍처 | 커다란 칩 하나를 만드는 대신 작은 코어 덩어리 여러 개를 따로 만들어 레고 블록처럼 이어 붙이는 기술로, 블록들을 묶는 초고속 상호 연결망(예: AMD Infinity Fabric)이 생명줄인 기술

👶 어린이를 위한 3줄 비유 설명

1. 개념: 상호 연결망은 수백 명의 컴퓨터 두뇌(CPU)와 창고(메모리)들이 서로 물건을 주고받을 때 막히지 않고 빠르게 달릴 수 있게 만들어 놓은 '입체 고속도로망'이에요.
2. 원리: 1차선 좁은 골목길(버스) 하나만 쓰면 모든 차가 빵빵거리며 막히지만, 바둑판처럼 길을 수백 개 뚫고 중간중간 톨게이트(스위치)를 놔서 100대의 차가 쌩쌩 엇갈려 지나가게 해 줘요.
3. 효과: 덕분에 두뇌를 100개, 1,000개로 늘려도 택배(데이터)가 밀리지 않아서, 인공지능 같은 무지막지한 계산을 멈추지 않고 초고속으로 해낼 수 있답니다.