437. IPU (Intelligence Processing Unit)

핵심 인사이트 (3줄 요약)

본질: IPU (Intelligence Processing Unit)는 AI (Artificial Intelligence) 모델을 거대한 그래프로 보고, 수많은 타일이 각자 작은 메모리와 연산기를 들고 병렬로 일하게 만든 그래프 지향 가속기다.

가치: 성능의 핵심은 연산기 숫자보다, 가중치와 활성값을 칩 내부 SRAM (Static Random Access Memory)에 오래 머물게 하여 외부 메모리 왕복을 줄이는 데 있다.

판단 포인트: IPU는 희소 그래프·분기 많은 워크로드에는 강하지만, 소프트웨어 생태계와 모델 크기, 온칩 메모리 한계를 함께 보지 않으면 도입 효과가 급격히 줄어든다.

Ⅰ. 개요 및 필요성

IPU (Intelligence Processing Unit)는 그래프코어(Graphcore)가 제안한 AI 전용 가속기 계열로, 신경망과 그래프 기반 연산을 더 잘게 쪼개고 더 가까운 메모리에서 처리하려는 목적에서 출발했다. GPU (Graphics Processing Unit)는 매우 강력한 병렬 프로세서이지만, 기본적으로는 대규모 행렬 연산과 규칙적인 데이터 흐름에 유리하다. 반면 그래프 신경망, 추천 시스템, 분기 많은 추론처럼 데이터 접근 패턴이 들쭉날쭉하면, 스레드가 같은 명령 흐름을 공유하는 구조가 비효율을 드러낼 수 있다.

이때 문제의 핵심은 두 가지다. 첫째, 데이터가 외부 HBM (High Bandwidth Memory)이나 DRAM (Dynamic Random Access Memory)을 자주 왕복하면 전력과 지연시간이 급격히 커진다. 둘째, 조건 분기와 불규칙한 메모리 접근이 많아질수록, 단일한 실행 흐름에 묶인 병렬 구조는 활용률이 떨어진다. IPU는 이 두 병목을 동시에 줄이기 위해, 연산과 메모리를 잘게 분산하고 각 코어의 자율성을 높이는 방향을 택했다.

아래 그림은 IPU가 겨냥한 문제가 "연산 부족"보다 "데이터 이동과 실행 경직성"에 더 가까웠다는 점을 보여준다.

┌──────────────────────────────────────────────────────────────┐
│            IPU가 겨냥한 병목: 멀리서 가져오고 같이 묶여 움직임 │
├──────────────────────────────────────────────────────────────┤
│ AI 워크로드                                                  │
│   ├─ 가중치·활성값 재사용 필요                               │
│   ├─ 그래프 탐색·희소성 때문에 접근 위치가 불규칙             │
│   ├─ 외부 메모리 왕복이 많으면 지연과 전력 증가               │
│   └─ 같은 명령 흐름 강제가 분기 성능을 떨어뜨림              │
│                                                              │
│ 결론: 연산기 옆에 메모리를 붙이고, 더 유연한 병렬 구조 필요   │
└──────────────────────────────────────────────────────────────┘

즉 IPU는 "GPU보다 무조건 빠른 칩"이 아니라, 그래프형 AI 모델의 데이터 흐름을 하드웨어에 더 직접적으로 반영하려는 시도다. 이 관점을 잡아야 IPU를 단순 경쟁 제품이 아니라, 특정 병목을 겨냥한 도메인 특화 아키텍처로 이해할 수 있다.

📢 섹션 요약 비유: IPU는 창고에서 재료를 계속 가져오는 대형 주방을 더 크게 만드는 대신, 요리사마다 작은 냉장고를 하나씩 붙여 주고 각자 맡은 요리를 바로 하게 만든 방식과 같다.

Ⅱ. 아키텍처 및 핵심 원리

IPU의 핵심은 타일(Tile) 기반 구조다. 각 타일은 소형 프로세서와 전용 로컬 메모리를 함께 갖고 있으며, 칩 전체에는 이런 타일이 대량으로 배치된다. 대표 제품 기준으로는 1,000개가 넘는 타일과 총 수백 MB 규모의 분산 SRAM이 배치되며, 각 타일은 자기 메모리에 가까운 데이터를 우선 처리한다. 이는 "큰 공용 메모리를 두고 모두가 경쟁"하는 방식보다, "작은 메모리를 나눠 들고 필요한 순간만 교환"하는 방식에 가깝다.

실행 모델도 중요하다. IPU는 SIMT (Single Instruction Multiple Threads)보다 MIMD (Multiple Instruction Multiple Data)에 가까운 유연성을 강조한다. 즉 각 타일이 완전히 같은 명령 흐름에 묶이지 않고, 서로 다른 작업을 병렬로 수행할 수 있다. 또한 계산 단계와 데이터 교환 단계를 분리하는 BSP (Bulk Synchronous Parallel) 성격이 강해, 계산 중에는 로컬 메모리에 집중하고 동기화 시점에만 필요한 데이터를 주고받도록 설계된다.

구성 요소	역할	설계 포인트
타일 프로세서	독립적인 연산 수행	분기와 불규칙 워크로드 대응
로컬 SRAM	가중치·활성값·중간값 보관	외부 메모리 왕복 최소화
교환 네트워크	타일 간 데이터 전달	동기화 시점 집중 교환
그래프 컴파일러	모델을 타일 단위로 분해·배치	연산/통신 일정 최적화

아래 그림은 IPU가 데이터를 어떻게 처리하는지 보여준다.

┌──────────────────────────────────────────────────────────────┐
│            IPU 데이터 흐름: 로컬 계산 후 필요한 만큼만 교환    │
├──────────────────────────────────────────────────────────────┤
│ [Tile A]      [Tile B]      [Tile C]      [Tile D]           │
│  ALU+SRAM      ALU+SRAM      ALU+SRAM      ALU+SRAM          │
│     │             │             │             │              │
│     └────── 계산 단계: 각자 로컬 데이터 처리 ──────┘          │
│                           │                                  │
│                           ▼                                  │
│               동기화·교환 단계(Exchange Network)             │
│                           │                                  │
│                           ▼                                  │
│                 다음 계산 단계로 다시 분산 실행               │
└──────────────────────────────────────────────────────────────┘

이 구조의 장점은 분명하다. 로컬 메모리 활용이 높으면 메모리 벽(Memory Wall)을 줄일 수 있고, 타일별 독립성이 높으면 희소 행렬, 그래프 탐색, 조건 분기 처리에 유연하다. 반대로 한계도 있다. 모델이 너무 커서 온칩 메모리에 잘 들어가지 않으면 타일 간 통신과 다중 칩 분산 오버헤드가 커지고, 컴파일러가 작업을 잘게 배치하지 못하면 하드웨어 잠재력이 그대로 드러나지 않는다.

📢 섹션 요약 비유: IPU는 한 명의 큰 창고 관리자가 모두에게 재료를 나눠 주는 공장이 아니라, 작업자마다 공구함을 들고 있다가 필요할 때만 중앙 통로에서 부품을 교환하는 조립 라인과 같다.

Ⅲ. 비교 및 연결

IPU를 이해하려면 GPU, TPU (Tensor Processing Unit), 그리고 일반 NPU (Neural Processing Unit)와의 경계를 함께 봐야 한다. GPU는 매우 큰 처리량과 성숙한 생태계를 바탕으로 대규모 학습과 범용 AI 계산에서 강하다. TPU와 많은 NPU는 행렬·텐서 중심의 규칙적 연산을 시스톨릭 어레이(Systolic Array) 같은 구조로 밀어붙인다. 반면 IPU는 그래프 단위 작업 분해와 타일별 로컬 메모리 활용, 그리고 MIMD 성격의 유연한 병렬성을 더 앞세운다.

구분	GPU	TPU/NPU	IPU
주력 강점	대규모 병렬 처리, 성숙한 생태계	텐서 연산 전성비	그래프형·희소·분기 많은 연산 유연성
메모리 관점	대용량 외부 메모리 활용	데이터플로 기반 재사용	분산 로컬 메모리 중심
실행 성향	SIMT 중심	규칙적 데이터플로	MIMD + 그래프 배치 성향
대표 약점	불규칙 접근 시 효율 저하	비정형 연산 대응 한계	생태계·용량·컴파일 의존성

이 차이는 응용 분야와 바로 연결된다. 예를 들어 거대 언어 모델처럼 매우 큰 파라미터를 대량 배치로 학습하는 작업은 여전히 GPU가 유리한 경우가 많다. 반면 GNN (Graph Neural Network), 추천 시스템, 일부 과학 계산처럼 연결 구조가 복잡하고 활성화 경로가 고정되지 않는 작업은 IPU의 장점이 드러날 수 있다. 즉 IPU는 "AI 전용"이라는 큰 범주 안에서도, 어떤 AI를 겨냥했는지가 더 중요하다.

또한 IPU의 성패는 하드웨어 단품보다 Poplar 같은 그래프 컴파일러와 소프트웨어 스택에 크게 좌우된다. 타일 수가 많다는 사실만으로 성능이 나오지 않고, 모델 그래프를 얼마나 잘 분해해 타일과 메모리에 배치하느냐가 실제 효율을 결정한다. 이 점에서 IPU는 칩 그 자체보다 "그래프 컴파일 + 분산 메모리 + 동기화 모델"이 결합된 플랫폼으로 보는 편이 정확하다.

📢 섹션 요약 비유: GPU가 넓고 강한 고속도로라면, IPU는 골목이 많은 도시에서도 빠르게 움직이도록 설계된 촘촘한 도로망과 비슷하다. 길이 반듯하면 고속도로가 강하지만, 길이 복잡하면 촘촘한 도로망이 더 유리할 수 있다.

Ⅳ. 실무 적용 및 기술사 판단

실무에서 IPU 도입은 "새 가속기니까 더 빠르다"가 아니라 "내 워크로드가 IPU의 강점을 실제로 쓰는가"로 판단해야 한다. 첫 번째 판단 기준은 모델 구조다. 희소성, 그래프 탐색, 조건 분기, 작은 단위의 불규칙 계산이 많다면 검토 가치가 있다. 반대로 거대한 Dense Tensor 중심의 범용 학습 파이프라인이라면 GPU 생태계가 더 실용적일 가능성이 높다.

두 번째는 메모리 적합성이다. IPU는 로컬 SRAM 기반 구조라서 메모리 대역폭과 지연시간 면에서는 강점을 가질 수 있지만, 절대 용량은 HBM 기반 대형 GPU보다 작다. 따라서 모델 파라미터, 활성값, 배치 크기가 온칩 메모리와 타일 분할 전략 안에 자연스럽게 들어가야 한다. 이 조건이 깨지면, 통신과 분산 스케줄링 비용이 장점을 상쇄할 수 있다.

세 번째는 소프트웨어 준비도다. 프레임워크 연동, 연산자 지원 범위, 컴파일 시간, 디버깅 편의성, 운영 인력 경험이 부족하면 PoC (Proof of Concept) 단계는 인상적이어도 운영 단계에서 유지 비용이 크게 늘 수 있다. 기술사 관점에서는 성능 수치 하나보다 "워크로드 적합성 + 메모리 적합성 + 생태계 적합성"을 같이 보는 답안이 더 설계적이다.

실무 체크리스트

대상 모델이 그래프형·희소형·분기형 연산 비중이 높은가?
모델 크기와 배치 전략이 타일별 로컬 메모리에 무리 없이 분해되는가?
핵심 연산자가 IPU 컴파일러와 런타임에서 안정적으로 지원되는가?
단일 칩 성능보다 다중 칩 통신 비용까지 포함해 비교했는가?
연구 실험이 아니라 지속 운영 관점에서 개발자 생산성을 감당할 수 있는가?

대표 안티패턴

GPU 수급이 어렵다는 이유만으로 워크로드 분석 없이 대체재로 선택하는 방식
온칩 메모리 한계를 무시하고 초대형 모델을 그대로 이식하는 방식
컴파일러 호환성과 디버깅 비용을 검증하지 않고 PoC 결과만 확대 해석하는 방식

┌──────────────────────────────────────────────────────────────┐
│                 IPU 도입 판단의 핵심 분기                     │
├──────────────────────────────────────────────────────────────┤
│ 워크로드가 불규칙·그래프형인가? ─────┬─ No ─────▶ GPU/TPU 우선 검토 │
│                                      │                            │
│                                      └─ Yes                       │
│                                          │                        │
│ 온칩 메모리 분할이 가능한가? ────────┬─ No ─────▶ 분산 오버헤드 위험 │
│                                      │                            │
│                                      └─ Yes                       │
│                                          │                        │
│ 컴파일러·생태계 준비가 되었는가? ───┬─ No ─────▶ 운영 리스크 큼     │
│                                      └─ Yes ───▶ IPU 적합 가능      │
└──────────────────────────────────────────────────────────────┘

결론적으로 IPU는 특정 AI 구조를 겨냥한 정밀 도구다. 따라서 채택 기준은 "최신 가속기"가 아니라, "내 모델의 데이터 이동과 병렬성 모양이 이 칩과 맞는가"여야 한다.

📢 섹션 요약 비유: IPU는 아무 나무나 자르는 전기톱이 아니라, 결이 복잡한 재료를 정교하게 다듬는 특수 절삭기와 같다. 재료가 맞으면 탁월하지만, 용도가 다르면 일반 공구보다 불편할 수 있다.

Ⅴ. 기대효과 및 결론

IPU의 가장 큰 의미는 AI 가속기를 "연산기 더 많이 넣기" 경쟁에서 "데이터를 어디에 두고 어떻게 흐르게 할 것인가"의 문제로 다시 보게 만들었다는 점이다. 즉 성능은 단순 FLOPS (Floating Point Operations Per Second)보다 메모리 배치, 통신 패턴, 실행 모델의 조합에서 나온다는 사실을 선명하게 드러냈다. 이 관점은 이후 등장한 다양한 AI 가속기 설계에도 큰 영향을 주었다.

기대효과도 분명하다. 그래프형 워크로드에서는 불필요한 메모리 왕복을 줄이고, 분기 많은 계산에서 병렬 활용률을 높이며, 특정 도메인에서 GPU 대비 더 나은 전성비를 노릴 수 있다. 다만 한계 역시 명확하다. 거대한 모델 용량, 상대적으로 좁은 생태계, 컴파일러 의존성, 그리고 범용성 부족은 IPU 확산을 어렵게 만드는 요소다.

앞으로의 방향은 세 가지로 정리할 수 있다. 첫째, 희소성 활용과 그래프 최적화를 더 잘하는 컴파일러가 중요해진다. 둘째, 단일 칩 내부 메모리 한계를 보완하기 위한 칩 간 인터커넥트와 메모리 확장 기술이 중요해진다. 셋째, CPU·GPU·NPU·IPU가 각자 다른 구간을 맡는 이기종 컴퓨팅이 더 현실적인 해법이 된다.

따라서 IPU는 "GPU를 대체한 승자"보다, "AI 하드웨어 설계의 질문을 바꾼 실험"으로 기억하는 편이 정확하다. 어떤 워크로드는 큰 일괄 처리 장비가, 어떤 워크로드는 촘촘한 분산 메모리 구조가 더 잘 맞는다는 점을 보여준 사례이기 때문이다.

📢 섹션 요약 비유: IPU는 더 큰 트럭을 만든 것이 아니라, 복잡한 골목 배송에 맞춰 오토바이와 물류 거점을 새로 설계한 발상이라고 기억하면 된다.

📌 관련 개념 맵

개념	연결 포인트
그래프 컴파일러 (Graph Compiler)	모델을 타일 단위 작업과 통신 일정으로 분해해 IPU 성능을 좌우하는 핵심 소프트웨어
MIMD (Multiple Instruction Multiple Data)	타일별 독립 실행을 가능하게 해 분기와 불규칙 워크로드 대응력을 높이는 개념
BSP (Bulk Synchronous Parallel)	계산과 동기화·교환을 단계적으로 나누는 IPU 실행 철학
메모리 벽 (Memory Wall)	연산보다 데이터 이동이 비싸지는 문제로, IPU가 로컬 SRAM 확대를 통해 줄이려는 병목
GNN (Graph Neural Network)	IPU의 그래프 지향 구조가 장점을 보이기 쉬운 대표 AI 워크로드
이기종 컴퓨팅 (Heterogeneous Computing)	CPU·GPU·NPU·IPU를 함께 배치해 워크로드별 최적 장치를 선택하는 현대 시스템 전략

📈 관련 키워드 및 발전 흐름도

범용 CPU 중심 AI 실행
    │
    ▼
GPU (Graphics Processing Unit) 대규모 병렬 가속
    │
    ├─ 텐서 중심 최적화 → TPU/NPU 계열
    │
    └─ 그래프·희소성 최적화 → IPU 등장
                             │
                             ├─ 타일 기반 분산 SRAM
                             ├─ MIMD + BSP 실행 모델
                             └─ 그래프 컴파일러 중심 배치
                                     │
                                     ▼
                       이기종 AI 가속기 공존 전략

이 흐름은 AI 가속기가 하나의 정답으로 수렴하기보다, 데이터 구조와 메모리 병목에 따라 서로 다른 특화 방향으로 분화되고 있음을 보여준다.

👶 어린이를 위한 3줄 비유 설명

IPU는 큰 창고 하나를 쓰는 대신, 일하는 사람마다 작은 서랍을 하나씩 나눠 주는 컴퓨터예요.
그래서 복잡한 길을 따라가며 이것저것 찾아야 하는 문제를 풀 때 더 빠를 수 있어요.
하지만 서랍이 너무 작으면 큰 숙제를 한 번에 못 넣으니, 어떤 숙제에 쓸지 먼저 잘 골라야 해요.