424. NPU (Neural Processing Unit)

핵심 인사이트 (3줄 요약)

본질: NPU (Neural Processing Unit)는 인공지능 신경망의 핵심인 텐서 곱셈·누적 연산을 빠르고 적은 전력으로 처리하도록 설계된 도메인 특화 가속기다.

가치: 성능 차이는 단순 연산기 개수보다, 가중치와 활성값을 칩 안에 오래 머물게 해 외부 메모리 왕복을 줄이는 데이터플로 설계에서 나온다.

판단 포인트: NPU는 모든 AI (Artificial Intelligence) 작업의 만능 답이 아니라, 연산자 호환성·정밀도·메모리 용량·지연시간 목표가 맞을 때 가장 큰 효과를 내는 선택지다.

Ⅰ. 개요 및 필요성

NPU (Neural Processing Unit)는 딥러닝 모델의 추론과 일부 학습 연산을 높은 전성비로 수행하기 위해 만든 인공지능 전용 프로세서다. CPU (Central Processing Unit)는 분기, 예외 처리, 운영체제 제어에 강하고, GPU (Graphics Processing Unit)는 대량 병렬 처리에 강하지만, 둘 다 신경망에서 반복되는 행렬·텐서 계산만을 위해 만들어진 구조는 아니다. 그래서 같은 이미지 분류나 음성 인식 작업이라도, 범용 프로세서로 돌리면 전력과 메모리 이동 비용이 지나치게 커질 수 있다.

특히 스마트폰, 자율주행 보드, CCTV 엣지 장비처럼 전력 예산이 1~15W 수준에 묶인 환경에서는 "계산할 수 있는가"보다 "열과 배터리를 감당하며 계속 돌릴 수 있는가"가 더 중요하다. 클라우드에서도 마찬가지다. 사용자 요청 수가 커질수록 인공지능 추론 비용은 연산 자체보다 메모리 대역폭, 전력, 서버 집적도 문제로 번진다. NPU는 이 지점에서 범용성을 일부 포기하고, 자주 쓰는 신경망 연산 경로를 하드웨어로 굳혀 비용 구조를 바꾸려는 시도다.

아래 그림은 NPU가 등장한 배경이 "더 똑똑한 코어"가 아니라 "같은 AI 연산을 덜 움직이며 처리하려는 요구"였음을 보여준다.

┌──────────────────────────────────────────────────────────────┐
│            NPU가 필요한 이유: 계산보다 이동이 더 비싸다      │
├──────────────────────────────────────────────────────────────┤
│ AI 모델 실행                                                  │
│      │                                                        │
│      ├─ 곱셈·누적 연산은 매우 많이 반복됨                     │
│      ├─ 같은 가중치와 활성값을 여러 번 재사용함               │
│      ├─ 외부 메모리 왕복이 많아지면 전력·지연이 급증함         │
│      └─ 엣지 장비는 발열·배터리 한계가 엄격함                 │
│                                                               │
│ 결론: 범용 제어보다 텐서 연산과 데이터 재사용에 특화 필요     │
└──────────────────────────────────────────────────────────────┘

즉 NPU의 출발점은 "CPU보다 빠른 칩"이 아니라, "신경망이 실제로 자주 하는 일만 남긴 칩"이다. 이 관점을 잡아야 NPU를 GPU의 하위 호환품이 아니라, 목적 함수가 다른 아키텍처로 이해할 수 있다.

📢 섹션 요약 비유: NPU는 모든 요리를 다 하는 주방장이 아니라, 하루 종일 같은 메뉴를 가장 빠르고 적은 불로 만들어야 하는 급식 전용 조리 라인과 같다.

Ⅱ. 아키텍처 및 핵심 원리

NPU의 핵심은 MAC (Multiply-Accumulate) 연산을 대량으로 배치하고, 데이터를 가능한 한 칩 내부에 머물게 만드는 것이다. 이를 위해 보통 PE (Processing Element) 배열, 온칩 SRAM (Static Random Access Memory), DMA (Direct Memory Access) 엔진, 저정밀 연산기, 그리고 연산 스케줄을 정하는 컴파일러/런타임이 함께 묶인다. 중요한 것은 연산기 수보다도 어떤 데이터를 고정해 두고 재사용하느냐는 데이터플로 전략이다. 대표적으로 가중치를 고정하는 Weight Stationary, 출력을 누적해 두는 Output Stationary 같은 방식이 쓰인다.

또한 NPU는 FP32 (32-bit Floating Point) 중심의 범용 계산보다 INT8 (8-bit Integer), FP16 (16-bit Floating Point), BF16 (Brain Floating Point 16)처럼 더 작은 정밀도에 최적화되는 경우가 많다. 신경망은 일정 수준의 오차를 허용하는 대신 처리량과 전력 효율을 크게 얻을 수 있기 때문이다. 결국 NPU 성능은 "초당 몇 회 계산했는가"보다 "얼마나 적은 DRAM (Dynamic Random Access Memory) 접근으로 계산했는가"에 더 크게 좌우된다.

구성 요소	역할	설계 포인트
PE 배열	곱셈·누적 연산 병렬 수행	활용률이 높게 타일링되는가
온칩 SRAM	가중치·활성값 임시 저장	DRAM 접근을 얼마나 줄이는가
DMA 엔진	메모리와 연산 블록 사이 전송	연산과 전송을 겹칠 수 있는가
저정밀 연산기	INT8, FP16, BF16 처리	정확도 손실 대비 전력 이득이 충분한가
런타임/컴파일러	연산자 배치와 스케줄링	미지원 연산 폴백을 줄이는가

아래 그림은 NPU 내부에서 데이터가 어떻게 이동하며, 어디서 병목을 줄이려는지 보여준다.

┌──────────────────────────────────────────────────────────────┐
│              NPU 내부 데이터 경로: 밖으로 덜 나갈수록 유리     │
├──────────────────────────────────────────────────────────────┤
│ DRAM ──▶ DMA ──▶ 온칩 SRAM ──▶ PE 배열 ──▶ 누적 버퍼 ──▶ 출력  │
│                    │               │                           │
│                    │               ├─ 가중치·활성값 재사용      │
│                    │               └─ MAC 연산 대량 병렬 수행   │
│                    │                                           │
│                    └─ 자주 쓰는 데이터는 칩 안에 유지          │
│                                                               │
│ 핵심: DRAM 왕복 최소화 + PE 활용률 극대화                     │
└──────────────────────────────────────────────────────────────┘

이 그림에서 가장 중요한 부분은 PE 배열보다 그 앞의 온칩 SRAM이다. 많은 경우 계산 자체보다 외부 메모리 접근 에너지가 훨씬 비싸므로, NPU는 "더 많이 계산"보다 "덜 가져오고 더 오래 재사용"에 최적화된다. 그래서 모델이 NPU에 잘 맞으려면 연산 모양이 규칙적이어야 하고, 타일링과 버퍼 크기가 모델 구조와 잘 맞아야 한다.

📢 섹션 요약 비유: NPU는 창고에서 재료를 한 번 가져오면 조리대 위에 놓고 여러 접시를 연달아 만드는 주방과 같다. 접시마다 창고를 다시 오가면 시간이 아니라 이동이 병목이 된다.

Ⅲ. 비교 및 연결

NPU를 이해하려면 CPU, GPU, TPU (Tensor Processing Unit)와의 경계를 함께 봐야 한다. CPU는 범용 제어와 낮은 지연에, GPU는 대규모 병렬 처리와 높은 처리량에, NPU는 신경망 전용 연산과 전성비에 초점을 맞춘다. TPU는 그중에서도 구글 계열의 대규모 텐서 처리 구조를 대표하는 NPU의 한 계열로 볼 수 있다.

구분	CPU	GPU	NPU
최우선 목표	범용성, 제어, 지연시간	처리량, 대량 병렬	AI 전용 연산의 전성비
잘하는 작업	OS, DB, 분기 많은 코드	렌더링, 학습, 병렬 커널	추론, 저전력 AI, 반복적 텐서 연산
대표 강점	유연성	높은 병렬 처리량	낮은 전력, 낮은 지연, 온디바이스 적합
대표 약점	텐서 처리 비효율	전력 소모, 메모리 이동 비용	연산자 호환성, 범용성 부족

이 차이는 시스템 설계에도 직접 연결된다. 예를 들어 스마트폰 SoC (System on Chip)에서는 CPU가 앱 제어와 스케줄링을 맡고, GPU가 그래픽과 일부 병렬 작업을 맡으며, NPU가 카메라 보정·음성 인식·번역 같은 AI 추론을 맡는다. 데이터센터에서는 GPU가 대규모 학습의 주력인 반면, NPU는 반복 요청이 많은 추론 서비스에서 비용 절감 카드가 된다. 결국 NPU는 기존 프로세서를 대체하는 것이 아니라, 이기종 컴퓨팅 안에서 AI 구간만 따로 떼어 최적화하는 방식이다.

또한 NPU의 성패는 하드웨어만으로 결정되지 않는다. 양자화 (Quantization), 가지치기 (Pruning), 연산자 융합 (Operator Fusion), 그래프 컴파일 같은 소프트웨어 기법이 함께 붙어야 한다. 하드웨어가 INT8에 강해도 모델이 FP32 중심이면 이점을 살리기 어렵고, 연산자 하나가 미지원이면 CPU 폴백으로 전체 지연이 커질 수 있다. 즉 NPU는 하드웨어 단품보다 "모델 구조 + 컴파일러 + 런타임"의 묶음으로 봐야 한다.

📢 섹션 요약 비유: CPU가 만능 사무직, GPU가 대형 생산 라인이라면, NPU는 정해진 제품을 가장 싸고 빠르게 찍어내는 전용 자동화 설비와 같다.

Ⅳ. 실무 적용 및 기술사 판단

실무에서 NPU 도입 여부는 단순히 TOPS (Tera Operations Per Second) 숫자를 보고 정할 문제가 아니다. 먼저 워크로드가 추론 중심인지, 응답 지연 목표가 몇 ms인지, 전력 예산이 얼마나 빡빡한지, 그리고 사용하는 프레임워크가 해당 NPU 드라이버와 연동되는지를 확인해야 한다. 예를 들어 모바일 카메라, 음성 비서, 차량용 객체 검출처럼 항상 켜져 있고 즉시 반응해야 하는 작업은 NPU 적합성이 높다. 반대로 모델 구조가 자주 바뀌고 맞춤 연산자가 많은 연구 단계라면 GPU가 더 낫다.

가장 흔한 실패 원인은 두 가지다. 첫째, NPU가 지원하지 않는 연산자나 정밀도를 그대로 넣어 CPU 또는 GPU로 폴백되는 경우다. 둘째, 모델 크기가 온칩 버퍼를 넘어서 DRAM 접근이 급증하는 경우다. 이때는 이론상 NPU를 쓴다 해도 실제로는 데이터 이동과 컨텍스트 전환 때문에 지연이 악화될 수 있다.

실무 체크리스트

대상 모델이 INT8 또는 FP16으로 안정적으로 양자화되는가?
핵심 연산자(합성곱, GEMM (General Matrix Multiply), Attention 등)가 해당 NPU에서 네이티브 지원되는가?
배치 크기와 텐서 형상이 NPU 타일 구조에 맞는가?
CPU↔NPU 폴백 구간 없이 한 번에 실행되는 비율이 높은가?
목표가 최대 처리량인지, 배터리·발열을 포함한 서비스 지속성인지 명확한가?

대표 안티패턴

학습용 대형 모델을 거의 수정 없이 그대로 엣지 NPU에 이식하는 방식
지원 연산자 확인 없이 최신 커스텀 레이어를 넣는 방식
TOPS 수치만 보고 메모리 용량, 대역폭, 소프트웨어 스택을 무시하는 방식
NPU 오프로딩 후에도 전처리·후처리 병목을 CPU에 남겨 전체 이득을 잃는 설계

┌──────────────────────────────────────────────────────────────┐
│                 NPU 도입 판단의 실무 분기점                  │
├──────────────────────────────────────────────────────────────┤
│ 추론 중심 워크로드인가? ───────┬─ No ───────────────▶ GPU/CPU 우선 │
│                                │                                  │
│                                └─ Yes                             │
│                                     │                             │
│ 연산자·정밀도 호환되는가? ────┬─ No ───────────────▶ 폴백 위험 큼  │
│                                │                                  │
│                                └─ Yes                             │
│                                     │                             │
│ 전력·지연 목표가 중요한가? ───┬─ Yes ──────────────▶ NPU 적합     │
│                                └─ No ───────────────▶ 비용 비교 후 결정 │
└──────────────────────────────────────────────────────────────┘

기술사 관점에서 기억할 문장은 명확하다. NPU는 "AI라서 무조건 채택"이 아니라, 연산 규칙성·메모리 적합성·소프트웨어 호환성이 맞을 때만 구조적 우위를 만드는 가속기다. 따라서 설계 판단은 칩 이름보다 워크로드의 모양에서 출발해야 한다.

📢 섹션 요약 비유: NPU는 규격이 맞는 상자를 빠르게 분류하는 자동 택배 설비와 같아서, 상자 모양이 표준이면 최고지만 특이한 짐이 섞이면 오히려 사람이 다시 손으로 분류해야 한다.

Ⅴ. 기대효과 및 결론

NPU의 가장 큰 효과는 인공지능 연산을 "가능한가"의 문제에서 "지속 가능하게 운영할 수 있는가"의 문제로 바꿨다는 점이다. 덕분에 스마트폰의 실시간 번역, 카메라 장면 인식, 차량의 주변 객체 분석, 공장 엣지 장비의 이상 탐지처럼 항상 켜져 있어야 하는 기능이 현실화되었다. 클라우드에서도 반복 추론 서비스의 전력비와 서버당 처리량을 개선해 총소유비용을 낮추는 데 기여한다.

하지만 한계도 분명하다. NPU는 범용성이 낮고, 모델 변화 속도가 빠를수록 하드웨어 특화의 수명이 짧아질 수 있다. 대형 생성형 인공지능처럼 메모리 요구량이 큰 영역에서는 NPU만으로 해결되지 않고, 고대역폭 메모리, 인터커넥트, 소프트웨어 런타임의 동반 진화가 필요하다. 즉 NPU는 독립 영웅이 아니라, 이기종 시스템 안에서 가장 반복적이고 비용이 큰 AI 구간을 정밀하게 잘라내는 도구로 기억하는 편이 정확하다.

앞으로의 방향은 세 가지로 정리할 수 있다. 첫째, 더 낮은 정밀도와 희소성 활용으로 같은 전력에서 더 많은 추론을 처리하는 방향이다. 둘째, CPU·GPU·NPU 간 메모리 공유를 강화해 오프로딩 비용을 줄이는 방향이다. 셋째, 컴파일러가 모델을 자동으로 분해해 가장 적합한 연산 장치에 배치하는 소프트웨어 통합이 더 중요해진다.

📢 섹션 요약 비유: NPU는 컴퓨터 안에 새로 들어온 만능 두뇌가 아니라, 반복 숙제를 대신 맡아 전체 팀의 시간과 체력을 아껴 주는 전문 조교라고 기억하면 된다.

📌 관련 개념 맵

개념	연결 포인트
MAC (Multiply-Accumulate)	신경망의 기본 곱셈·누적 연산으로 NPU의 핵심 처리 대상
시스톨릭 어레이 (Systolic Array)	PE 배열에서 데이터를 흘려보내며 재사용도를 높이는 대표 구조
양자화 (Quantization)	NPU가 선호하는 저정밀 연산 형식에 모델을 맞추는 기법
오프로딩 (Offloading)	CPU나 GPU가 하던 AI 구간을 NPU로 넘겨 처리하는 방식
온디바이스 AI (On-Device AI)	클라우드가 아닌 기기 내부에서 NPU로 추론을 수행하는 활용 형태
이기종 컴퓨팅 (Heterogeneous Computing)	CPU·GPU·NPU가 역할을 나누어 함께 동작하는 시스템 구조

📈 관련 키워드 및 발전 흐름도

범용 프로세서 기반 AI 실행
    │
    ▼
GPU (Graphics Processing Unit) 병렬 가속
    │
    ▼
NPU (Neural Processing Unit) 등장
    │
    ├─ 시스톨릭 어레이 · 저정밀 연산
    ├─ 양자화 · 연산자 융합 · 그래프 컴파일
    └─ 온디바이스 AI · 엣지 추론 확산
            │
            ▼
CPU·GPU·NPU 통합 이기종 컴퓨팅

이 흐름은 AI 연산이 범용 하드웨어에서 출발해, 병렬 처리 강화와 도메인 특화를 거쳐, 다시 시스템 통합 단계로 확장되는 방향을 보여준다.

👶 어린이를 위한 3줄 비유 설명

NPU는 컴퓨터 안에서 인공지능 숙제만 아주 빨리 푸는 특별반 친구예요.
이 친구는 다른 과목은 잘 못하지만, 같은 계산을 여러 번 해야 할 때는 힘도 적게 쓰고 엄청 빨라요.
그래서 휴대폰이 사진 속 얼굴을 바로 찾거나 내 말을 바로 알아듣는 데 큰 도움을 준답니다.