370. SIMD (단일 명령어 다중 데이터)

핵심 인사이트 (3줄 요약)

1. 본질: SIMD (Single Instruction Multiple Data)는 하나의 명령을 여러 데이터 조각에 동시에 적용해, 제어 오버헤드보다 데이터 처리량을 우선 극대화하는 병렬 구조다.
2. 가치: 픽셀 보정, 행렬 연산, 신호 처리처럼 같은 계산을 대량 반복하는 작업에서는 명령어 인출·해독 비용을 줄이고 전력 대비 처리량을 크게 높인다.
3. 판단 포인트: SIMD는 "모두 같은 동작을 할 수 있는가"가 성패를 가른다. 분기와 불규칙 메모리 접근이 많아지면 넓은 연산기가 있어도 효율이 급격히 떨어진다.

Ⅰ. 개요 및 필요성

SIMD (Single Instruction Multiple Data)는 플린의 분류법 (Flynn's Taxonomy)에서 하나의 명령어 흐름으로 여러 데이터 흐름을 동시에 처리하는 구조를 뜻한다. 핵심은 연산기 수를 늘리는 것 자체가 아니라, 같은 연산을 반복하는 데이터 집합을 한 번에 묶어 처리하는 데 있다. 즉 SIMD는 "명령을 여러 번 읽지 말고, 한 번 읽은 명령을 데이터 여러 개에 퍼뜨리자"는 발상에서 출발한다.

이 구조가 필요해진 이유는 멀티미디어와 과학 계산이 공통적으로 반복적이고 규칙적인 수치 연산을 대량 요구하기 때문이다. 예를 들어 밝기 보정은 수백만 개 픽셀에 같은 덧셈이나 곱셈을 적용하고, 선형대수 계산은 긴 벡터와 행렬에 같은 연산 패턴을 반복한다. 이런 작업을 단일 명령어 단일 데이터 (SISD, Single Instruction Single Data) 방식으로 처리하면 같은 명령어를 계속 다시 가져오고 해독해야 하므로, 프론트엔드 오버헤드가 커지고 처리량이 제한된다.

아래 그림은 왜 SIMD가 필요한지, SISD와 비교해 직관적으로 보여준다.

┌──────────────────────────────────────────────────────────────┐
│          같은 덧셈 4회를 처리하는 방식의 차이                │
├──────────────────────────────┬───────────────────────────────┤
│ SISD                         │ SIMD                          │
│ Add A0,B0                    │ Vector Add A0~A3, B0~B3      │
│ Add A1,B1                    │ ├─ Lane0: A0+B0              │
│ Add A2,B2                    │ ├─ Lane1: A1+B1              │
│ Add A3,B3                    │ ├─ Lane2: A2+B2              │
│ 명령 4회 인출·해독           │ └─ Lane3: A3+B3              │
│ 데이터 4개 순차 처리         │ 명령 1회 인출·해독           │
└──────────────────────────────┴───────────────────────────────┘

중요한 점은 SIMD가 지연시간 (Latency)보다 처리량 (Throughput)을 개선하는 데 강하다는 것이다. 한 데이터의 응답 시간을 극단적으로 줄이는 구조라기보다, 같은 계산을 묶어서 전체 작업 완료 시간을 줄이는 구조에 가깝다. 그래서 SIMD는 범용 제어 로직이 복잡한 프로그램 전체를 대체하기보다, 반복 연산이 몰린 구간을 가속하는 용도로 가장 큰 효과를 낸다.

• 📢 섹션 요약 비유: SIMD는 선생님이 학생 한 명씩 불러 숙제를 확인하는 방식이 아니라, "모두 3번 줄을 동시에 읽으세요"라고 말해 한 번에 전체 반을 움직이는 방식과 같다.

Ⅱ. 아키텍처 및 핵심 원리

SIMD를 구현하려면 하나의 제어 유닛 (Control Unit)이 벡터 명령을 해독하고, 그 명령을 여러 연산 레인 (Lane)에 동시에 전달할 수 있어야 한다. 각 레인은 긴 벡터 레지스터 (Vector Register)에서 자기 구간의 데이터를 꺼내 같은 연산을 수행한다. 예를 들어 256비트 레지스터에 32비트 정수 8개가 들어 있으면, 한 번의 벡터 덧셈 명령이 8개 덧셈으로 분해되어 동시에 실행된다.

이 그림은 SIMD 내부에서 명령과 데이터가 어떻게 퍼지는지 보여준다.

┌──────────────────────────────────────────────────────────────┐
│                 SIMD 데이터 경로와 실행 구조                 │
├──────────────────────────────────────────────────────────────┤
│                 Vector Instruction Decode                    │
│                            │                                 │
│                            ▼                                 │
│                    [ Control Unit ]                          │
│                            │ broadcast                       │
│        ┌──────────────┬────┴────┬──────────────┐             │
│        ▼              ▼         ▼              ▼             │
│    [ Lane 0 ]     [ Lane 1 ] [ Lane 2 ]     [ Lane 3 ]      │
│      A0,B0          A1,B1      A2,B2          A3,B3          │
│        │              │         │              │             │
│        └──────┬───────┴────┬────┴───────┬──────┘             │
│               ▼            ▼            ▼                    │
│            Result0      Result1      Result2 ...            │
└──────────────────────────────────────────────────────────────┘

SIMD 효율을 결정하는 첫 번째 조건은 데이터 배치다. 같은 속성끼리 연속적으로 모여 있으면 한 번의 로드로 여러 값을 가져올 수 있지만, 구조체가 뒤섞인 메모리 배치에서는 필요한 값만 골라 모으느라 추가 셔플과 로드가 늘어난다. 그래서 데이터 병렬 최적화에서는 배열의 구조체 (AoS, Array of Structures)보다 구조체의 배열 (SoA, Structure of Arrays)이 더 유리한 경우가 많다.

두 번째 조건은 분기 발산이다. SIMD는 한 명령으로 모두를 움직이기 때문에 일부 데이터는 if 경로, 일부는 else 경로로 가야 하면 두 경로를 사실상 순차적으로 처리하게 된다. 이때 마스크로 일부 레인을 끄고 실행하므로 결과는 맞지만, 동시에 놀고 있는 레인이 많아져 하드웨어 활용률이 떨어진다. 즉 SIMD의 성능은 레인 수보다 "레인들이 얼마나 같은 길로 움직이느냐"에 더 크게 좌우된다.

• 📢 섹션 요약 비유: SIMD는 8칸짜리 토스터와 같다. 빵 8장을 한 번에 굽는 데는 뛰어나지만, 절반은 식빵이고 절반은 냉동피자라면 같은 설정으로 처리하기 어려워 효율이 떨어진다.

Ⅲ. 비교 및 연결

SIMD의 경계를 이해하려면 SISD, 다중 명령어 다중 데이터 (MIMD, Multiple Instruction Multiple Data), 그리고 그래픽처리장치에서 자주 언급되는 SIMT (Single Instruction Multiple Threads)와 비교해야 한다. SISD는 명령 하나가 데이터 하나를 순차 처리하므로 제어가 유연하지만, 같은 작업을 반복할 때 프론트엔드 부담이 크다. 반대로 SIMD는 제어 유연성을 일부 희생하고 데이터 병렬성을 극대화한다.

현대 중앙처리장치 (CPU, Central Processing Unit)는 큰 틀에서 MIMD처럼 여러 코어가 독립적으로 움직이지만, 각 코어 내부에는 SIMD 확장 명령어가 들어 있다. 즉 시스템 수준에서는 여러 스레드가 다른 일을 수행하고, 스레드 내부에서는 같은 연산을 여러 데이터에 동시에 적용하는 식으로 작업 병렬성과 데이터 병렬성이 결합된다. 이 때문에 SIMD는 독립된 분류 항목이면서도, 실제 시스템에서는 MIMD 내부의 가속 단위로 함께 쓰인다.

그래픽처리장치 (GPU, Graphics Processing Unit)에서 흔히 말하는 SIMT는 프로그래머에게는 여러 스레드가 각자 실행되는 것처럼 보이지만, 하드웨어는 유사한 스레드를 묶어 SIMD와 비슷하게 실행한다는 점에서 연결된다. 따라서 SIMD를 이해하면 왜 GPU가 행렬 곱셈에는 강하고, 분기가 많은 알고리즘에는 기대보다 덜 효율적인지도 자연스럽게 설명된다. 결국 비교의 핵심은 "몇 개의 코어가 있는가"보다 명령을 어떻게 공유하는가에 있다.

• 📢 섹션 요약 비유: SISD는 기사 한 명이 승객 한 명을 태우는 택시이고, SIMD는 같은 목적지로 가는 사람들을 태우는 셔틀버스이며, MIMD는 여러 기사가 각자 다른 승객과 다른 길을 가는 택시 fleet와 같다.

Ⅳ. 실무 적용 및 기술사 판단

실무에서 SIMD 도입 여부는 "루프가 존재하는가"가 아니라 같은 연산이 연속 데이터에 반복되는가로 판단해야 한다. 영상 필터, 오디오 신호 처리, 압축·암호화, 머신러닝 추론의 선형대수 구간은 SIMD 친화적이다. 반대로 그래프 탐색, 복잡한 상태기계, 요청마다 경로가 달라지는 비즈니스 로직은 분기와 랜덤 접근이 많아 SIMD 효과가 제한적이다.

실무 판단 체크리스트

1. 동일한 연산을 수십~수천 개 데이터 원소에 반복하는가?
2. 데이터가 연속 메모리에 정렬되어 있어 한 번에 넓게 읽기 쉬운가?
3. 조건문을 마스킹으로 바꿔도 의미가 유지되는가?
4. 병목이 연산 부족인가, 아니면 이미 메모리 대역폭 한계인가?
5. 컴파일러 자동 벡터화만으로 충분한가, 아니면 인트린식 (Intrinsic) 수준 제어가 필요한가?

채택이 유리한 경우

• 이미지 밝기·색상 보정처럼 각 원소에 같은 산술 연산을 반복할 때
• 대규모 배열 합산, 내적, 행렬 곱셈처럼 루프 구조가 규칙적일 때
• CPU 내부 AVX나 ARM NEON으로 추가 하드웨어 없이 처리량을 높일 수 있을 때

회피하거나 재설계해야 하는 경우

• 레코드 구조가 뒤섞여 필요한 필드만 모으기 어려운 경우
• 루프 내부 if, break, 예외 경로가 많아 레인 발산이 심한 경우
• 연산보다 메모리 로드가 느려 넓은 연산기를 채우지 못하는 경우

기술사 관점에서는 "SIMD는 빠르다"가 아니라, 데이터 구조·분기 패턴·메모리 대역폭까지 함께 설계해야 진짜 성능이 나온다고 답해야 한다. 예를 들어 벡터 폭이 8개라 해도 8개를 꾸준히 공급하지 못하면 이론 성능은 의미가 없다. 반대로 데이터 구조를 SoA로 바꾸고 분기를 마스크 처리로 단순화하면, 같은 CPU에서도 체감 성능이 크게 달라질 수 있다.

• 📢 섹션 요약 비유: SIMD 최적화는 넓은 고속도로를 까는 일과 비슷하다. 차선만 넓혀 놓고 진입로가 엉키거나 차량 종류가 제각각이면 정체는 그대로지만, 차종과 진입 흐름을 맞추면 한꺼번에 많은 차가 빠르게 지나간다.

Ⅴ. 기대효과 및 결론

SIMD의 가장 큰 효과는 제어 오버헤드를 줄이면서 같은 시간에 더 많은 데이터를 처리하게 만드는 데 있다. 그 결과 멀티미디어, 과학 계산, 인공지능 추론처럼 데이터 병렬성이 높은 분야에서 성능 향상과 전력 효율 개선을 동시에 기대할 수 있다. 특히 명령어를 반복 해독하지 않고 벡터 단위로 계산하기 때문에, 같은 실리콘 면적에서도 높은 처리량을 얻기 쉽다.

하지만 SIMD는 만능이 아니다. 분기와 불규칙 접근이 많은 문제에서는 유휴 레인이 늘어나고, 벡터 폭이 커질수록 메모리 정렬과 대역폭 요구도 더 커진다. 따라서 SIMD의 성공 조건은 "넓은 연산기 보유"가 아니라 규칙적인 데이터 흐름 확보다.

앞으로의 확장은 단순 벡터 폭 증가만이 아니라, 스케일러블 벡터 확장 (SVE, Scalable Vector Extension), 행렬 확장, 텐서 코어처럼 더 큰 데이터 블록을 직접 다루는 방향으로 이어진다. 그럼에도 기억해야 할 본질은 같다. SIMD는 결국 "같은 일을 많이 해야 할 때, 제어를 공유해 처리량을 끌어올리는 구조"라는 점이다.

• 📢 섹션 요약 비유: SIMD는 한 번에 여러 장을 복사하는 복사기와 같다. 같은 문서를 많이 찍을 때는 엄청 빠르지만, 장마다 내용과 설정이 모두 다르면 오히려 중간 조정 시간이 늘어난다.

📌 관련 개념 맵

📈 관련 키워드 및 발전 흐름도

SISD (Single Instruction Single Data)
    │  순차 처리의 기본 모델
    ▼
SIMD (Single Instruction Multiple Data)
    │  반복 계산의 데이터 병렬화
    ▼
벡터 확장 명령어
SSE → AVX → AVX-512
    │  범용 CPU 내부 가속
    ▼
GPU · SIMT (Single Instruction Multiple Threads)
    │  대규모 데이터 병렬 실행
    ▼
SVE · 텐서/행렬 가속기

이 흐름은 "순차 처리 → 벡터 병렬화 → 범용 CPU 확장 → 대규모 병렬 가속 → 행렬 중심 확장"으로 SIMD 계열 기술이 넓어지는 방향을 보여준다.

👶 어린이를 위한 3줄 비유 설명

1. SIMD는 선생님이 같은 문제를 학생 여러 명에게 한꺼번에 풀게 하는 방식이에요.
2. 모두가 같은 문제를 풀면 아주 빠르지만, 어떤 친구는 덧셈을 하고 어떤 친구는 그림을 그려야 하면 속도가 떨어져요.
3. 그래서 SIMD는 "같은 일을 많이 할 때" 가장 신나는 컴퓨터 도우미예요.