378. 분산 메모리 시스템 (Distributed Memory)

핵심 인사이트 (3줄 요약)

1. 본질: 분산 메모리 시스템 (Distributed Memory System)은 각 노드가 자신만의 메모리를 독립적으로 가지고, 데이터 공유를 하드웨어 주소 참조가 아니라 네트워크 메시지로 수행하는 병렬 처리 구조다.
2. 가치: 메모리 버스와 캐시 일관성 범위를 노드 내부로 제한하므로, 단일 거대 장비보다 훨씬 큰 규모로 수평 확장 (Scale-Out) 할 수 있다.
3. 판단 포인트: 성능의 핵심은 CPU (Central Processing Unit) 개수보다 통신량 대비 계산량, 즉 얼마나 로컬 메모리에서 오래 계산하고 얼마나 적게 메시지를 주고받게 설계하느냐에 달려 있다.

Ⅰ. 개요 및 필요성

분산 메모리 시스템 (Distributed Memory System)은 여러 계산 노드가 서로 독립된 메모리 공간을 가진 채 협력하는 병렬 컴퓨팅 구조다. 한 노드의 CPU는 자기 노드의 RAM (Random Access Memory)만 직접 주소로 읽고 쓸 수 있으며, 다른 노드의 데이터는 반드시 네트워크를 통해 요청해야 한다. 즉, "모두가 한 메모리를 같이 보는 구조"가 아니라 "각자 자기 메모리를 갖고 필요할 때만 데이터를 교환하는 구조"다.

이 구조가 등장한 이유는 공유 메모리 (Shared Memory)가 편리하긴 하지만, 프로세서 수가 커질수록 메모리 버스 경쟁과 캐시 일관성 (Cache Coherence) 비용이 급격히 증가하기 때문이다. 수십 코어 수준까지는 하나의 큰 시스템 안에서 버틸 수 있어도, 수백·수천 노드 규모에서는 하나의 전역 메모리 관점을 유지하는 순간 하드웨어 복잡도가 폭증한다. 분산 메모리는 이 문제를 정면으로 받아들여, "직접 공유를 포기하고 명시적 통신으로 바꾸자"는 방향으로 확장성을 확보했다.

다시 말해 분산 메모리는 편의성을 희생하고 규모를 얻은 아키텍처다. 프로그래머는 더 이상 전역 변수 하나로 데이터를 넘길 수 없지만, 대신 슈퍼컴퓨터, 클러스터, 클라우드처럼 매우 큰 시스템을 현실적으로 구축할 수 있게 되었다. 그래서 이 구조는 고성능 컴퓨팅 (HPC, High Performance Computing), 빅데이터 처리, 대규모 서비스 백엔드의 기반이 된다.

┌──────────────────────────────────────────────────────────────────────┐
│         왜 분산 메모리가 필요한가: 공유의 편의보다 확장성이 중요     │
├───────────────────────┬──────────────────────────────────────────────┤
│ 공유 메모리           │ 분산 메모리                                 │
├───────────────────────┼──────────────────────────────────────────────┤
│ CPU 다수 ──▶ 공용 RAM │ Node A ─┐                                   │
│        └─▶ 같은 버스  │ Node B ─┼─▶ Network ─▶ 필요한 데이터만 교환 │
│ 병목: 버스·일관성     │ Node C ─┘                                   │
│ 강점: 프로그래밍 쉬움 │ 강점: 노드 수 확장 쉬움                     │
└───────────────────────┴──────────────────────────────────────────────┘

이 그림의 핵심은 병목 위치가 완전히 다르다는 점이다. 공유 메모리는 중앙 메모리 쪽이 막히고, 분산 메모리는 노드 간 통신이 성능 한계가 된다. 따라서 분산 메모리를 이해하는 출발점은 "메모리를 나눠서 확장성을 얻는 대신, 통신 설계를 성능의 중심 문제로 끌어들였다"는 사실이다.

• 📢 섹션 요약 비유: 공유 메모리는 모두가 같은 창고 선반을 쓰는 가게이고, 분산 메모리는 각 지점이 자기 창고를 가진 프랜차이즈다. 물건 꺼내기는 각 지점이 훨씬 빠르지만, 다른 지점 재고가 필요하면 택배를 보내야 한다.

Ⅱ. 아키텍처 및 핵심 원리

분산 메모리 시스템의 기본 단위는 노드다. 각 노드는 CPU, 로컬 메모리, 입출력 장치, 운영체제, 네트워크 인터페이스 카드 (NIC, Network Interface Card)를 갖춘 하나의 독립 컴퓨터처럼 동작한다. 노드 내부에서는 일반적인 Load/Store 명령으로 데이터를 다루지만, 노드 밖 데이터는 메시지 패싱 (Message Passing) 계층을 통해서만 접근한다.

대표적인 프로그래밍 모델은 메시지 패싱 인터페이스 (MPI, Message Passing Interface)다. 송신 노드는 send, 수신 노드는 receive 같은 호출로 데이터를 주고받고, 이 과정에서 데이터 복사, 네트워크 전송, 동기화 비용이 발생한다. 따라서 성능은 단순 연산 속도보다 데이터 분할 방식, 통신 빈도, 패킷 크기, 네트워크 지연 시간에 크게 좌우된다.

아래 그림은 분산 메모리에서 계산과 통신이 어떻게 번갈아 일어나는지 보여준다.

┌──────────────────────────────────────────────────────────────────────┐
│          분산 메모리의 실행 흐름: 계산은 로컬에서, 공유는 메시지로    │
├──────────────┬───────────────────────────┬───────────────────────────┤
│ Node A       │ Interconnect              │ Node B                    │
├──────────────┼───────────────────────────┼───────────────────────────┤
│ local calc   │                           │                           │
│ data A' 생성 │                           │                           │
│     │        │                           │                           │
│     ├─ MPI_Send(data A') ───────────────▶│ network receive           │
│     │        │                           │     │                     │
│ continue     │                           │ merge with local data B   │
│ local calc   │                           │     │                     │
│              │◀──────── MPI_Send(result) ┤ next local calc           │
└──────────────┴───────────────────────────┴───────────────────────────┘

여기서 중요한 것은 원격 데이터 접근이 메모리 읽기처럼 투명하지 않다는 점이다. 원격 데이터는 "값 하나 읽기"가 아니라 "메시지 하나 보내고 응답을 기다리는 작업"이 된다. 그래서 분산 메모리 알고리즘은 데이터를 가능한 한 미리 나눠 놓고, 각 노드가 오래 로컬에서 계산한 뒤, 꼭 필요할 때만 굵직한 메시지로 결과를 주고받도록 설계해야 한다.

정량적으로도 차이가 크다. 로컬 메모리 접근은 보통 나노초(ns)에서 수십 나노초 수준이지만, 네트워크 왕복은 마이크로초(µs) 이상으로 커진다. 이 격차 때문에 분산 메모리에서는 잘못 설계된 잦은 통신이 전체 성능을 거의 항상 지배한다.

• 📢 섹션 요약 비유: 자기 책상 서랍에서 연필 꺼내는 일은 로컬 메모리 접근이고, 다른 건물 친구에게 메신저 보내서 연필을 빌려 달라고 하는 일은 메시지 패싱이다. 둘 다 결국 연필을 얻는 행동이지만 걸리는 시간과 준비 과정이 완전히 다르다.

Ⅲ. 비교 및 연결

분산 메모리를 제대로 이해하려면 공유 메모리와의 경계를 분명히 봐야 한다. 공유 메모리는 전역 주소 공간 덕분에 코드를 짜기 쉽지만, 하드웨어가 일관성을 대신 유지해 주기 때문에 규모가 커질수록 비용이 폭증한다. 반대로 분산 메모리는 프로그래머가 통신을 직접 설계해야 하지만, 하드웨어 복잡도를 낮춘 채 더 큰 시스템으로 확장할 수 있다.

또한 분산 메모리는 다른 과목의 핵심 개념들과 강하게 연결된다. 운영체제 관점에서는 프로세스 간 통신 (IPC, Inter-Process Communication)과 스케줄링보다 더 큰 범위의 노드 간 협력이 되고, 네트워크 관점에서는 지연 시간과 패킷 손실이 곧 애플리케이션 성능 문제가 된다. 데이터베이스와 클라우드 관점에서는 샤딩 (Sharding), 복제 (Replication), 마이크로서비스 아키텍처 (MSA, Microservice Architecture)가 모두 "메모리와 상태를 한곳에 두지 않는다"는 분산 메모리 철학을 공유한다.

특히 고성능 컴퓨팅에서는 도메인 분할 (Domain Decomposition)이 핵심이다. 예를 들어 기상 시뮬레이션 격자를 여러 노드로 쪼개면 각 노드는 자기 구역만 계산하고, 경계면 정보만 교환한다. 반대로 모든 단계마다 전체 데이터를 서로 교환해야 하는 알고리즘은 분산 메모리에서 급격히 비효율적이 된다. 즉, 분산 메모리의 적합성은 "병렬화 가능성"보다 "통신을 얼마나 경계 정보 수준으로 줄일 수 있는가"에 달려 있다.

• 📢 섹션 요약 비유: 공유 메모리는 한 회의실 화이트보드에 모두가 같이 쓰는 방식이고, 분산 메모리는 팀별로 자기 보드를 갖고 회의 끝에 핵심 메모만 교환하는 방식이다. 사람이 많아질수록 뒤 방식이 훨씬 커지기 쉽지만, 팀 간 전달 내용을 잘 정리해야 한다.

Ⅳ. 실무 적용 및 기술사 판단

실무에서 분산 메모리를 선택해야 하는 대표 상황은 데이터나 요청량이 단일 장비의 메모리 용량과 대역폭을 넘어설 때다. 대규모 로그 분석, 머신러닝 학습 데이터 전처리, 과학기술 시뮬레이션, 대규모 웹 서비스의 수평 확장은 모두 "하나의 큰 메모리"보다 "여러 노드의 로컬 메모리 총합"이 더 현실적인 문제다. 이때 중요한 것은 노드 수를 늘리는 것 자체가 아니라, 늘어난 노드가 서로 덜 기다리게 만드는 구조를 만드는 일이다.

적용이 잘 맞는 경우

1. 독립 작업 비중이 큰 경우: 이미지 렌더링, 배치 분석, 맵리듀스 (MapReduce) 계열 작업처럼 각 노드가 긴 시간 독립 계산 가능할 때.
2. 데이터 샤딩이 명확한 경우: 사용자 ID, 지역, 시간 구간 등으로 데이터를 자연스럽게 분할할 수 있을 때.
3. 부분 장애를 허용해야 하는 경우: 몇 개 노드가 고장 나도 전체 서비스를 계속 유지해야 할 때.

회피하거나 주의할 경우

1. 강한 공유 상태가 필요한 경우: 초저지연 거래 엔진처럼 모든 작업이 같은 최신 상태를 즉시 봐야 하는 경우.
2. 미세한 동기화가 빈번한 경우: 아주 작은 데이터 교환이 단계마다 반복되는 경우.
3. 분산 트랜잭션 비용이 큰 경우: 여러 노드를 자주 묶어 원자성 (Atomicity)을 보장해야 하는 경우.

┌──────────────────────────────────────────────────────────────────────┐
│              분산 메모리 도입 판단: 계산량이 통신량보다 큰가?        │
├──────────────────────────────────────────────────────────────────────┤
│ 작업 분할 가능? ── 아니오 ──▶ 단일 시스템/공유 메모리 우선 검토     │
│        │                                                             │
│       예                                                             │
│        ▼                                                             │
│ 노드 간 데이터 교환 빈번? ── 예 ──▶ 통신 병목 위험, 재설계 필요      │
│        │                                                             │
│       아니오                                                         │
│        ▼                                                             │
│ 분산 메모리 적합: Scale-Out, 장애 격리, 총 메모리 확장 이점 큼       │
└──────────────────────────────────────────────────────────────────────┘

기술사 관점의 판단 문장은 분명해야 한다. 통신보다 계산이 훨씬 큰 워크로드면 분산 메모리를 채택하고, 공유 상태 일관성이 더 중요하면 무리하게 분산하지 않는다. 또한 도입 후에는 데이터 배치, 네트워크 토폴로지, 장애 복구, 재시도 정책, 데이터 지역성 최적화를 함께 설계해야 한다. 하드웨어만 분산시키고 소프트웨어는 계속 전역 락이나 빈번한 원격 호출에 의존하면, 분산 메모리의 장점을 스스로 지워 버리게 된다.

• 📢 섹션 요약 비유: 재택근무 팀에 일을 나눌 때 각자 하루 종일 자기 파트를 만들고 저녁에 결과만 합치면 효율적이다. 하지만 5분마다 서로 같은 문서를 동시에 고쳐야 하면, 차라리 한 사무실에서 같이 일하는 편이 낫다.

Ⅴ. 기대효과 및 결론

분산 메모리 시스템의 가장 큰 효과는 확장성이다. 메모리와 계산 자원을 노드 수만큼 늘릴 수 있어, 단일 장비의 슬롯 수나 버스 구조에 묶이지 않는다. 동시에 장애가 시스템 전체에 즉시 전파되지 않아, 고장 난 노드를 교체하거나 우회하면서 서비스를 지속하기도 쉽다.

하지만 이 장점은 자동으로 오지 않는다. 데이터 지역성, 작업 분해, 통신 패턴, 장애 복구 모델이 잘못 설계되면 노드가 많을수록 오히려 느려질 수 있다. 즉 분산 메모리는 "싸게 많이 붙이면 빨라지는 구조"가 아니라, "공유를 줄이는 방향으로 소프트웨어를 다시 설계할 때 비로소 힘을 내는 구조"다.

미래에는 원격 직접 메모리 접근 (RDMA, Remote Direct Memory Access), 컴퓨트 익스프레스 링크 (CXL, Compute Express Link), 고속 인터커넥트 기술이 통신 오버헤드를 더 줄여 줄 것이다. 다만 이런 기술이 발전해도 설계의 본질은 변하지 않는다. 분산 메모리는 여전히 "로컬에서 최대한 처리하고, 경계에서만 교환하라"는 철학으로 기억하는 것이 가장 정확하다.

• 📢 섹션 요약 비유: 좋은 분산 메모리 시스템은 큰 도시의 잘 짜인 물류망과 같다. 동네 안 배송은 각 물류센터가 처리하고, 정말 필요한 상자만 간선도로로 보내야 도시 전체가 막히지 않는다.

📌 관련 개념 맵

📈 관련 키워드 및 발전 흐름도

공유 메모리 확장 한계
    │
    ▼
분산 메모리 시스템 (Distributed Memory System)
    │
    ├─▶ 메시지 패싱 인터페이스 (MPI, Message Passing Interface)
    │
    ├─▶ 클러스터 · 슈퍼컴퓨팅 · 고성능 컴퓨팅 (HPC)
    │
    ├─▶ 샤딩 · 맵리듀스 (MapReduce) · 클라우드 Scale-Out
    │
    └─▶ RDMA · CXL 기반 저지연 인터커넥트 확장

이 흐름은 "공유의 한계 인식 → 분산 채택 → 통신 모델 정립 → 대규모 활용 → 저지연화"로 이어지는 진화를 보여준다.

👶 어린이를 위한 3줄 비유 설명

1. 분산 메모리는 친구들이 책상 하나를 같이 쓰지 않고, 각자 자기 책상에서 숙제하는 교실과 같아요.
2. 친구 공책 내용이 필요하면 몰래 보는 대신 쪽지를 보내서 받아야 해요.
3. 그래서 쪽지 보내는 일은 조금 번거롭지만, 학생이 아주 많아져도 책상이 서로 부딪치지 않아요.