메모리 KSM (Kernel Samepage Merging) 가상머신 간 중복 메모리 통합 절약

핵심 인사이트 (3줄 요약)

본질: KSM (Kernel Samepage Merging)은 리눅스 커널이 백그라운드 스레드(ksmd)를 돌려 메모리의 물리 페이지들을 주기적으로 스캔하고, 내용이 완전히 똑같은 페이지들을 찾아내어 하나의 물리 페이지로 통합(Merging)하는 메모리 중복 제거(Deduplication) 기술이다.

작동 원리: 통합된 단일 물리 페이지에는 Copy-on-Write (COW) 속성이 부여된다. 여러 프로세스나 가상머신(VM)이 이 공유 페이지를 읽기만 할 때는 문제가 없지만, 어느 한쪽이 내용을 수정(Write)하려 하면 그 순간 페이지 폴트가 발생하며 자신만의 새로운 페이지로 복제된다.

가치: 동일한 OS(예: 수백 대의 Windows 10)나 라이브러리를 사용하는 VDI(데스크톱 가상화) 환경에서 KSM을 켜면 메모리 사용량을 30~50% 이상 절감할 수 있어, 클라우드 서버의 가상머신 집적도(Density)와 오버커밋(Overcommit) 한계를 극대화하는 핵심 경제성 엔진으로 작용한다.

Ⅰ. 개요 및 필요성 (Context & Necessity)

개념: KSM은 리눅스 커널 2.6.32에 처음 도입된 기능으로, 시스템의 램(RAM)을 효율적으로 사용하기 위해 서로 다른 프로세스나 가상머신(KVM)이 사용하는 동일한 내용의 메모리 페이지(일반적으로 4KB 크기)를 찾아내어 물리 메모리 1개로 합치고 공유하게 만드는 기술이다.
필요성 (가상화 환경의 메모리 낭비 심각성):
- 하이퍼바이저 한 대에 똑같은 운영체제(예: 우분투 리눅스 20.04)를 가진 VM 100대를 띄운다고 가정하자.
- 이 100대의 VM은 메모리에 각각 커널 코드, libc 라이브러리, 빈 페이지(Zero Page) 등을 중복해서 적재한다. 이로 인해 물리 메모리는 순식간에 낭비되고 고갈된다. CPU는 시분할(Time-sharing)을 통해 100% 이상 오버커밋(Overcommit)이 쉽지만, 메모리는 고갈되면 즉시 OOM Killer가 발동하거나 스왑(Swap) 지옥에 빠져 서버가 죽는다.
- 메모리를 늘리는 것은 비싸므로, "어차피 똑같은 내용이라면 물리적으로 하나만 놔두고 다 같이 가리키게 만들자"는 아이디어가 소프트웨어적으로 구현된 것이 KSM이다.
💡 비유: 회사에 100명의 신입사원(VM)이 입사했다. 회사(하이퍼바이저)가 신입사원 100명에게 각각 똑같은 500페이지짜리 회사 매뉴얼(메모리)을 한 권씩 복사해서 나눠주니 종이(RAM)가 5만 장이나 버려졌다. KSM 시스템을 도입하자, 복사기(ksmd 데몬)가 밤마다 돌아다니며 내용이 똑같은 매뉴얼들을 몰래 수거해 가고, 대신 사무실 중앙에 매뉴얼 딱 1권을 둔 뒤 모두가 그걸 같이 보게(공유) 만들었다. 만약 어떤 사원이 매뉴얼에 자기만의 메모를 적으려고(Write) 펜을 드는 순간, 마술처럼 그 사람 책상에만 새 복사본(Copy-On-Write)이 툭 떨어진다.
발전 과정:
1. 정적 메모리 공유 (초기): fork() 시점에 부모와 자식만 페이지를 공유하는 전통적 COW 방식 (관계없는 프로세스 간 공유 불가).
2. KSM의 등장 (동적 스캐닝): 백그라운드 스레드가 서로 전혀 무관한 가상머신(QEMU/KVM 프로세스)들의 메모리를 해시로 비교하여 병합.
3. UKSM (Ultra KSM): KSM의 느린 스캐닝 속도와 CPU 낭비를 개선하여 더 공격적으로 더 많은 메모리를 병합하는 파생 버전 등장.
📢 섹션 요약 비유: 수백 명의 손님이 각자 똑같은 영화를 각자의 스마트폰에 다운로드(물리 할당)해서 보던 것을, 넷플릭스 스트리밍(KSM 병합)으로 바꿔 서버 저장 공간을 엄청나게 아껴주는 마법입니다.

Ⅱ. 아키텍처 및 핵심 원리 (Deep Dive)

구성 요소

요소명	역할	작동 방식	비유
ksmd (KSM Daemon)	페이지 병합을 수행하는 커널 백그라운드 스레드	주기적으로 깨어나 메모리를 스캔하고 잠듦	야간 순찰하며 청소하는 관리인
madvise() API	KSM 스캔 대상을 지정하는 시스템 콜	앱(QEMU 등)이 `MADV_MERGEABLE` 플래그로 KSM에게 병합을 허락함	"내 방은 검사해도 좋습니다" 팻말
해시 테이블 (Hash Table)	병합 후보 페이지들의 내용을 비교하는 자료구조	페이지 내용으로 해시를 만들어 빠른 비교 (RB-Tree 사용)	책 내용 지문(Fingerprint) 목록
COW (Copy-on-Write)	병합된 페이지가 훼손되는 것을 막는 방어 기제	병합된 페이지를 Read-Only로 만들고, 쓰기 시도 시 Page Fault를 통해 복제	유리 덮인 원본 책 (낙서 불가)

KSM 병합 (Merging) 아키텍처 및 동작 프로세스

KSM은 무작정 모든 메모리를 뒤지는 것이 아니라, 애플리케이션(주로 가상머신인 QEMU)이 허락한(madvise) 메모리 영역(VMA, Virtual Memory Area)만 스캔한다.

  ┌───────────────────────────────────────────────────────────────────┐
  │                 KSM (Kernel Samepage Merging) 동작 원리             │
  ├───────────────────────────────────────────────────────────────────┤
  │                                                                   │
  │  [상황 1: 병합 전 (Before KSM)]                                     │
  │   VM 1 (QEMU A)                  VM 2 (QEMU B)                    │
  │   가상 주소 (VA_1)               가상 주소 (VA_2)                   │
  │          │                             │                          │
  │          ▼ (Page Table)                ▼ (Page Table)             │
  │   물리 주소 (PA_X)               물리 주소 (PA_Y)                   │
  │  ┌────────────────┐             ┌────────────────┐                │
  │  │ DATA: "Ubuntu" │             │ DATA: "Ubuntu" │                │
  │  └────────────────┘             └────────────────┘                │
  │  (내용은 같지만 물리 메모리 2개 낭비 중)                                │
  │                                                                   │
  │  [상황 2: ksmd 데몬 스캐닝 및 병합 (After KSM)]                       │
  │   1. ksmd가 PA_X와 PA_Y의 내용이 정확히 같음을 발견 (해시 트리로 검색)        │
  │   2. VM 2의 페이지 테이블을 뜯어고쳐 VA_2가 PA_X를 가리키게 바꿈             │
  │   3. PA_Y는 메모리에서 삭제 (Free) -> RAM 절약!                        │
  │   4. PA_X의 권한을 [Read-Only (읽기 전용)]으로 강제 변경.                 │
  │                                                                   │
  │   VM 1 (VA_1) ────┐                                               │
  │                   ▼ (Read-Only)                                   │
  │                물리 주소 (PA_X)                                     │
  │               ┌────────────────┐                                  │
  │               │ DATA: "Ubuntu" │                                  │
  │               └────────────────┘                                  │
  │                   ▲ (Read-Only)                                   │
  │   VM 2 (VA_2) ────┘                                               │
  │                                                                   │
  │  [상황 3: COW (Copy-On-Write) 발동]                                 │
  │   - VM 2가 "Ubuntu"를 "CentOS"로 바꾸려고 시도 (Write)                 │
  │   - PA_X는 Read-Only이므로 하드웨어 [Page Fault] 트랩 발생!              │
  │   - 커널이 잽싸게 빈 물리 메모리 PA_Z를 할당하고 "Ubuntu"를 복사함.           │
  │   - VM 2의 테이블을 PA_Z로 변경하고 Write 허용. VM 2는 변경 완료.            │
  └───────────────────────────────────────────────────────────────────┘

[다이어그램 해설] KSM의 핵심은 **투명성(Transparency)**이다. VM 1과 VM 2는 자신들의 메모리가 남과 공유되고 있다는 사실을 전혀 모른다. 그들은 평소처럼 자신의 가상 주소(VA)를 읽는다. 그러다 쓰기(Write) 작업을 시도하면, 하드웨어 MMU가 권한 없음을 이유로 트랩을 발생시킨다. 리눅스 커널의 페이지 폴트 핸들러가 이를 잡아서 KSM COW 로직을 실행하여 복제본을 던져준다. 이 모든 과정이 VM 모르게 물밑에서 밀리초 단위로 이뤄진다. 가장 큰 부하가 걸리는 곳은 ksmd가 램의 수백만 개 페이지 내용을 바이트 단위로 비교(memcmp)하고 레드-블랙 트리(RB-Tree)를 유지하는 과정이다.

Ⅲ. 융합 비교 및 다각도 분석

메모리 오버커밋(Overcommit) 기법 3대장 비교

메모리 오버커밋이란 물리 메모리 용량보다 더 많은 메모리를 VM들에게 할당해 주는 기술이다.

기법명	KSM (Samepage Merging)	Memory Ballooning (벌루닝)	Swapping (스와핑)
작동 원리	중복된 페이지를 하나로 합침	안 쓰는 메모리를 뺏어서 남에게 줌	램에 있는 데이터를 디스크(SSD)로 쫓아냄
적용 시점	백그라운드 (지속적 동작)	동적 (메모리 부족 시 하이퍼바이저 개입)	최후의 수단 (메모리 극단적 부족 시)
게스트 OS 개입	개입 없음 (투명함)	게스트 안에 Balloon 드라이버 설치 필수	개입 없음
성능 페널티	CPU 사용률 증가 (ksmd 스캔 부하)	약간의 게스트 OS 부하	치명적인 시스템 마비 (Thrashing)
효율성	중복도가 높은 환경(VDI)에서 최고	게스트가 양보해야만 가능	느려서 기피 대상 1호

과목 융합 관점

운영체제 (OS): KSM은 페이징(Paging) 기반 가상 메모리 시스템의 극한을 보여준다. 물리 메모리와 가상 메모리의 매핑을 1:1에서 N:1로 비틀어버리는 이 기술은 역 페이지 테이블과 해시 테이블 검색 알고리즘의 결합체다.
클라우드 (Cloud): 클라우드 수익 모델(Economics)의 핵심이다. 256GB 램을 가진 서버에 4GB 램을 할당한 VM을 64개만 팔면 본전이지만, KSM을 통해 128개를 팔 수 있다면 서버 투자비(CAPEX) 대비 이익이 2배로 뛴다.
📢 섹션 요약 비유: 벌루닝이 세입자의 빈 방을 강제로 빼앗는 것이고, 스와핑이 세입자의 짐을 창고(디스크)에 던져버리는 것이라면, KSM은 세입자들이 각자 산 똑같은 가구들을 하나로 합쳐 거실에 놔주는 가장 평화로운 공간 절약술입니다.

Ⅳ. 실무 적용 및 기술사적 판단

실무 시나리오

시나리오 — VDI (Virtual Desktop Infrastructure) 환경의 서버 밀도 증가: 10대의 물리 서버에서 1,000대의 Windows 10 VM을 돌려야 하는 사내 망 환경. OS 부팅 직후 메모리 사용량이 물리 서버 한계를 초과함.
- 대응: 모든 VM이 같은 OS와 엑셀/워드 프로그램을 사용하므로 메모리 내의 DLL 파일과 시스템 커널 코드가 90% 이상 일치한다. /sys/kernel/mm/ksm/run에 1을 기록하여 KSM을 강제 활성화하고, QEMU 프로세스들이 KSM 대상이 되도록 설정한다. 결과적으로 Windows 10의 중복 코드가 수만 번 병합되어 전체 메모리 사용량이 40~50% 감소하며, 추가 하드웨어 증설 없이 VDI 구축을 완료할 수 있다.
시나리오 — 클라우드 서버의 원인 불명 CPU 100% 장애 (ksmd 폭주): KSM을 켜둔 KVM 환경에서 VM들에 메모리 쓰기가 잦은 데이터베이스(DB)나 자바(Java) GC(가비지 컬렉션) 워크로드를 올렸더니, 물리 서버의 ksmd 프로세스가 CPU 코어 하나를 100% 장악하며 시스템 전체가 느려졌다.
- 원인 분석: KSM은 '안 변하는' 메모리를 합치는 데 특화되어 있다. 하지만 DB나 Java 힙 메모리처럼 1초에도 수백 번씩 내용이 바뀌는(Volatile) 메모리를 KSM이 계속 스캔하고 합치려 시도한다. 기껏 합쳐놔도 1밀리초 뒤에 VM이 데이터를 변경해 다시 COW(Page Fault)가 나며 분리되는 '병합 $\leftrightarrow$ 분리'의 무한 루프(Thrashing)에 빠진 것이다.
- 대응 (기술사적 가이드): 워크로드 특성 분석 후, 중복이 적고 쓰기가 많은 서버(DB, 빅데이터 노드)에서는 KSM 기능을 완전히 끈다(echo 0 > /sys/kernel/mm/ksm/run). 또한 pages_to_scan 파라미터를 낮추거나 sleep_millisecs를 늘려 KSM의 스캔 속도를 늦춰 CPU 부하를 완화해야 한다.

의사결정 및 튜닝 플로우

  ┌───────────────────────────────────────────────────────────────────┐
  │                 KSM (메모리 병합) 도입 및 튜닝 의사결정 플로우             │
  ├───────────────────────────────────────────────────────────────────┤
  │                                                                   │
  │   [가상화 호스트의 물리 메모리(RAM) 부족 현상 발생]                        │
  │                │                                                  │
  │                ▼                                                  │
  │      호스트 위에서 도는 VM들의 OS나 주요 애플리케이션이 동일한가? (Homogeneous)│
  │          ├─ 아니오 ────▶ KSM 효과 미미. (벌루닝이나 RAM 증설 고려)       │
  │          └─ 예 (VDI, 동일 컨테이너 노드 등)                             │
  │                │                                                  │
  │                ▼                                                  │
  │      VM 워크로드가 메모리 '읽기' 위주인가, '쓰기' 위주인가?                 │
  │          ├─ 쓰기(Write) 위주 ─▶ [KSM 절대 사용 금지] (COW 폭풍으로 망함) │
  │          │                                                        │
  │          └─ 읽기(Read) 위주  ─▶ [KSM 활성화 (run=1)]                │
  │                                           │                       │
  │                                           ▼                       │
  │                       호스트의 CPU 사용률(ksmd)을 모니터링하여,          │
  │                       CPU가 너무 높으면 pages_to_scan 값 감소 (속도 조절)│
  └───────────────────────────────────────────────────────────────────┘

[다이어그램 해설] KSM은 메모리를 대가로 CPU를 태우는 연금술이다. 메모리가 남는데 CPU가 부족한 서버에서 KSM을 켜는 것은 바보 짓이며, 반대로 CPU는 남아도는데 메모리가 부족해서 스와핑이 터질 것 같은 서버에서는 KSM이 구세주다. 기술사는 현재 인프라의 진짜 병목이 CPU인지 메모리인지(Trade-off)를 정확히 저울질하여 KSM 데몬의 스로틀링(Throttling) 값을 미세 튜닝해야 한다.

도입 체크리스트

보안/취약점 (중요): 최근 KSM의 COW 동작 시 발생하는 미세한 시간 차이(Timing Channel)를 이용해, 공격자 VM이 다른 VM의 메모리 존재 여부(ASLR 우회)나 암호화 키를 유추하는 부채널 공격(Side-Channel Attack, 예: Rowhammer KSM)이 증명되었다. 퍼블릭 클라우드 환경이거나 보안이 중요한 금융망망에서는 **KSM을 반드시 비활성화(Disable)**해야 한다.
Huge Page 충돌: EPT 성능을 높이기 위해 사용하는 2MB/1GB 단위의 거대 페이지(Huge Page)는 크기가 너무 커서 완전히 내용이 똑같을 확률이 희박하므로 KSM과 호환되지 않는다 (병합 시 4KB로 쪼개져야 함). KSM과 THP(Transparent Huge Pages) 중 어느 것을 포기할지 선택해야 한다.
📢 섹션 요약 비유: KSM은 '빈대 잡으려다 초가삼간 태우는' 짓이 될 수 있습니다. 매일 바뀌는 일기장(DB 메모리)을 굳이 합치겠다고 복사기(CPU)를 종일 돌리는 헛수고를 피하는 통찰력이 필요합니다.

Ⅴ. 기대효과 및 결론

정량/정성 기대효과

구분	KSM 미적용	KSM 적용 환경	개선 효과
정량 (VDI 환경)	물리 램 256GB $\rightarrow$ 64개 VM 구동	물리 램 256GB $\rightarrow$ 100개 이상 VM 구동	하드웨어 집적도 40~50% 이상 향상
정량 (메모리 단가)	노드당 $5,000 지출	노드당 메모리 증설 불필요	TCO 극적 절감 (CAPEX 감소)
정성 (운영 유연성)	메모리 100% 임박 시 OOM 불안	여유 메모리 풀 확보	라이브 마이그레이션 타겟 노드의 유연한 배치 공간 확보

미래 전망

CXL 메모리와 KSM의 역할 분담: 차세대 CXL 인프라에서는 메모리 부족 시 KSM으로 억지로 합치기보다는, CXL 풀에서 램을 즉시 빌려오는(동적 할당) 방식을 선호할 가능성이 높다. 따라서 KSM은 스케일 업(Scale-up)보다는 임베디드나 엣지(Edge) 컴퓨팅과 같은 제한된 환경에서 더욱 각광받을 것이다.
하드웨어 가속 KSM: CPU의 백그라운드 스레드(ksmd)가 메모리를 비교하는 오버헤드를 줄이기 위해, 인텔 DSA나 DPU와 같은 하드웨어 가속기가 메모리 해싱과 병합 로직을 하드웨어 레벨에서 오프로딩하여 CPU 0% 점유율로 중복을 제거하는 기술이 개발되고 있다.

결론

메모리 병합(KSM) 기술은 "시분할(CPU)은 되는데 왜 공간분할(Memory)은 완벽히 포개어 접을 수 없을까?"라는 엔지니어의 상상력을 Copy-on-Write라는 OS의 고전적 마법으로 완벽히 구현해낸 걸작이다. 비록 보안 부채널 공격의 타겟이 되고 쓰기 워크로드에 취약하다는 단점이 있지만, 제약된 하드웨어 자원을 논리적 우회로를 통해 극대화한다는 점에서 가상화의 철학(더 적은 자원으로 더 많은 것을)을 가장 잘 대변하는 매커니즘이다.

📢 섹션 요약 비유: 마법의 복사기(KSM)가 만들어낸 환영(공유 메모리) 덕분에, 여관 주인(하이퍼바이저)은 방 10개짜리 여관에 15명의 손님을 불만 없이 재울 수 있는 궁극의 운영 기술을 얻게 되었습니다.

📌 관련 개념 맵 (Knowledge Graph)

개념 명칭	관계 및 시너지 설명
Copy-on-Write (COW)	병합된 단일 메모리를 여러 가상머신이 공유할 수 있게 지켜주는 핵심 운영체제 방어 메커니즘
Memory Ballooning	KSM이 '합치기'라면 벌루닝은 '뺏어오기'로, 메모리 오버커밋을 달성하는 KSM의 보완재이자 라이벌
OOM (Out-of-Memory) Killer	KSM이나 벌루닝으로도 메모리 고갈을 막지 못했을 때 시스템이 마지막으로 발동시키는 사형 집행인
부채널 공격 (Side-channel Attack)	KSM이 병합하고 분리하는 시간 차이를 악용하여 다른 VM의 암호를 빼내는 보안 취약점의 원인
Transparent Huge Pages (THP)	2MB 단위의 거대한 페이지를 할당하여 속도를 높이는 기능으로, KSM(4KB 병합)과는 상극을 이루는 트레이드오프 관계

👶 어린이를 위한 3줄 비유 설명

가상머신(컴퓨터 안의 가짜 컴퓨터들)은 가끔 똑같은 책(데이터)을 각자의 책상에 올려두고 자리(메모리)를 낭비해요.
'KSM'이라는 똑똑한 청소 로봇은 밤마다 돌아다니면서 똑같은 책들을 다 치워버리고, 커다란 테이블 가운데에 책을 딱 1권만 놔둬서 다 같이 보게 만들어요.
그러다 누군가 그 책에 낙서를 하려고 하면, 로봇이 0.1초 만에 새 책을 복사해서 그 사람에게만 던져준답니다! 그래서 방(메모리)을 엄청 넓게 쓸 수 있어요.