커널 메모리 할당 방식 (kmalloc, vmalloc)

핵심 인사이트 (3줄 요약)

본질: 리눅스 운영체제는 일반 사용자 프로그램이 아닌, 커널(Kernel) 자신이 내부적으로 쓸 메모리를 할당받기 위해 **kmalloc(물리적 연속 보장)**과 **vmalloc(논리적 연속만 보장)**이라는 두 가지 투트랙 API를 제공한다.

가치: DMA(Direct Memory Access) 하드웨어 장치처럼 가상 주소를 이해하지 못하는 멍청한 칩셋들에게는 kmalloc으로 뼈대 깊은 물리적 연속 공간을 쥐여주고, 용량만 크면 장땡인 커널 내부 버퍼에는 vmalloc으로 파편화된 공간을 긁어모아 주며 커널의 생존력과 성능을 극대화한다.

융합: 밑바닥의 **버디 시스템(Buddy System)**과 **슬랩 할당기(Slab Allocator)**가 kmalloc의 초고속 엔진으로 작동하며, vmalloc은 거대한 페이지 테이블(Page Table) 매핑 흑마술과 융합되어 물리 메모리의 단편화 한계를 우회한다.

Ⅰ. 개요 및 필요성 (Context & Necessity)

개념: 사용자 프로그램은 C언어에서 malloc()을 호출해 메모리를 받지만, 리눅스 커널(드라이버, 파일 시스템 등)을 코딩할 때는 malloc을 쓸 수 없다. 대신 커널 전용 할당기인 kmalloc()과 vmalloc()을 사용해야 한다. 이 둘은 메모리를 할당하는 철학과 물리적 형태가 완전히 다르다.
필요성: 일반 유저 프로그램은 페이징 마법 덕분에 논리 주소만 10MB 연속되어 있으면, 실제 램(RAM) 보드 위에서는 조각조각 찢어져 있어도 아무 문제가 없다(MMU가 이어주니까). 하지만 **운영체제 커널의 디바이스 드라이버가 통신하는 네트워크 카드나 디스크 컨트롤러(DMA)**는 MMU를 거치지 않고 RAM에 다이렉트로 전기를 쏘기 때문에, 램 위에서도 물리적으로 쫙 이어져 있는 공간이 아니면 데이터가 파괴된다. 따라서 "반드시 물리적으로 연속된 램"을 찾아주는 특별한 할당기(kmalloc)가 커널에게 절대적으로 필요했다.
💡 비유: kmalloc은 **기차의 레일(물리적 연속)**과 같다. 중간에 레일이 끊기면 기차(하드웨어 DMA)가 탈선하므로 무조건 통짜로 연결된 거대 쇳덩이를 깔아줘야 한다. 반면 vmalloc은 **비행기의 항로(가상적 연속)**와 같다. 땅(램)에서는 산과 강으로 뚝뚝 끊어져 있어도, 하늘(가상 메모리 지도)에서 볼 때는 일직선으로 이어져 있어 비행기(소프트웨어)가 날아가는 데 아무 지장이 없다.
등장 배경 및 커널의 딜레마:
1. 물리적 파편화의 위협: 서버를 오래 켜두면 물리 램이 갈기갈기 찢어진다(외부 단편화).
2. 하드웨어의 고집: 네트워크 카드는 수십 KB의 패킷 버퍼를 원하는데, 이는 무조건 물리 램상에서 연속되어야만 한다.
3. 투트랙 할당의 탄생: 작고 빠른 물리적 연속 공간은 kmalloc(슬랩/버디 엔진)에 맡기고, 하드웨어가 개입하지 않는 수 메가바이트짜리 커널 소프트웨어 버퍼는 vmalloc이 램의 조각들을 기워 붙여 만들어주는 이원화 체계가 확립되었다.

┌──────────────────────────────────────────────────────────────────────┐
│        kmalloc vs vmalloc의 메모리 매핑 아키텍처 비교                │
├──────────────────────────────────────────────────────────────────────┤
│                                                                      │
│ [ 1. kmalloc() 호출 시 (물리적 연속) ]                               │
│ 커널의 요구: "나 드라이버인데 물리적으로 이어진 12KB 줘!"            │
│ 논리 주소 (가상) :  [ 4K ]-[ 4K ]-[ 4K ] (연속)                      │
│                       ↓      ↓      ↓  (다이렉트 매핑)               │
│ 실제 램 (물리)   :  [ 4K ]-[ 4K ]-[ 4K ] (완벽하게 연속됨!)          │
│ ✅ 결과: DMA 하드웨어가 12KB를 한 번에 쏴도 안전하게 저장됨.         │
│                                                                      │
│ [ 2. vmalloc() 호출 시 (논리적 연속) ]                               │
│ 커널의 요구: "나 내부 배열 쓸 건데 12MB짜리 줘!"                     │
│ 논리 주소 (가상) :  [ 4K ]-[ 4K ]-[ 4K ] ... (연속된 환상)           │
│                       ↓      ↘      ↘  (페이지 테이블 매핑)          │
│ 실제 램 (물리)   :  [빈방]...[ 4K ]...[ 4K ]...[ 4K ] (찢어짐)       │
│ ✅ 결과: 페이지 테이블을 조작해 찢어진 빈방들을 하나로 꿰매줌.       │
│ ⚠ 단점: 12MB를 매핑하느라 페이지 테이블 수정 연산이 겁나 느림!       │
└──────────────────────────────────────────────────────────────────────┘

[다이어그램 해설] kmalloc은 가상 주소와 물리 주소의 간격이 사실상 없다. 그냥 물리 램의 거대 덩어리를 그대로 떼어준다. 반면 vmalloc은 일반 유저 프로그램(malloc)이 하는 짓과 똑같이, 여기저기 흩어진 4KB 물리 조각들을 긁어모은 뒤 커널의 페이지 테이블 화살표를 일일이 조작하여 논리적으로 이어 붙인다.

📢 섹션 요약 비유: kmalloc은 통나무를 깎아서 만든 튼튼한 '원목 침대(물리적 통짜)'이고, vmalloc은 톱밥과 접착제를 뭉쳐 만든 '합판 침대(가상으로 꿰맴)'입니다. 합판은 크게 만들긴 쉽지만, 무거운 역도 선수(하드웨어 DMA)가 올라가면 부서질 수 있습니다.

Ⅱ. 아키텍처 및 핵심 원리 (Deep Dive)

1. kmalloc (Kernel Memory Allocation)

엔진: 밑바닥에서는 물리 메모리를 관리하는 **버디 시스템(Buddy System)**이 돌고, 그 위에서 **슬랩 할당기(Slab Allocator)**가 수 바이트~수십 킬로바이트의 작은 덩어리들을 캐싱하며 초고속으로 찍어낸다.
특징:
- 초고속 (O(1)): 페이지 테이블을 갱신하거나 매핑을 수정할 필요가 없다. 슬랩 캐시에서 하나 툭 빼주면 끝나기 때문에 빛의 속도로 동작한다.
- 크기 제한: 물리적으로 텅 빈 연속 공간을 찾아야 하므로, 너무 큰 크기(예: 수 MB)를 요구하면 할당이 실패(Failure)할 확률이 높다.
- 물리적 연속성: 반환된 메모리는 물리 주소상 완벽하게 일렬로 연속되어 있어, 디바이스 드라이버나 DMA가 사랑하는 구조다.

2. vmalloc (Virtual Memory Allocation)

엔진: 흩어진 물리 페이지들을 긁어모아 커널의 가상 주소 공간(Vmalloc Space)에 새로 매핑한다.
특징:
- 오버헤드 (매우 느림): 조각들을 모은 뒤, 커널의 페이지 테이블(Page Table)을 열어서 이 조각들이 연속된 것처럼 보이도록 PTE(엔트리) 화살표를 일일이 고쳐 써야 한다. 게다가 이 매핑이 바뀌었으니 모든 CPU 코어에 **TLB Flush(캐시 초기화)**를 강제하는 지옥의 동기화 연산이 동반된다.
- 대용량 할당: 물리 램이 아무리 찢어져(파편화) 있어도, 남은 램 총량만 넉넉하면 수십 MB라도 척척 만들어낸다.
- 사용처: 네트워크 모듈이 통짜로 로드될 때, 혹은 커널 해시 테이블 같은 하드웨어가 건드리지 않는 순수 소프트웨어 대형 버퍼용으로 쓰인다.
📢 섹션 요약 비유: kmalloc은 창고에서 완성된 100cm짜리 막대기를 1초 만에 꺼내오는 것이고, vmalloc은 10cm짜리 부러진 나뭇가지 10개를 주워와서 본드(페이지 테이블 매핑)로 1시간 동안 이어 붙여 100cm를 만들어 내는 차이입니다.

Ⅲ. 융합 비교 및 다각도 분석

kmalloc vs vmalloc 실전 비교표

리눅스 커널 해커가 가장 먼저 배우는 생존 지침이다.

특성	`kmalloc()`	`vmalloc()`
물리적 주소 연속성	반드시 연속 (Contiguous)	조각조각 흩어짐 (Non-contiguous)
논리적 주소 연속성	연속	연속
속도 및 성능	압도적으로 빠름 (슬랩 기반 O(1))	매우 느림 (TLB Flush 및 테이블 조작 발생)
적정 할당 크기	작을 때 (수십 Byte ~ 수백 KB)	클 때 (수 MB 이상)
DMA (Direct Memory Access)	사용 가능 (안전함)	절대 사용 불가 (하드웨어가 폭주함)
주 사용처	네트워크 패킷, 파일 아이노드, 드라이버 버퍼	커널 모듈 적재, 대형 소프트웨어 버퍼

TLB Shootdown이라는 커널의 저주

왜 vmalloc이 그토록 느릴까? 단순히 장부를 고쳐 쓰는 데 그치지 않기 때문이다.

64코어짜리 서버에서 vmalloc으로 페이지 테이블 매핑을 바꿨다 치자.
나머지 63개의 코어 내부 TLB 캐시에는 아직 옛날(가짜) 주소 매핑이 남아있다.
vmalloc을 호출한 코어는 나머지 63개 코어 전체에 하드웨어 인터럽트(IPI)를 쏴서 **"야! 지금 당장 하던 일 멈추고 너희 TLB 캐시 다 찢어버려!"**라고 명령해야 한다. 이를 TLB Shootdown이라 부르며, 멀티코어 서버의 확장성을 좀먹는 최악의 병목이다.
반면 kmalloc은 이미 매핑이 고정된 슬랩 캐시를 쓰므로 이 끔찍한 인터럽트 폭풍을 피할 수 있다.

┌──────────┬────────────┬────────────┬─────────────────────────────────┐
│ 할당 함수  │ 페이지 테이블 갱신│ 멀티코어 IPI 인터럽트│ 성능 체감    │
├──────────┼────────────┼────────────┼─────────────────────────────────┤
│ kmalloc  │ 발생 안 함   │ 발생 안 함   │ 로켓 속도                   │
│ vmalloc  │ 무겁게 발생   │ 수십 번 폭발  │ 기어감                    │
└──────────┴────────────┴────────────┴─────────────────────────────────┘

[매트릭스 해설] 리눅스 커널 코딩 스탠다드에서는 "죽을 것 같이 큰 메모리가 필요한 게 아니면 무조건 kmalloc을 써라"라고 못 박고 있다. vmalloc의 매핑 변경이 가져오는 나비효과는 시스템 전체의 코어를 멈칫하게 만들기 때문이다.

📢 섹션 요약 비유: kmalloc이 내 책상 서랍에서 조용히 볼펜을 꺼내 쓰는(빠름) 거라면, vmalloc은 확성기를 들고 전 직원에게 "나 지금부터 이 볼펜 쓸 거니까 모두 장부 고쳐!"라고 동네방네 소리치는(TLB Shootdown) 극강의 민폐입니다.

Ⅳ. 실무 적용 및 기술사적 판단 (Strategy & Decision)

실무 시나리오: DMA와 kmalloc의 물리적 생존 게임

사고의 발단: 신입 커널 개발자가 고해상도 그래픽 카드의 이미지 버퍼(10MB)를 할당하기 위해 아무 생각 없이 vmalloc(10MB)을 썼다.
논리적 정상 작동: CPU가 커널 코드 안에서 그 10MB에 픽셀 데이터를 쓸 때는 아무 에러가 없었다. 가상 메모리 매핑이 완벽하게 꿰매져 있었기 때문이다.
하드웨어의 폭주:
- 코드가 그래픽 카드(GPU)에게 "자, 램의 저 10MB 버퍼 시작 주소 알려줄 테니 네가 직접 긁어가!(DMA)" 하고 명령을 내렸다.
- 멍청한 하드웨어 컨트롤러는 가상 주소(MMU)의 매핑을 이해하지 못한다. 시작 물리 주소부터 10MB를 '물리적으로 쭉 직진'하며 긁어버린다.
- 하지만 vmalloc으로 만든 공간은 램에서 4KB 단위로 갈기갈기 찢어져 있었다. 그래픽 카드는 중간에 껴있던 남의 프로세스 데이터, 심지어 OS 커널의 코어 데이터까지 무자비하게 긁어가서 화면에 노이즈를 뿌리거나 시스템을 Kernel Panic(블루스크린)으로 박살 낸다.
결론: 디바이스 드라이버가 하드웨어와 통신할 때는, 하늘이 두 쪽 나도 물리적 연속성이 보장되는 kmalloc (또는 dma_alloc_coherent)을 써야만 한다.

메모리 단편화와의 치열한 전투

서버를 1년 동안 끄지 않으면 외부 단편화로 인해 물리 메모리가 만신창이가 된다. 이때 1MB짜리 kmalloc을 호출하면, 전체 램이 100GB가 남아도 연속된 1MB가 없어서 실패(OOM)하는 기현상이 발생한다. 실무 커널 엔지니어들은 이 실패를 막기 위해 리눅스의 조각 모음 기능인 **Memory Compaction(메모리 압축)**을 백그라운드로 돌리며 억지로 빈 공간을 만들어낸다. (후속 키워드에서 서술)

📢 섹션 요약 비유: MMU(가상 주소 번역기)라는 눈가리개를 쓴 CPU는 끊어진 다리(vmalloc)를 날아다니지만, 눈가리개가 없는 덤프트럭(하드웨어 DMA)이 그 다리를 지나가면 끊어진 절벽으로 그대로 추락하는 대형 사고가 터집니다.

Ⅴ. 기대효과 및 결론 (Future & Standard)

정량/정성 기대효과

구분	내용
디바이스 호환성 절대 방어	kmalloc을 통해 하드웨어 인터페이스(DMA)가 요구하는 거친 물리적 연속성(Contiguous)을 완벽하게 만족
커널 패닉(Panic) 방지	파편화가 극심한 상황에서도 대형 커널 버퍼가 필요할 때 vmalloc을 우회로로 써서 시스템 강제 중단 예방
TLB 미스 억제	무분별한 vmalloc 사용을 금지함으로써, 매핑 갱신으로 인한 멀티코어 IPI 인터럽트와 TLB 파괴 현상 차단

결론 및 미래 전망

커널 메모리 할당 방식 (kmalloc, vmalloc)의 투트랙 아키텍처는 소프트웨어의 환상(가상 메모리)과 하드웨어의 냉혹한 현실(물리 램) 사이에서 커널이 살아남기 위해 진화시킨 최후의 생존술이다. 사용자 프로그램은 가상 메모리라는 따뜻한 온실 속에서 파편화를 모르고 살지만, 커널은 이 두 가지 할당기를 양손에 쥐고 물리 메모리의 찢어진 살갗을 기워가며 시스템을 지탱한다. 미래에 CXL(Compute Express Link) 장치들이나 차세대 IOMMU가 보편화되어 모든 주변 기기가 가상 주소를 완벽히 이해하는 시대가 오면 물리적 연속성(kmalloc)에 대한 강박은 사라지겠지만, 매핑 오버헤드와 캐시 플러시가 존재하는 한 이 두 할당기의 섬세한 줄타기는 시스템 프로그래머의 영원한 숙제로 남을 것이다.

📢 섹션 요약 비유: 겉은 번지르르한 백화점(유저 앱)이지만, 그 지하의 기계실(OS 커널)에서는 부러진 파이프를 교체할 땐 튼튼한 통짜 강철 파이프(kmalloc)를 쓰고, 공조기 닥트를 연결할 땐 유연한 자바라 호스(vmalloc)를 기워 쓰며 매일 밤 피땀 흘려 건물을 무너지지 않게 지탱하는 엔지니어들의 훈장입니다.

📌 관련 개념 맵 (Knowledge Graph)

버디 시스템 (Buddy System) | kmalloc의 가장 밑바닥에서 물리적 연속 프레임 블록(2의 승수)을 공급해 주는 원초적 할당 엔진
슬랩 할당기 (Slab Allocator) | kmalloc이 실제로 호출하는 백엔드 엔진으로, 커널 내부 단편화를 박멸하고 속도를 극대화함
DMA (Direct Memory Access) | CPU를 거치지 않고 RAM에 직접 꽂히는 하드웨어 전송 기법으로, 반드시 물리적으로 연속된 kmalloc 메모리를 요구함
TLB Shootdown | vmalloc이 페이지 테이블을 고칠 때, 다른 CPU 코어들의 캐시를 박살 내느라 발생하는 멀티코어 최악의 지연 현상
외부 단편화 (External Fragmentation) | 서버를 오래 켤수록 물리 램이 갈기갈기 찢어져 kmalloc의 대용량 할당을 번번이 실패하게 만드는 주적

👶 어린이를 위한 3줄 비유 설명

kmalloc과 vmalloc이 뭔가요? 운영체제라는 사장님이 자기 회사에서 쓸 책상을 사는 방법이에요. kmalloc은 원목 나무를 통째로 잘라 만든 튼튼한 책상이고, vmalloc은 버려진 나뭇가지들을 본드로 붙여 만든 넓은 합판 책상이에요.
언제 무엇을 쓰나요? 무거운 쇳덩이 기계(하드웨어 DMA)를 올려놓을 땐 절대 부서지지 않는 원목 책상(kmalloc)을 꼭 써야 해요. 하지만 그냥 넓은 도화지(소프트웨어 버퍼)를 펴놓고 그림만 그릴 거라면 합판 책상(vmalloc)으로 충분하죠.
뭐가 더 비싸나요? 합판 책상(vmalloc)은 나뭇가지를 주워다 일일이 본드 칠(페이지 매핑)을 해야 해서 만드는 속도가 엄청나게 느려서 사장님이 별로 안 좋아한답니다.