104. 프로세스 생성 (Process Creation) - fork(), exec() 시스템 콜

핵심 인사이트 (3줄 요약)

1. 본질: 프로세스 생성 (Process Creation)은 운영체제가 실행 중인 프로그램을 복제하고 새로운 작업을 지시하는 메커니즘으로, 유닉스(Unix) 계열에서는 fork()와 exec() 시스템 콜의 조합으로 이루어진다.
2. 가치: 기존 프로세스(Parent)를 복제하여 뼈대를 만들고(fork), 그 내부에 새로운 프로그램의 영혼을 덮어씌우는(exec) 분리된 접근법을 통해 프로세스 계층 구조를 직관적으로 관리하고 쉘(Shell)의 파이프라인 같은 유연한 동작을 가능하게 한다.
3. 판단 포인트: 현대 커널은 메모리 낭비를 막기 위해 Copy-on-Write (COW) 지연 복사 기법을 사용하여 복제 비용을 최소화하며, 컨테이너 환경에서는 clone() 시스템 콜로 확장되어 네임스페이스 격리까지 제어한다.

Ⅰ. 개요 및 필요성

운영체제에서 새로운 프로세스를 만든다는 것은 CPU 자원을 할당받고 메모리 공간을 독자적으로 소유하는 새로운 생명체를 탄생시키는 일이다. 유닉스 아키텍처에서는 이 과정을 fork()와 exec()라는 두 단계의 시스템 콜(System Call)로 분리했다. fork()는 호출한 프로세스를 그대로 복사하여 자식 프로세스(Child Process)를 만들고, exec()는 복제된 자식의 메모리 공간에 완전히 새로운 프로그램을 덮어씌워 실행을 전환한다.

이러한 분리 구조가 도입된 이유는 유연성 때문이다. 만약 생성과 실행이 하나로 묶여 있다면, 부모 프로세스가 자식에게 넘겨줄 파일 디스크립터(File Descriptor)나 환경 변수 같은 자원 설정을 생성 시점과 실행 시점 사이에 개입하여 조작할 수 없다. fork-exec 모델은 쉘에서 파이프(|)나 리다이렉션(>) 처리를 아주 우아하게 구현할 수 있는 핵심 토대다.

• 📢 섹션 요약 비유: fork는 도화지에 밑그림과 팔레트(메모리와 자원)를 똑같이 복사하는 일이고, exec는 그 복사된 도화지 위에 완전히 새로운 수채화 풍경(새로운 프로그램)을 덧칠해 덮어버리는 일이다.

Ⅱ. 아키텍처 및 핵심 원리

프로세스 생성은 커널 모드(Kernel Mode)에서 PCB (Process Control Block)를 할당하고 메모리 구조를 구성하는 복잡한 과정이다.

┌──────────────────────────────────────────────────────────────┐
│           fork() + exec() 프로세스 분기 및 전환 흐름          │
├──────────────────────────────────────────────────────────────┤
│  [1. 부모 프로세스]                                             │
│      PID: 1000 ────────┐ (fork 호출)                         │
│                        │                                     │
│                        ├─▶ [2. 자식 프로세스 복제 탄생]        │
│                        │       PID: 1001 (부모의 메모리 공유) │
│                        │       (COW: Copy-on-Write 대기)     │
│                        │                                     │
│                        │   (exec 호출)                       │
│  (wait 대기)            │   [3. 자식 프로세스 덮어쓰기]        │
│  [4. 자식 종료 수거]◀───┘       PID: 1001 유지               │
│                            메모리 공간 초기화 후 새 바이너리 실행│
└──────────────────────────────────────────────────────────────┘

이 흐름의 핵심은 Copy-on-Write (COW) 메커니즘이다. 과거에는 fork() 시점에 묻지도 따지지도 않고 부모의 전체 메모리를 통째로 복사해 엄청난 오버헤드가 발생했다. 현대 커널은 물리 메모리 복사를 미루고, 부모와 자식이 같은 물리 메모리 주소를 읽기 전용으로 가리키게 한다. 어느 한쪽이 데이터에 쓰기(Write)를 시도하는 순간에만 페이지 폴트(Page Fault)를 발생시켜 해당 페이지 하나만 복사한다. fork() 직후 exec()가 호출되면 어차피 기존 메모리는 버려지므로, COW는 메모리 할당 낭비를 극적으로 방지하는 구원 투수다.

• 📢 섹션 요약 비유: COW 방식의 fork()는 회사 기안서를 통째로 복사해 나눠주는 것이 아니라, 모두가 클라우드 공유 문서 링크만 보다가 누군가 글씨를 수정하려고 키보드를 누르는 순간에만 개인용 사본을 만들어 주는 효율적인 시스템이다.

Ⅲ. 비교 및 연결

프로세스 생성 모델은 운영체제 아키텍처에 따라 유닉스의 분리형 모델과 윈도우의 통합형 모델로 명확히 나뉜다.

유닉스의 파이프(ls | grep)는 두 프로세스를 fork한 뒤 파이프 입출력을 변경하고 각각 exec로 넘기는 방식을 쓴다. 통합형은 이런 조작을 함수 파라미터 구조체에 우겨넣어야 해서 복잡도가 높아진다. 최근 리눅스 생태계는 단순한 fork()를 넘어, 어떤 자원을 부모와 공유할지 세밀하게 비트마스크로 제어하는 clone() 시스템 콜을 발전시켰다. 도커(Docker) 같은 컨테이너 기술은 바로 이 clone()의 네임스페이스(Namespace) 격리 기능을 활용하여 가상 머신처럼 격리된 독립 프로세스 트리를 만들어낸다.

• 📢 섹션 요약 비유: 유닉스의 방식은 밀가루 반죽(fork)을 떼어낸 뒤 원하는 틀(exec)에 넣어 빵을 굽는 방식이고, 윈도우 방식은 처음부터 별도의 공장 라인(CreateProcess)을 돌려 바로 완성된 빵을 뽑아내는 방식이다.

Ⅳ. 실무 적용 및 기술사 판단

시스템의 안정성을 지키려면 무분별한 자원 상속을 차단하는 통제가 반드시 필요하다.

체크리스트

1. 파일 디스크립터 유출 차단 (FD_CLOEXEC): 백엔드 데몬이 파일이나 소켓을 열어둔 채 무심코 fork() + exec()를 수행하면, 부모의 민감한 DB 커넥션 파일 디스크립터가 자식(외부 스크립트 등)에게 그대로 상속되어 보안 사고가 터진다. open()이나 exec() 사용 시 반드시 보안 플래그(O_CLOEXEC)를 세팅하여 실행 덮어쓰기 순간에 불필요한 소켓 파이프라인이 자동 단절되게 해야 한다.
2. 좀비 프로세스 (Zombie Process) 예방: 부모가 fork만 해놓고 자식의 종료 신호를 수거하는 wait() 처리를 누락하면, 자식은 죽었음에도 프로세스 테이블(PCB)의 슬롯을 영원히 차지하는 좀비가 된다. 이로 인해 시스템의 최대 프로세스 제한(ulimit)을 초과하여 서버가 마비되는 Fork Bomb에 대비해야 한다.

안티패턴

• 무거운 쓰레드 풀 환경에서의 fork 남용: 다수의 쓰레드가 동작하는 멀티쓰레드 프로세스(예: JVM, 톰캣) 안에서 갑자기 fork()를 호출하면, 다른 쓰레드들은 복제되지 않고 호출한 단일 쓰레드만 복제된 불완전한 프로세스가 태어난다. 메모리 락(Lock)이나 뮤텍스 상태가 엉켜 심각한 교착 상태(Deadlock)를 유발하므로, 멀티쓰레드 환경에서는 안전한 posix_spawn() 같은 대체재를 써야 한다.

• 📢 섹션 요약 비유: 부모 프로세스가 자식에게 무심코 파일 디스크립터를 상속하는 것은, 사무실을 떠나는 직원이 보안 서버 로그인 키가 꽂힌 컴퓨터 화면을 안 끄고 알바생에게 그대로 자리를 넘겨주는 치명적인 보안 사고와 같다.

Ⅴ. 기대효과 및 결론

fork()와 exec() 모델은 유닉스의 철학을 가장 잘 보여주는 간결하고도 강력한 아키텍처다. '모든 것은 파일이다'라는 원칙 아래, 프로세스의 환경 조작과 실행의 타이밍을 분리함으로써 운영체제 역사의 흐름을 주도했다.

오늘날에는 COW 기법이 복제의 오버헤드를 극적으로 줄여주었지만, 극단적인 고성능 최적화가 필요한 시대에는 posix_spawn()이나 세분화된 clone() 등 다양한 진화 모델이 함께 쓰이고 있다. 결국 프로세스 생성의 핵심은 "어떻게 하면 가장 가볍고 안전하게 새로운 생태계를 격리하여 출범시킬 것인가"라는 자원 통제의 문제로 귀결된다.

• 📢 섹션 요약 비유: fork와 exec는 세포가 스스로를 분열한 뒤, 완전히 새로운 유전자(DNA)로 탈바꿈하여 새로운 개체가 되는 것과 같습니다. 이는 수십 년간 컴퓨팅 생태계를 풍성하게 만들어 온 가장 기초적이면서도 효율적인 생명 탄생의 공식입니다.

📌 관련 개념 맵

📈 관련 키워드 및 발전 흐름도

초기 유닉스 생성 철학 (fork() + exec() 분리)
    │
    ▼
메모리 복제 오버헤드 발생 (통째로 메모리 복사)
    │
    ▼
메모리 가상화 최적화 도입 (Copy-on-Write 지연 복사)
    │
    ▼
멀티쓰레드 환경의 fork 부작용 회피 (posix_spawn 등장)
    │
    ▼
컨테이너 격리 생태계를 위한 세밀한 자원 분리 제어 (clone(), Namespace)

👶 어린이를 위한 3줄 비유 설명

1. fork()는 마법의 거울 앞에서 내 모습을 뼈대까지 똑같이 쌍둥이로 복제해 내는 주문이에요.
2. exec()는 그렇게 만들어진 쌍둥이에게 기존 기억을 다 지우고, 완전히 새로운 게임팩을 머릿속에 끼워 넣어 새로운 로봇으로 만드는 주문이죠.
3. 복제할 때 무거운 짐까지 다 베껴오면 너무 힘드니까, 컴퓨터는 '글씨를 쓸 때만 복사(COW)'하는 얌체 같은 꼼수로 엄청 빨리 쌍둥이를 만든답니다!