313. 자율주행 강화학습과 모방 학습 (Imitation Learning)

핵심 인사이트 (3줄 요약)

본질: 강화학습(RL)은 환경과 부딪히며 시행착오로 배우는 방법이지만, 실제 자율주행차로 시행착오(사고)를 내면 치명적이므로, 사람이 운전하는 데이터(정답)를 보고 그대로 따라 하는 모방 학습(Imitation Learning)을 먼저 결합해야 한다.

가치: 초보 운전자가 베테랑 택시 기사의 핸들링과 브레이크 타이밍을 복사(Behavior Cloning)하여 학습 시간을 획기적으로 줄이고, 강화학습이 처음부터 맨땅에 헤딩하는 비효율성을 극복하게 해준다.

판단 포인트: 단순히 사람을 따라 하기만 하는 '행동 복제(Behavior Cloning)'는 한 번도 겪어보지 못한 낯선 상황(돌발 변수)에 맞닥뜨리면 어떻게 해야 할지 몰라 시스템이 붕괴하므로, 강화학습의 탐험(Exploration)을 통한 오차 교정(예: DAgger 알고리즘) 아키텍처가 반드시 병행되어야 한다.

Ⅰ. 개요 및 필요성

자율주행 시스템을 규칙(If-Then)으로 코딩하려던 초기의 시도는 실패로 끝났다. 세상의 모든 돌발 상황을 코드로 짜는 것은 불가능했기 때문이다. 대안으로 AI가 수백만 번 차를 몰아보고 사고가 나면 감점(Penalty), 목적지에 도착하면 보상(Reward)을 받는 **강화학습(Reinforcement Learning, RL)**이 대두되었다.

하지만 현실의 자동차를 수백만 번 벽에 들이박게 할 수는 없다. 그래서 고안된 것이 **모방 학습(Imitation Learning)**이다. 인간(전문가)이 직접 운전한 엄청난 양의 주행 기록(카메라 영상과 그때의 핸들 조향각, 브레이크 압력)을 AI에게 보여주고 "인간이 한 대로 똑같이 따라 해!"라고 가르치는 것이다.

📢 섹션 요약 비유: 처음부터 아기에게 자전거를 주고 "넘어지면서 배워라(강화학습)"라고 하면 너무 많이 다치니까, 먼저 아빠가 자전거 타는 모습을 수백 번 보여주며 "아빠처럼 똑같이 해봐(모방 학습)"라고 가르치는 것이다.

Ⅱ. 아키텍처 및 핵심 원리

자율주행의 모방 학습은 크게 두 가지 파이프라인으로 구성된다: 가장 단순한 '행동 복제'와 이를 보완하는 '역강화학습(IRL)'.

┌────────────────────────────────────────────────────────┐
│             [ 모방 학습 (Imitation Learning) 구조 ]          │
├────────────────────────────────────────────────────────┤
│ 1. 행동 복제 (Behavior Cloning)                        │
│    - 입력: 주행 영상 (카메라 이미지)                       │
│    - 출력: 사람의 핸들 꺾기, 엑셀 밟기 데이터와 동일하게 매핑 │
│    - 문제: 한 번 차선에서 벗어나면 복구하는 법을 배운 적이    │
│            없어 차가 절벽으로 떨어짐 (Cascading Error) │
│                                                        │
│ 2. DAgger (Dataset Aggregation) 알고리즘                │
│    - 차가 실수하려 할 때마다, 사람이 개입해서 올바른        │
│      핸들링 데이터를 추가로 줘서 오차를 교정함             │
│                                                        │
│ 3. 역강화학습 (IRL, Inverse Reinforcement Learning)    │
│    - 단순히 '행동'을 따라 하는 게 아니라, 사람이 운전할 때  │
│      어떤 '보상(의도)'을 얻으려 했는지 그 마음을 역추적함    │
└────────────────────────────────────────────────────────┘

행동 복제 (Behavior Cloning): 일반적인 지도 학습(Supervised Learning)과 똑같다. "이런 커브길 사진을 보면 핸들을 30도 꺾어라"라는 정답을 그대로 외운다. (테슬라 FSD V12의 End-to-End 학습의 기본 철학)
역강화학습 (IRL): 사람은 "부딪히지 않아야 한다", "신호를 지켜야 한다"는 보상 함수(Reward Function)를 속으로 계산하며 운전한다. AI가 사람의 행동만 보지 않고 그 '숨겨진 의도(보상 함수)'를 거꾸로 수학적으로 추론해 내어, 낯선 상황에서도 사람처럼 유연하게 판단하게 만드는 고급 기법이다.

📢 섹션 요약 비유: 행동 복제가 댄스 가수의 춤 동작만 똑같이 흉내 내는 것이라면, 역강화학습은 "저 가수는 왜 저 타이밍에 저런 표정을 지을까?"라는 가수의 '의도'까지 훔쳐서 무대가 바뀌어도 완벽하게 춤을 추는 것이다.

Ⅲ. 비교 및 연결

자율주행의 뇌를 구성하는 강화학습, 모방 학습, 그리고 기존의 규칙 기반 제어의 특징을 비교하면 다음과 같다.

비교 항목	규칙 기반 제어 (Rule-based)	강화학습 (RL)	모방 학습 (Imitation Learning)
학습 방식	엔지니어가 C++로 조건문 코딩	사고와 성공의 보상 점수로 스스로 학습	인간 전문가의 주행 데이터를 그대로 복사
장점	결과가 100% 예측 가능함 (안전성)	낯선 환경에서도 스스로 최적해 도출 가능	초기 학습 속도가 압도적으로 빠름
치명적 단점	예외 상황(Edge Case) 처리에 취약	실차로 수백만 번 충돌 실험 불가 (시뮬레이터 의존)	인간이 한 번도 안 해본 상황을 만나면 뻗어버림
실무 아키텍처	ADAS (차선 유지 보조 등) 1단계 기술	시뮬레이션 환경 내의 정밀 제어	테슬라 FSD v12 (End-to-End 신경망 제어)

결국 현대 자율주행은 이 세 가지를 모두 섞어 쓴다. 모방 학습으로 운전 면허증을 따게 만들고, 가상 시뮬레이터 속에서 강화학습으로 눈길/빗길 대처 훈련을 시킨 뒤, 절대로 해선 안 될 행동(역주행 등)은 최후의 보루인 규칙 기반 가드레일로 막아버리는 하이브리드 아키텍처다.

📢 섹션 요약 비유: 코딩(규칙)이 내비게이션 경로라면, 모방 학습은 베스트 드라이버 아빠의 운전 습관을 배운 것이고, 강화학습은 카트라이더 게임을 수만 번 하면서 충돌 회피 스킬을 스스로 터득한 것이다.

Ⅳ. 실무 적용 및 기술사 판단

실무 적용 시나리오: 구글 웨이모(Waymo)나 테슬라(Tesla)는 수백만 대의 차량에서 '사람의 우수한 운전 데이터'를 빨아들인다. 섀도 모드(Shadow Mode)를 켜두고, 인간이 교차로에서 부드럽게 감속하는 브레이크 타이밍(Expert Trajectory)을 모방 학습 서버로 보내 AI 신경망을 지속적으로 튜닝한다.

기술사 판단 포인트 (Trade-off): 자율주행 AI 아키텍처를 설계할 때는 **'데이터 편향'과 '분포 변화(Distribution Shift)'**를 가장 치명적인 위험으로 간주해야 한다.

인간 전문가의 데이터에는 '직진' 데이터가 99%고 '사고 회피' 데이터는 1% 미만이다. 이를 그대로 모방 학습시키면, AI는 직진은 기가 막히게 잘하지만 코너링이나 끼어들기는 전혀 하지 못하는 바보가 된다(데이터 편향).
조금이라도 궤도(차선)를 벗어나는 순간(분포 변화), 모방 학습만 한 AI는 자신이 학습하지 않은 화면을 보고 당황하여 운전대를 놓아버린다. 따라서 반드시 CARLA 같은 가상 시뮬레이터 안에서 강화학습을 통해 AI를 일부러 미끄러뜨리고 복구하는 훈련(Edge Case Training)을 병행해야 한다.

📢 섹션 요약 비유: 맑은 날 직진만 하는 평화로운 비디오만 100시간 보여주면(데이터 편향), 나중에 눈 내리는 급커브 길을 만났을 때 AI는 얼어붙어 버린다. 반드시 시뮬레이터에서 폭우와 폭설(강화학습)을 겪게 해야 한다.

Ⅴ. 기대효과 및 결론

모방 학습의 최대 공로는 자율주행의 상용화 시기를 수십 년 앞당겼다는 점이다. 복잡한 수학 공식과 물리학으로 자동차의 동역학을 계산하지 않고도, 단지 "인간이 눈으로 보고 핸들을 이렇게 꺾더라"는 직관적인 엔드투엔드(End-to-End) 신경망만으로 차가 굴러가게 만들었다.

결론적으로 자율주행의 진화는 모방 학습이라는 '인간의 거인 어깨' 위에서 출발하여, 강화학습이라는 '스스로 깨우치는 날개'를 달고 날아오르고 있다. 기술사는 자율주행 AI가 인간을 맹목적으로 모방하는 단계를 넘어, 보상 함수(Reward)를 최적화하여 궁극적으로 레이싱 카 드라이버의 한계조차 뛰어넘는 초인적(Superhuman) 지능으로 향하고 있음을 이해해야 한다.

📢 섹션 요약 비유: 모방 학습이 부모의 걸음마를 따라 배우는 아기 단계라면, 강화학습은 스스로 자전거에서 수백 번 넘어지며 균형 감각을 터득해 마침내 부모보다 더 자전거를 잘 타게 되는 청소년 단계다.

📌 관련 개념 맵

상위 개념: 인공지능 (AI), 자율주행 (Autonomous Driving), 강화학습 (RL)
하위 개념: Behavior Cloning (행동 복제), IRL (역강화학습), DAgger 알고리즘
연결 개념: End-to-End Learning, Edge Case (예외 상황), CARLA 시뮬레이터

👶 어린이를 위한 3줄 비유 설명

로봇 자동차에게 처음부터 길을 찾으라고 하면 이리 쿵 저리 쿵 부딪혀서 고장 나버려요.
그래서 모방 학습은 베스트 드라이버 아빠가 운전하는 모습을 동영상으로 수천 번 보여주고 "아빠처럼 똑같이 해!"라고 가르치는 거예요.
아빠를 똑같이 따라 하다가도(모방), 가끔 실수로 삐끗하면 시뮬레이터 오락기 안에서 안 부딪히는 법을 혼자 연습(강화학습)해서 완벽해진답니다!