핵심 인사이트 (3줄 요약)
- 본질: Gradient Descent (경사하강법)은 손실 함수의 기울기 반대 방향으로 파라미터를 조금씩 이동해 최솟값을 찾는 최적화 방법이다.
- 가치: Learning Rate (학습률)는 한 번에 얼마나 움직일지를 정하는 스텝 크기이므로, 수렴 속도와 안정성을 동시에 좌우한다.
- 판단 포인트: 학습률이 너무 크면 발산하고, 너무 작으면 느리게 수렴하므로 옵티마이저와 스케줄을 함께 봐야 한다.
Ⅰ. 개요 및 필요성
경사하강법은 모델이 내는 오차를 줄이기 위해 손실 함수의 기울기를 따라 내려가는 가장 기본적인 최적화 방법이다. 이때 학습률은 한 걸음의 길이를 정하는 값이어서, 같은 경사라도 얼마나 빨리 내려갈지가 달라진다.
딥러닝 모델이 커질수록 손실 지형은 울퉁불퉁해지고, 데이터 배치가 바뀔 때마다 그래디언트가 흔들린다. 그래서 학습률은 단순한 하이퍼파라미터가 아니라, 학습이 진행되는 동안 안정성과 속도를 조정하는 핵심 제어값이다.
- 📢 섹션 요약 비유: 산을 내려갈 때 한 번에 내딛는 보폭을 정하는 나침반이다.
Ⅱ. 아키텍처 및 핵심 원리
경사하강법의 기본식은 w_{t+1} = w_t - α ∇L(w_t)로 표현된다. 여기서 α가 학습률이고, ∇L(w_t)는 현재 위치에서의 기울기다. 핵심은 기울기의 방향을 따르되, 한 번에 얼마나 갈지는 학습률이 정한다는 점이다.
| 방법 | 업데이트 단위 | 장점 | 한계 |
|---|---|---|---|
| Batch Gradient Descent | 전체 데이터 | 방향이 안정적 | 느리고 메모리 부담이 크다 |
| Stochastic Gradient Descent (SGD) | 샘플 1개 | 빠르고 노이즈가 있어 탈출에 유리 | 진동이 크다 |
| Mini-batch SGD | 작은 묶음 | 속도와 안정성의 균형이 좋다 | 배치 크기 선택이 중요하다 |
높은 손실
/
/ \ α 너무 큼 -> 튐
/ \__ α 적절 -> 완만한 하강
/ \ α 너무 작음 -> 매우 느림
즉, 학습률은 손실 곡선 위에서 모델이 '얼마나 과감하게 내려갈지'를 정하는 제어 손잡이다.
- 📢 섹션 요약 비유: 같은 내리막길이라도 큰 보폭은 미끄러지고, 너무 작은 보폭은 오래 걸린다.
Ⅲ. 비교 및 연결
학습률은 옵티마이저와 스케줄과 함께 봐야 한다. Momentum은 이전 방향을 누적해 진동을 줄이고, Adam (Adaptive Moment Estimation)은 파라미터별로 학습률을 자동 보정한다. 따라서 '기본 학습률'이 같아도 실제 움직임은 알고리즘마다 다르다.
| 기법 | 조절 대상 | 유리한 상황 | 주의점 |
|---|---|---|---|
| Momentum | 방향 | 좁은 골짜기에서 진동 완화 | 관성이 과하면 지나칠 수 있다 |
| Adam (Adaptive Moment Estimation) | 파라미터별 스텝 | 초반 수렴이 빠른 편 | 일반화가 약해질 수 있다 |
| Step Decay | 구간별 학습률 | 일정 구간마다 수렴을 다듬을 때 | 감소 시점을 잘 잡아야 한다 |
| Cosine Annealing | 곡선형 감소 | 큰 모델과 긴 학습 | 초반 과감한 탐색이 필요하다 |
| Warm-up | 초반 증가 | 대규모 모델의 초기 불안정 완화 | 너무 길면 학습이 늦어진다 |
학습률 스케줄은 '한 번 정한 보폭을 끝까지 쓰지 말고, 학습 단계에 맞춰 줄이거나 늘리라'는 뜻이다.
- 📢 섹션 요약 비유: 오르막에서는 천천히, 평지에서는 빠르게 걷는 등산 전략과 같다.
Ⅳ. 실무 적용 및 기술사 판단
-
큰 배치나 큰 모델에서는 Warm-up과 감쇠 스케줄을 같이 쓴다.
-
CNN (Convolutional Neural Network) 계열은 SGD + Momentum이 더 좋은 일반화를 보일 때가 있다.
-
Transformer (트랜스포머) 계열은 AdamW와 Cosine Annealing 조합이 자주 쓰인다.
-
그래디언트 폭주가 보이면 학습률부터 낮추고, 필요하면 Gradient Clipping (기울기 제한)을 추가한다.
-
손실이 들쭉날쭉하면 배치 크기, 정규화, 학습률을 함께 점검한다.
-
❌ 한 번 정한 학습률을 끝까지 고정하는 것
-
❌ optimizer만 바꾸고 스케줄은 손대지 않는 것
-
❌ 너무 큰 학습률로 발산한 뒤 모델 탓을 하는 것
-
📢 섹션 요약 비유: 조향장치와 브레이크가 같이 맞아야 차가 코너를 돈다.
Ⅴ. 기대효과 및 결론
학습률은 최적화의 속도계이자 안전장치다. 잘 고르면 같은 모델도 더 빨리, 더 안정적으로 수렴하고, 잘못 고르면 좋은 구조도 끝내 발산한다.
앞으로는 학습률을 사람이 수동으로 맞추기보다, 스케줄러와 자동 탐색으로 추정하는 방향이 더 중요해진다. 결론적으로 학습률은 '얼마나 배울지'가 아니라 '어떻게 배울지'를 결정하는 핵심 변수로 기억해야 한다.
- 📢 섹션 요약 비유: 공부할 때 속도 조절을 잘해야 넘어지지 않고 끝까지 간다.
📌 관련 개념 맵
| 개념 | 연결 포인트 |
|---|---|
| Gradient Descent (경사하강법) | 손실을 줄이는 기본 최적화 방법 |
| Learning Rate (학습률) | 한 번에 움직이는 스텝 크기 |
| Momentum | 이전 방향을 누적해 진동을 줄임 |
| Adam (Adaptive Moment Estimation) | 파라미터별 적응형 스텝을 사용함 |
| Scheduler (학습률 스케줄러) | 학습 단계에 맞춰 보폭을 조정함 |
📈 관련 키워드 및 발전 흐름도
손실 함수 -> 그래디언트 계산 -> 학습률 선택 -> 파라미터 업데이트 -> 스케줄 조정 -> 수렴
👶 어린이를 위한 3줄 비유 설명
- 산을 내려갈 때 한 걸음 크기가 학습률이에요.
- 한 번에 너무 멀리 가면 넘어지고, 너무 조금 가면 오래 걸려요.
- 그래서 컴퓨터는 상황에 맞게 걸음 크기를 바꾸며 내려간답니다.