AdaBoost (Adaptive Boosting)

핵심 인사이트 (3줄 요약)

본질: AdaBoost (Adaptive Boosting)는 약한 분류기(weak learner)를 순차적으로 붙여 강한 분류기를 만드는 앙상블이다.

가치: 오분류된 샘플의 가중치를 키워 다음 모델이 그 부분에 더 집중하게 만든다.

판단 포인트: 라벨 노이즈와 이상치가 많으면 가중치가 과도하게 흔들려 성능이 떨어질 수 있다.

Ⅰ. 개요 및 필요성

하나의 분류기가 모든 경계를 완벽히 그리기는 어렵다. AdaBoost는 여러 개의 약한 분류기를 순차적으로 조합해, 조금씩 놓친 부분을 보완하면서 전체 성능을 끌어올린다.

이 방법은 "약한 학습기라도 똑똑하게 모으면 강해진다"는 발상에서 출발한다. 특히 결정 스텀프처럼 아주 단순한 모델도 반복 조합하면 의미 있는 분류기를 만들 수 있다.

📢 섹션 요약 비유: 한 번에 못 푸는 문제를 여러 번 나눠 풀어 합격 점수를 만드는 방식이다.

Ⅱ. 아키텍처 및 핵심 원리

AdaBoost는 샘플 가중치 w_i를 관리하면서, 매 라운드마다 약한 분류기를 학습하고 그 오차가 큰 샘플의 가중치를 높인다. 이후 각 분류기의 성능에 따라 가중치 α_t를 계산해 최종 결정을 만든다.

단계	의미	핵심 포인트
1	샘플 가중치 초기화	모두 동일 가중치
2	약한 분류기 학습	보통 결정 스텀프 사용
3	가중 오차 계산	틀린 샘플을 더 크게 봄
4	분류기 가중치 산출	`α_t = 1/2 ln((1-ε_t)/ε_t)`
5	샘플 가중치 갱신	오분류 샘플 가중치 증가

샘플 가중치 w1, w2, ... , wn
         │
         ▼
    약한 분류기 h1
         │
  오분류 샘플 가중치 ↑
         │
         ▼
    약한 분류기 h2
         │
  오분류 샘플 가중치 ↑
         │
         ▼
최종 결합 sign(Σ αt ht(x))

AdaBoost의 핵심은 모든 샘플을 똑같이 보지 않는다는 점이다. 잘 맞힌 샘플보다 못 맞힌 샘플을 더 세게 본 뒤, 다음 분류기가 그 약점을 보완하게 만든다.

📢 섹션 요약 비유: 선생님이 틀린 문제만 다시 강조해서 다음 복습 때 더 신경 쓰게 하는 방식이다.

Ⅲ. 비교 및 연결

Bagging은 여러 모델을 병렬로 학습해 평균을 내는 반면, AdaBoost는 순차적으로 오차를 보정한다. Random Forest는 bagging 계열이고, AdaBoost는 boosting 계열이다.

기법	학습 방식	장점	주의점
Bagging	병렬	분산 감소	편향 개선은 제한적
Random Forest	병렬 + 랜덤 특성	견고함	해석이 상대적으로 어려움
AdaBoost	순차	약한 모델을 강하게 만듦	노이즈에 민감
Gradient Boosting	순차	손실 함수 최적화가 유연	튜닝이 더 복잡

AdaBoost는 Gradient Boosting의 선배격으로 볼 수 있다. 둘 다 순차적으로 틀린 부분을 보완하지만, AdaBoost는 샘플 가중치와 exponential loss에 더 직접적으로 의존한다.

📢 섹션 요약 비유: 여러 사람이 동시에 답을 적는 방식과, 한 사람이 틀린 답을 보고 다음 답을 고치는 방식은 다르다.

Ⅳ. 실무 적용 및 기술사 판단

AdaBoost는 단순한 base learner와 잘 맞고, 분류 경계가 비교적 선명한 문제에서 효과적이다. 그러나 라벨 오류가 많거나 이상치가 심하면 오분류 샘플에 계속 집중하면서 성능이 흔들릴 수 있다.

채택: 약한 규칙을 여러 번 조합해 경계를 만들고 싶을 때
회피: 노이즈가 많고 라벨 품질이 낮은 데이터
체크리스트
1. base learner를 너무 복잡하게 두지 않았는가?
2. 학습 반복 수가 과도하지 않은가?
3. 이상치가 모델을 끌고 다니지 않는가?
4. 성능 향상과 해석 가능성의 균형이 맞는가?

AdaBoost는 단순하지만 강력하다. 다만 데이터 품질이 나쁘면 강점보다 민감함이 더 크게 드러난다.

📢 섹션 요약 비유: 약한 자석 여러 개를 같은 방향으로 잘 맞추면 강해지지만, 반대로 놓으면 서로 힘이 상쇄된다.

Ⅴ. 기대효과 및 결론

AdaBoost는 간단한 분류기를 조합해 강한 모델을 만들고, 경계가 애매한 샘플을 계속 보완한다. 결국 이 개념은 "약한 모델을 똑똑하게 연결해 강한 판단으로 바꾸는 절차"로 기억하면 된다.

📢 섹션 요약 비유: 작은 불씨를 계속 모아 큰 불을 만드는 방식이다.

📌 관련 개념 맵

개념	연결 포인트
AdaBoost (Adaptive Boosting)	순차적 앙상블
weak learner	약한 분류기
sample weight	오분류 집중
boosting	순차 보정 방식
margin	분류 여유도

📈 관련 키워드 및 발전 흐름도

약한 분류기
    │
    ▼
샘플 가중치 조정
    │
    ▼
오분류 샘플 집중
    │
    ▼
약한 분류기 반복 결합
    │
    ▼
강한 분류기 생성

👶 어린이를 위한 3줄 비유 설명

틀린 문제를 자꾸 다시 보는 선생님이 있어요.
다음에는 틀린 부분을 더 열심히 보게 만들어요.
이렇게 여러 번 도와주면 점점 더 잘하게 돼요.