326. 회귀 분석 (Regression Analysis)

핵심 인사이트 (3줄 요약)

본질: 회귀 분석(Regression Analysis)은 하나 이상의 원인(독립 변수, $X$)이 결과(종속 변수, $Y$)에 미치는 영향을 수학적인 선형 방정식($Y = aX + b$)으로 모델링하여, 미래의 값을 연속적인 수치로 예측하는 통계 기법이다.

가치: "광고비를 1억 늘리면, 매출이 정확히 몇 퍼센트 오를까?"처럼 비즈니스의 불확실성을 구체적인 숫자(회귀 계수, $a$)로 정량화해 주어 데이터에 기반한 의사결정(Data-driven Decision)을 가능하게 한다.

판단 포인트: 독립 변수(X)가 여러 개일 때 변수들끼리 서로 상관관계가 너무 높으면(다중 공선성) 회귀 계수($a$)가 비정상적으로 튀어 예측이 망가지므로, VIF(분산 팽창 지수)를 확인하여 겹치는 변수를 제거하는 데이터 전처리가 아키텍처의 생명이다.

Ⅰ. 개요 및 필요성

영국의 유전학자 프랜시스 골턴(Francis Galton)은 부모의 키가 유난히 커도, 그 자식들의 키는 결국 세대를 거듭할수록 전체 인류의 평균 키로 되돌아가는 현상을 발견하고 이를 '평균으로의 회귀(Regression to the mean)'라고 불렀다. 여기서 '회귀'라는 통계학 용어가 탄생했다.

현대의 데이터 과학에서 회귀 분석은 평균으로 돌아가는 현상을 넘어, **"과거의 데이터 패턴을 그어놓은 선(Line)을 연장하여 미래의 값을 찍어 맞추는 기술"**로 쓰인다. "이메일이 스팸인가(Yes/No)?"를 맞추는 것이 '분류(Classification)'라면, "내일 강남구 아파트값이 얼마일까(연속된 숫자)?"를 맞추는 가장 기본적이고 완벽한 뼈대가 바로 회귀 분석이다.

📢 섹션 요약 비유: 수많은 점(과거 데이터)들 한가운데를 관통하는 가장 예쁜 직선(회귀선)을 하나 그어놓고, 그 선을 미래 쪽으로 쭉 연장해서 내일의 날씨(예측값)를 읽어내는 자(Ruler)와 같다.

Ⅱ. 아키텍처 및 핵심 원리

회귀 분석은 결과에 영향을 미치는 원인의 개수에 따라 단순 선형 회귀와 다중 선형 회귀로 나뉜다.

┌────────────────────────────────────────────────────────┐
│             [ 회귀 분석의 수학적 구조 및 예측 ]            │
├────────────────────────────────────────────────────────┤
│ 1. 단순 선형 회귀 (Simple Linear Regression)           │
│    [ Y = aX + b + ε ]                                  │
│    - Y: 종속 변수 (결과, 예: 아이스크림 판매량)             │
│    - X: 독립 변수 (원인, 예: 기온 1개)                    │
│    - a: 회귀 계수 (기온 1도 오를 때 판매량이 얼마나 뛰는가?)│
│                                                        │
│ 2. 다중 선형 회귀 (Multiple Linear Regression)         │
│    [ Y = a₁X₁ + a₂X₂ + a₃X₃ + ... + b + ε ]         │
│    - 원인이 여러 개 (예: 기온, 강수량, 미세먼지 농도)        │
│                                                        │
│ 3. 잔차 (Residual, ε)                                 │
│    - 실제 데이터(점)와 내가 그은 회귀선과의 오차 거리        │
│    - OLS (최소 제곱법): 이 오차들의 제곱의 합이 가장        │
│      작아지는 황금비율 'a'와 'b'를 찾아내는 수학적 엔진      │
└────────────────────────────────────────────────────────┘

회귀 계수 ($a$, 기울기): X가 1단위 증가할 때 Y가 얼마나 증가(또는 감소)하는지를 나타내는 파워(Power) 수치다. 이 숫자가 클수록 X가 Y에 미치는 영향력이 막강하다는 뜻이다.
절편 ($b$, y절편): X가 0일 때 Y의 기본값이다. (예: 온도가 0도여도 기본적으로 팔리는 아이스크림 개수)
잔차 ($\epsilon$, 오차): 세상의 어떤 선분도 모든 데이터를 100% 꿰뚫을 수는 없다. 선에서 벗어난 점들의 거리(오차)가 잔차이며, 이 잔차를 최소화하는 선을 찾는 것이 모델 학습의 목표다.

📢 섹션 요약 비유: 매출(Y)이라는 빵을 굽기 위해 온도(X1)와 물의 양(X2)을 어떻게 조절해야 하는지, 온도 다이얼($a_1$)과 물 조절 다이얼($a_2$)의 최적 눈금을 찾아주는 마법의 레시피 수학 공식이다.

Ⅲ. 비교 및 연결

회귀 분석의 파생 모델들을 비교하면, 데이터의 특성에 따라 선을 어떻게 휘고 구부리는지 알 수 있다.

모델명	수식 / 형태	사용 목적 및 한계
선형 회귀 (Linear Regression)	$Y = aX + b$ (직선)	가장 기본. 데이터가 직선형 패턴을 가질 때 최적
다항 회귀 (Polynomial Regression)	$Y = aX^2 + bX + c$ (곡선)	데이터가 U자나 S자 등 곡선형일 때 사용. 너무 구부리면 과적합 발생
로지스틱 회귀 (Logistic Regression)	$Y = \frac{1}{1+e^{-X}}$ (S자 확률)	결과(Y)가 0 또는 1(합격/불합격)인 분류(Classification) 문제에 사용
릿지/라쏘 (Ridge / Lasso)	페널티 항 추가	독립 변수가 너무 많을 때 쓸데없는 변수의 계수($a$)를 0으로 눌러버리는 정규화 기법

특히, 이름은 '회귀'지만 실제로는 '분류' 알고리즘인 로지스틱 회귀는 딥러닝 신경망의 가장 끝단에 붙어서 0~1 사이의 확률값(예: "이 사진이 고양이일 확률 99%")을 뱉어내는 활성화 함수(Sigmoid)의 수학적 뿌리가 된다.

📢 섹션 요약 비유: 선형 회귀가 곧게 뻗은 '대나무 자'라면, 다항 회귀는 구부러지는 '고무 자'이고, 로지스틱 회귀는 무조건 0과 1 사이에서만 결과를 보여주는 '시소'와 같다.

Ⅳ. 실무 적용 및 기술사 판단

실무 적용 시나리오: 은행의 '신용 평가(Credit Scoring)' 모델에 쓰인다. 연봉($X_1$), 대출 횟수($X_2$), 연체 이력($X_3$)을 넣으면 이 고객의 파산 확률($Y$)을 수치로 뱉어낸다. 최근에는 딥러닝이 더 정확하지만, 은행은 고객에게 "당신이 왜 대출 거절당했는지"를 설명할 법적 의무가 있으므로, 가중치($a$)가 투명하게 공개되는 회귀 분석(화이트박스 모델)을 여전히 현업 표준으로 쓴다.

기술사 판단 포인트 (Trade-off): 회귀 모델을 실무에 올리기 전, 반드시 **'결정 계수($R^2$)'**와 **'다중 공선성(VIF)'**을 검증해야 한다.

$R^2$ (설명력): 0에서 1 사이의 값으로, "내가 그은 선이 전체 데이터의 흩어짐을 몇 %나 설명하는가?"를 뜻한다. $R^2$가 0.8이면 매우 훌륭한 모델이지만, 0.2 이하라면 원인(X)이 결과(Y)를 설명하지 못하는 쓰레기 모델이다.
다중 공선성 (Multicollinearity): 변수 X1(몸무게)과 X2(BMI 지수)는 사실상 같은 데이터다. 이렇게 겹치는 변수를 같이 넣으면 수학 행렬 계산이 꼬여서 회귀 계수($a$)가 비정상적으로 커진다. VIF(분산 팽창 지수)가 10을 넘는 변수는 반드시 아키텍처에서 삭제(Drop)하거나 PCA로 압축해야 한다.

📢 섹션 요약 비유: 똑같은 말을 하는 두 명의 참모(다중 공선성)를 왕 옆에 두면 목소리만 커져서 왕의 판단이 흐려진다. 똑같은 주장을 하는 참모 중 한 명은 반드시 해고해야 예측 모델이 정상 작동한다.

Ⅴ. 기대효과 및 결론

회귀 분석은 단순한 통계 기법을 넘어, 인류가 불확실한 미래를 수학으로 꿰뚫어 보려 한 최초의 성공적인 예측 도구다. 딥러닝과 트랜스포머 같은 최신 AI 모델의 파라미터(가중치 W)를 업데이트하는 경사 하강법 과정도, 그 본질을 파고들면 결국 거대한 다차원 공간에서 회귀선을 긋는 작업의 연속이다.

결론적으로 회귀 분석은 머신러닝의 '알파(Alpha)'이자 영원한 베이스라인(Baseline) 모델이다. 기술사는 아무리 화려하고 복잡한 AI 아키텍처를 설계하더라도, 모델의 성능을 비교할 때 가장 먼저 '단순 선형 회귀'를 돌려보고, "과연 딥러닝의 막대한 비용을 태울 만큼 회귀 분석보다 월등히 나은 예측력을 내는가?"를 차갑게 검증하는 판단력을 가져야 한다.

📢 섹션 요약 비유: 회귀 분석은 덧셈 뺄셈처럼 낡아 보이지만, 덧셈 뺄셈을 모르면 미적분(딥러닝)을 할 수 없듯 모든 인공지능이 서 있는 가장 단단한 수학적 주춧돌이다.

📌 관련 개념 맵

상위 개념: 지도 학습 (Supervised Learning), 통계학 (Statistics)
하위 개념: 잔차 (Residual), OLS (최소 제곱법), 결정 계수 ($R^2$), VIF (다중 공선성)
연결 개념: 로지스틱 회귀 (Logistic Regression), Ridge/Lasso 정규화, 활성화 함수 (Activation Function)

👶 어린이를 위한 3줄 비유 설명

밤하늘에 별들이 흩어져 있을 때, 별들을 가장 많이 지나가게끔 똑바른 막대기를 하나 올려놓는 별자리 긋기 놀이예요.
회귀 분석은 수학을 써서 이 막대기를 '가장 완벽하게 가운데로 지나가게' 그어주는 기술이랍니다.
이 막대기만 잘 그어두면, 막대기 끝이 어딜 가리키는지 보고 "내일은 아이스크림이 몇 개 팔리겠다!"라고 척척 맞출 수 있어요!