365. 결정 계수 (R²)와 조정된 결정 계수 (Adjusted R²)

핵심 인사이트 (3줄 요약)

본질: 결정 계수($R^2$)는 회귀 모델이 실제 데이터의 변동성을 얼마나 잘 설명하는지 0~1 사이로 나타내는 지표지만, 쓸데없는 변수(Feature)를 마구 추가해도 점수가 무조건 올라가는 수학적 착시 현상을 갖고 있다.

가치: 이 착시를 막기 위해, 변수의 개수가 늘어날 때마다 페널티를 주어 "진짜로 예측력이 높아진 변수를 넣었을 때만 점수를 올려주는" 방어막이 바로 **조정된 결정 계수(Adjusted $R^2$)**다.

판단 포인트: 독립 변수가 1개인 단순 선형 회귀에서는 그냥 $R^2$를 써도 되지만, 변수가 2개 이상인 다중 선형 회귀 실무에서는 무조건 **조정된 $R^2$**를 모델의 최종 평가(KPI) 지표로 삼아야 과적합(Overfitting)의 덫을 피할 수 있다.

Ⅰ. 개요 및 필요성

쇼핑몰 매출을 예측하는 AI를 만들었다. '광고비'라는 변수를 넣었더니 모델의 설명력($R^2$)이 80점(0.8)이 나왔다. 데이터 엔지니어가 꼼수를 부린다. 매출과 아무 상관 없는 '사장님의 혈액형', '어제 본 드라마'라는 쓰레기 변수 2개를 모델에 추가했다. 그랬더니 놀랍게도 $R^2$가 81점(0.81)으로 올랐다.

왜 그럴까? 수학적으로 $R^2$ 공식($1 - SSE/SST$)은 변수를 추가할수록 오차(SSE)가 아주 미세하게라도 줄어들 수밖에 없는 구조적 맹점을 안고 있기 때문이다. 즉, 변수를 때려 넣을수록 무조건 점수가 오르는 '거짓말 체중계'인 셈이다. 이 속임수를 차단하고 다중 회귀 분석 모델의 진짜 실력을 평가하기 위해 고안된 안전장치가 바로 **조정된 결정 계수(Adjusted $R^2$)**다.

📢 섹션 요약 비유: 가방에 책을 많이 넣을수록 똑똑해 보인다고 착각하는 지표가 $R^2$라면, Adjusted $R^2$는 가방이 하나 늘어날 때마다 "이 책 진짜 읽은 거 맞아?"라고 페널티를 줘서 진짜 머리에 든 지식만 평가하는 깐깐한 면접관이다.

Ⅱ. 아키텍처 및 핵심 원리

조정된 $R^2$는 기존 $R^2$ 공식에 '데이터의 개수($n$)'와 '변수의 개수($p$)'라는 두 가지 브레이크를 달았다.

┌────────────────────────────────────────────────────────┐
│             [ R²와 Adjusted R²의 수학적 차이점 ]             │
├────────────────────────────────────────────────────────┤
│ 1. 기존 R² (결정 계수)                                 │
│    R² = 1 - (SSE / SST)                                │
│    - 변수(p)가 추가되면 SSE(오차)는 무조건 조금이라도 작아짐 │
│    - 결과적으로 R²는 무조건 커지는 착시 발생               │
│                                                        │
│ 2. 조정된 R² (Adjusted R-Squared)                      │
│    Adj_R² = 1 - [ (SSE / (n - p - 1)) / (SST / (n - 1)) ]│
│    - p (독립 변수의 개수): 분모에 있어 p가 커질수록 페널티 발생!│
│    - n (데이터의 개수): 데이터가 많으면 페널티를 조금 상쇄해 줌 │
│                                                        │
│ 3. 페널티의 텐션 (Trade-off)                            │
│    - 쓰레기 변수 추가: 설명력 상승보다 p 페널티가 커서 점수 하락!│
│    - 훌륭한 변수 추가: p 페널티를 이겨낼 만큼 설명력이 커서 점수 상승!│
└────────────────────────────────────────────────────────┘

자유도 (Degrees of Freedom): 분모에 있는 $(n-p-1)$은 통계학의 자유도를 의미한다. 변수($p$)가 하나 늘어날 때마다, 모델이 억지로 정답을 맞출 수 있는 꼼수(자유도)를 하나씩 빼앗는 수학적 철학이 담겨 있다.
점수의 하락: 만약 모델에 전혀 도움이 안 되는 노이즈 변수를 넣으면, $R^2$는 그대로거나 미세하게 오르지만, Adjusted $R^2$는 패널티 공식 때문에 오히려 점수가 뚝 떨어지게 된다.

📢 섹션 요약 비유: 1명이 100점 맞은 것과 10명이 힘을 합쳐 105점을 맞은 것은 다르다. Adjusted $R^2$는 "인원수(변수)를 늘렸으면 그만큼 밥값을 해야지!"라며 인원수 대비 진짜 기여도를 따지는 효율성 평가다.

Ⅲ. 비교 및 연결

다중 회귀 분석 모델을 평가할 때 데이터 엔지니어가 봐야 할 지표들의 포지션을 비교해 본다.

비교 항목	결정 계수 ($R^2$)	조정된 결정 계수 (Adjusted $R^2$)	F-통계량 (p-value)
측정 대상	모델이 데이터를 꿰뚫는 설명력 (비율)	변수 개수의 페널티를 감안한 진짜 설명력	모델 자체가 통계적으로 의미가 있는가?
변수 추가 시 변화	무조건 증가하거나 유지됨 (착시)	좋은 변수면 증가, 쓰레기 변수면 하락	-
적용 도메인	1개의 변수를 가지는 단순 선형 회귀	2개 이상의 변수를 가지는 다중 선형 회귀	회귀 분석의 기초 신뢰성 검증
목적	가장 직관적인 성과 보고 지표	과적합(Overfitting) 방어 및 변수 선택	모델 폐기 여부 결정

조정된 $R^2$는 모델의 '과적합(Overfitting)'을 방어하는 가장 기초적인 지표다. 딥러닝에 L1, L2 정규화(Regularization)가 있다면, 전통적인 다중 선형 회귀에는 Adjusted $R^2$라는 내장된 페널티 가드레일이 존재하는 셈이다.

📢 섹션 요약 비유: $R^2$가 화려하게 포장된 매출액(Gross)이라면, Adjusted $R^2$는 이것저것 떼어내고 남은 진짜 순이익(Net)이다. 사장님에게 보고할 때는 반드시 순이익으로 보고해야 회사가 망하지 않는다.

Ⅳ. 실무 적용 및 기술사 판단

실무 적용 시나리오: 부동산 가격 예측 모델을 만들 때 전진 선택법(Forward Selection) 파이프라인을 짠다. 처음엔 '평수' 변수만 넣는다. (Adj $R^2$: 0.6) 다음으로 '지하철 거리'를 넣는다. (Adj $R^2$: 0.75 - 채택!) 다음으로 '아파트 도색 색깔'을 넣는다. 이때 $R^2$는 0.751로 미세하게 오르지만, Adj $R^2$는 0.74로 떨어진다. 즉시 이 변수를 버리는 의사결정을 자동화할 수 있다.

기술사 판단 포인트 (Trade-off): 회귀 아키텍처를 설계할 때 기술사는 **'변수의 개수(Feature Size)'**를 최소화하는 차원 축소를 위해 이 지표를 활용해야 한다.

현업 부서는 "일단 있는 데이터 다 때려 넣어봐"라고 요구한다(차원의 저주). 이때 기술사는 다중 공선성(VIF) 검사와 함께 Adjusted $R^2$ 지표를 무기로 내세워, 쓰레기 변수들을 쳐내는 수학적 근거를 제시해야 한다.
하지만 Adjusted $R^2$도 완벽하지 않다. 데이터가 수백만 건($n$이 압도적으로 큼)일 경우, 변수 개수($p$)에 대한 페널티가 너무 미미해져 기능이 무력화된다. 따라서 빅데이터 환경에서는 AIC(Akaike Information Criterion)나 BIC 같은 정보량 기준 지표와 함께 교차 검증(Cross-validation)을 병행하는 것이 정석이다.

📢 섹션 요약 비유: 변수를 많이 넣는 것은 약을 많이 먹는 것과 같다. Adjusted $R^2$는 이 약이 진짜 병을 치료하는 약인지, 쓸데없이 간 수치만 높이는 독약인지 판별해 주는 부작용 검사기다.

Ⅴ. 기대효과 및 결론

결정 계수($R^2$)가 선형 회귀의 직관적인 아름다움을 만들었다면, 조정된 결정 계수(Adjusted $R^2$)는 그 아름다움 뒤에 숨어있는 '데이터 뻥튀기'라는 수학적 착시를 막아낸 현실의 수호자다.

결론적으로 현대의 데이터 분석은 수십~수백 개의 변수를 다루는 다변량 분석(Multivariate Analysis) 환경이다. 이런 환경에서 단순 $R^2$를 쳐다보는 것은 자살 행위와 같다. 기술사는 파이토치나 사이킷런(Scikit-learn) 파이프라인의 최종 출력물에 항상 $R^2$와 Adjusted $R^2$를 나란히 띄워두고, 두 지표의 격차가 크게 벌어진다면 모델이 쓰레기 변수를 먹고 체한 상태(Overfitting)임을 즉각 진단해 내는 안목을 가져야 한다.

📢 섹션 요약 비유: 10명의 선수가 뛰는 축구팀보다 100명의 선수가 뛰는 팀이 무조건 이기듯, 단순 $R^2$는 룰이 없는 싸움이다. Adjusted $R^2$는 양 팀의 선수 숫자를 똑같이 11명으로 제한해 두고 오직 진짜 실력만 겨루게 만드는 공평한 심판이다.

📌 관련 개념 맵

상위 개념: 회귀 분석 (Regression Analysis), 모델 평가 지표
하위 개념: SSE (오차 제곱합), SST (총 제곱합), 자유도 (Degrees of Freedom)
연결 개념: 과적합 (Overfitting), 전진 선택법/후진 제거법, AIC / BIC

👶 어린이를 위한 3줄 비유 설명

가방에 책을 많이 넣고 다닐수록 똑똑해 보인다고 착각하는 게 $R^2$(결정 계수)예요. 만화책을 넣어도 똑똑해 보이죠.
Adjusted $R^2$(조정된 결정 계수)는 선생님이 깐깐하게 가방을 열어보고 "이 만화책은 공부랑 상관없잖아!"라며 점수를 깎아버리는 거예요.
그래서 진짜 공부에 도움 되는 책만 넣어야 점수가 올라가니까, 모델이 헛똑똑이가 되는 걸 완벽하게 막아준답니다!