72. 카이제곱 검정 ($\chi^2$ Test, Chi-square Test)

⚠️ 이 문서는 "혈액형이 A형인 사람은 성격이 소심할까?" 또는 "성별(남/녀)에 따라 선호하는 아이스크림 맛(초코/딸기/바닐라)이 진짜로 다를까?"처럼, **키나 몸무게 같은 더하기 빼기가 되는 '연속형 숫자'가 아니라, [A형, B형], [남자, 여자]처럼 텍스트로 딱딱 끊어지는 '범주형 데이터(명목 변수)' 두 개가 서로 관계가 있는지, 아니면 완전 남남(독립)인지를 교차표(Cross Table)를 겹쳐놓고 '기대치'와 '현실'의 갭을 통해 수학적으로 판별해 내는 통계학의 그물망, '카이제곱 검정'**을 다룹니다.

핵심 인사이트 (3줄 요약)

  1. 본질: 앞서 배운 T-검정이나 ANOVA는 '평균 점수(숫자)'를 비교하는 툴이었다면, 카이제곱 검정은 오직 "남자 몇 명, 여자 몇 명" 하는 머리수(빈도수, Frequencies)만 엑셀 표로 그려놓고, 이 비율이 우연히 터진 건지 진짜 법칙이 있는 건지 잡아내는 빈도수 특화 무기다.
  2. 가치: "여성 고객은 우리 화장품을 더 좋아한다!"는 마케팅 팀의 뇌피셜 교차표를 보고, "그건 그냥 여자가 쇼핑몰에 더 많이 들어와서(비율) 많이 산 것처럼 보일 뿐, 남녀 성별과 화장품 선호도는 통계적으로 1%도 상관없습니다(독립입니다)."라고 팩트 폭행을 날려 타겟 마케팅의 헛발질을 막아준다.
  3. 기술 체계: "아무 차이가 없었더라면 나와야 할 기대 빈도(Expected)"를 먼저 엑셀에 그려놓고, "실제 우리 눈앞에 벌어진 관측 빈도(Observed)"와 겹쳐서 비교한다. 이 두 표의 숫자 갭(오차)을 다 제곱해서 더한 값($\chi^2$)이 비정상적으로 크면 귀무 가설을 찢고 "둘은 관련이 있다(독립이 아니다)!"라고 판결한다.

Ⅰ. T-검정이 죽는 곳, 카이제곱이 춤추는 곳

숫자로 평균을 낼 수 없는 텍스트의 세계에 진입하다.

  1. 범주형(Categorical) 데이터의 모순:
    • 데이터 분석가가 설문지를 돌렸다. [문항 1: 당신의 성별은? 남/녀], [문항 2: 어떤 백신을 맞으셨나요? 화이자/모더나/얀센].
    • 남녀 그룹이 선호하는 백신이 다른지 확인하려는데, "화이자는 1점, 모더나는 2점이니까 남자의 평균은 1.5점이고..."라고 계산하는 놈은 뺨을 맞는다. 텍스트(범주) 데이터는 더하거나 평균을 낼 수 없다!
    • 즉, 연속된 숫자(돈, 키)가 아니라, 바구니에 이름표(Category)만 붙어있는 데이터를 분석할 땐 지금까지 배운 T-검정, ANOVA, 피어슨 상관 계수를 1도 써먹을 수 없다.
  2. 교차 분석표 (Cross Tabulation / Contingency Table):
    • 유일한 해결책은 바구니에 담긴 텍스트의 '머리수(COUNT)'를 세어서 바둑판(표)을 그리는 것이다.
    • 가로줄엔 남, 녀를 적고 세로줄엔 화이자, 모더나, 얀센을 적는다.
    • [남자이면서 화이자 맞은 사람 30명], [여자이면서 모더나 맞은 사람 50명]... 빈칸을 엑셀 머리수로 채운다. 이 바둑판 표가 바로 카이제곱 검정의 심장부(입력 데이터)다.

📢 섹션 요약 비유: 학생들의 수학 점수와 영어 점수를 비교(연속형)할 때는 저울(T-검정, 피어슨)에 올려서 평균 무게를 달면 됩니다. 하지만 학생들의 '좋아하는 계절(봄여름가을겨울)'과 '좋아하는 라면(신라면, 진라면)'을 비교하려면 저울에 달 수가 없습니다. 이때는 교실 바닥에 4x2짜리 커다란 바둑판 선(교차 분석표)을 그려놓고, 학생들에게 자기 취향에 맞는 칸(바구니)으로 뛰어가서 서 있으라고 한 뒤, 각 칸에 들어간 사람의 '머릿수(빈도수)'만 1, 2, 3 세어보는 방식, 이것이 바로 범주형 데이터 카이제곱의 출발점입니다.

Ⅱ. 독립성 검정 (Test of Independence): 우연인가, 필연인가

"기대했던 뻔한 그림(기대 빈도)"과 "눈앞의 미친 현실(관측 빈도)"을 겹쳐 보라.

  1. 상황극 세팅:
    • 남녀 각각 100명씩 총 200명을 조사했다.
    • 남자 100명 중 $\rightarrow$ 화이자 60명, 모더나 40명.
    • 여자 100명 중 $\rightarrow$ 화이자 10명, 모더나 90명.
    • 엑셀 교차표를 눈으로 쓱 보니 여자가 모더나를 엄청 좋아하는 것 같다. "성별과 백신 종류는 강력한 관련이 있다(대립 가설 H1)!"라고 외치고 싶다.
  2. 귀무 가설(H0)의 반격: "기대 빈도(Expected)" 계산:
    • 통계학 판사가 막아선다. "아냐, 남녀는 백신 취향에 **완전히 남남이고 독립적이다(아무 관련 없다, H0)**라고 억지로 100% 가정해 보자."
    • 만약 남녀 취향이 진짜 똑같았다면(독립적이라면), 200명 중 화이자가 70명, 모더나가 130명 팔렸으니, 기대 빈도는 당연히 [남자 화이자 35명, 여자 화이자 35명], [남자 모더나 65명, 여자 모더나 65명] 처럼 반반씩 예쁘게 쪼개져야 정상(이론치)이다.
  3. 카이제곱($\chi^2$) 통계량 폭발과 판결:
    • 2번에서 짠 '예쁜 공산주의 표(기대 빈도)'와 1번의 '눈앞에 벌어진 치우친 표(관측 빈도)' 2장을 빛에 비춰서 겹쳐본다.
    • (관측 - 기대)^2 / 기대 공식을 4칸 모두 돌려서 더한다.
    • [남자 화이자: 현실 60명 - 기대 35명 = 오차 +25명]. [여자 화이자: 현실 10 - 기대 35 = 오차 -25명].
    • 오차(차이)가 25명씩이나 무지막지하게 크다. 공식을 뚫고 나온 $\chi^2$(카이제곱) 값이 우주로 치솟고, 기계가 뱉는 $p$-value는 0.0001을 찍는다.
    • 판사의 결론: "우연히(기대 빈도) 남녀가 이런 극단적인 숫자로 흩어질 확률은 0에 가깝다! 귀무 가설(서로 아무 관련 없는 독립이다)을 갈기갈기 찢어 기각한다! 성별과 백신 선택은 무조건 통계적으로 강력하게 얽혀있다(연관 있다)!"

📢 섹션 요약 비유: 카이제곱 독립성 검정은 '완벽한 가짜 장부(기대 빈도)'를 하나 만들어두고 진짜 영수증(관측 빈도)이랑 대조하는 세무 조사입니다. 혈액형(A, B, O)과 성격(소심, 활발)이 정말 아무 관계도 없는 남남(독립, H0)이라면, A형 바구니든 B형 바구니든 소심한 놈들이 들어간 비율(기대 빈도)이 완벽하게 똑같아야 합니다. 그런데 실제 사람들을 조사해보니(관측 빈도), 유독 A형 바구니에만 소심한 놈들이 터질 듯이 몰려있습니다! 두 장부를 겹쳐보니 숫자의 갭(카이제곱 값)이 미친 듯이 큽니다. 세무 조사관은 "이건 절대 우연이 아냐, A형과 소심함 뒤에는 검은 커넥션(연관성)이 분명히 존재한다!"라며 팩트를 입증해 내는 명쾌한 대조 수사법입니다.

Ⅲ. 적합도 검정 (Goodness of Fit Test)의 응용

남과 남을 비교하는 게 아니다. 내가 세운 뇌피셜(가설)과 현실을 대조한다.

  1. 독립성 검정과의 차이:
    • 아까 독립성 검정은 바구니가 두 개(성별 $\times$ 백신)인 2차원 바둑판이었다.
    • 적합도 검정은 바구니가 1차원(한 줄)이다. 사장님이 주사위를 하나 가져와 던지기 전에 외친다. "이 주사위는 사기 주사위가 아니다. 1부터 6까지 무조건 **1/6 확률(16.6%)**로 공평하게 나올 것이다!(이론적 비율, 귀무 가설)"
  2. 현실(관측)과의 처절한 대조:
    • 주사위를 600번 던져보았다 (관측). 사장님의 이론(기대 빈도)대로라면 1부터 6까지 정확히 100번씩 예쁘게 나와야 한다.
    • 그런데 [1번: 50회, 2번: 150회, 3번: 100회, 4번: 100회, 5번: 50회, 6번: 150회] 라는 엉망진창의 현실 엑셀 데이터가 찍혀 나왔다.
  3. 적합도(Fit)의 파괴:
    • 두 한 줄짜리 표를 겹치고 공식을 돌려 갭($\chi^2$)을 구한다. 오차가 너무 커서 $p$-value가 $0.05$ 밑으로 뚫렸다.
    • 판결: "사장님이 세운 그 완벽한 이론(기대 비율)과 현재의 데이터는 '적합(Fit)하지 않습니다!' 즉, 귀무 가설 기각! 저 주사위는 100% 2번과 6번이 무겁게 조작된 사기 주사위(대립 가설)입니다!" 라고 팩트를 때려 부순다.
    • 선거 여론 조사("A후보 40%, B후보 60%일 것이다")가 실제 개표 결과와 맞아떨어졌는지(적합한지) 검증할 때 쓰이는 아주 빠르고 유용한 일차원 필살기다.

📢 섹션 요약 비유: 적합도 검정은 옷가게 주인이 "우리 동네는 스몰, 미디움, 라지 사이즈 옷이 1:2:1 비율로 팔릴 거야!(내가 짠 뇌피셜 기대 빈도)"라고 장부를 적어놓고 장사를 시작하는 것입니다. 한 달 뒤, 창고를 털어 실제 팔린 옷의 개수(관측 빈도)를 세어봅니다. 만약 스몰만 미친 듯이 다 팔리고 라지는 썩고 있다면, 두 장부의 오차(카이제곱 갭)가 폭발하며 "사장님의 뇌피셜 비율은 이 동네 현실과 1%도 적합(Fit)하지 않은 헛소리다!(가설 기각)"라고 기계가 차갑게 뺨을 때려 재고 발주를 수정하게 만들어주는 팩트 체크 시스템입니다.