핵심 인사이트 (3줄 요약)

  1. 본질: 정상성(Stationarity)은 "시간이 흘러도 데이터의 평균과 분산이 널뛰지 않고 일정하게 유지되는 성질"을 의미하며, ARIMA 같은 전통적인 시계열 모델이 미래를 예측하기 위해 반드시 요구하는 절대적인 수학적 전제 조건이다.
  2. 가치: 데이터에 우상향하는 추세(Trend)나 여름마다 오르는 계절성(Seasonality)이 껴 있으면 예측 공식이 무너지므로, 모델을 돌리기 전에 이 데이터가 정상인지 비정상인지 가려내는 '안전 검사' 역할을 한다.
  3. 판단 포인트: 눈으로 차트를 보고 정상성을 판단하는 것은 주관적이므로, 실무에서는 **ADF Test (Augmented Dickey-Fuller Test)**라는 엄격한 통계적 가설 검정을 돌려 p-value가 0.05 미만일 때만 "정상성이 확보되었다"고 판정하는 자동화 파이프라인이 필수적이다.

Ⅰ. 개요 및 필요성

시계열 분석의 근본적인 철학은 "과거의 패턴이 미래에도 똑같이 반복될 것이다"라는 믿음이다. 그런데 주식 차트처럼 평균이 계속 위로 솟구치거나(추세), 진폭(분산)이 갈수록 미친 듯이 넓어지는 데이터라면 과거의 패턴을 미래에 적용할 수 없다. 패턴 자체가 매일 변하기 때문이다.

그래서 통계학자들은 선언했다. "우리는 오직 평균이 일정하고, 출렁임(분산)이 일정한 데이터만 예측하겠다!" 이 조건을 **정상성(Stationarity)**이라고 부른다. 그리고 눈앞에 있는 데이터가 이 까다로운 조건을 만족하는지(정상 데이터인지), 아니면 튀는 데이터(비정상 데이터)인지 수학적으로 감별해 내는 가장 유명한 진단 키트가 바로 ADF Test다.

📢 섹션 요약 비유: 잔잔한 호수(정상성 데이터)에서는 돌멩이를 던졌을 때 퍼지는 물결을 예측하기 쉽다. 하지만 태풍이 몰아쳐 파도가 널뛰는 바다(비정상성 데이터)에서는 물결을 예측할 수 없으니, 바다를 댐으로 막아 잔잔한 호수로 만든 뒤에야 예측을 시작하겠다는 원리다.

Ⅱ. 아키텍처 및 핵심 원리

정상성을 판별하는 가설 검정인 ADF Test(Augmented Dickey-Fuller Test)의 메커니즘을 살펴보자.

┌────────────────────────────────────────────────────────┐
│             [ ADF Test (정상성 검정) 작동 원리 ]             │
├────────────────────────────────────────────────────────┤
│ 1. 단위근 (Unit Root)의 개념                           │
│    - 수식에 '단위근(1)'이 존재하면 데이터가 우주 끝까지 폭발함!│
│    - 즉, "단위근이 있다 = 비정상(Non-stationary)이다"       │
│                                                        │
│ 2. 가설 설정 (Hypothesis)                              │
│    - 귀무가설 (H0): 단위근이 존재한다. (비정상 데이터다)      │
│    - 대립가설 (H1): 단위근이 없다. (정상 데이터다)            │
│                                                        │
│ 3. p-value 판결                                        │
│    - p-value < 0.05 : 귀무가설 기각 -> "정상 데이터 합격!"  │
│    - p-value > 0.05 : 귀무가설 채택 -> "비정상! 차분(d) 해!"│
└────────────────────────────────────────────────────────┘
  1. 엄격한 정상성 (Strict Stationarity): 확률 분포 자체가 시간에 따라 아예 변하지 않는 완벽한 상태지만, 현실에서는 존재하지 않는다.
  2. 약한 정상성 (Weak Stationarity): 실무에서 말하는 정상성은 이것이다. 첫째, 평균이 시간에 따라 일정해야 한다(추세가 없음). 둘째, 분산이 시간에 따라 일정해야 한다(파도 높이가 일정). 셋째, $t$시점과 $t-k$시점의 상관관계가 오직 시간 차이($k$)에만 의존해야 한다.
  3. ADF Test의 결론: p-value를 보고 "비정상" 판정이 나오면, 데이터 엔지니어는 데이터에 로그(Log)를 씌워 분산을 잡고, 차분(Differencing, "오늘 값 - 어제 값")을 적용해 평균을 0으로 깎아내려 강제로 정상 데이터로 수술해야 한다.

📢 섹션 요약 비유: ADF Test는 데이터가 병(단위근)에 걸렸는지 확인하는 코로나 검사 키트다. "양성(p-value가 큼)"이 뜨면 환자(비정상 데이터)이므로 수술실(차분과 로그)로 보내고, "음성(p-value가 작음)"이 뜨면 건강하므로 바로 훈련장(ARIMA 모델)으로 보낸다.

Ⅲ. 비교 및 연결

정상성 데이터를 만드는 두 가지 마법의 수술 도구인 '차분'과 '로그 변환'을 비교한다.

비정상 원인증상 (차트 모양)처방전 (전처리 기법)치료 후 결과 (정상화)
평균이 안 맞음우상향 하거나 우하향하는 **추세(Trend)**가 있음차분 (Differencing)
(오늘 값 - 어제 값)		선이 수평이 됨 (평균이 0으로 고정)
분산이 안 맞음시간이 갈수록 파도의 진폭이 점점 넓어짐로그 변환 (Log Transformation)파도의 높이가 처음부터 끝까지 일정해짐
계절성이 있음여름마다 뾰족하게 솟구침 (Seasonality)계절 차분 (Seasonal Diff)
(오늘 값 - 1년 전 오늘 값)		계절 주기가 제거된 평평한 잔차만 남음

이 과정을 거쳐 완벽하게 평균 0, 분산 $\sigma^2$을 띠며, 어제와 오늘의 상관관계가 0인 순수한 노이즈만 남게 되는데 이를 **백색 잡음(White Noise)**이라고 한다. 시계열 모델의 최종 목적은 데이터에서 뽑아먹을 정보를 다 뽑아먹고 이 백색 잡음만 남기는 것이다.

📢 섹션 요약 비유: 비정상 데이터는 점점 커지고 넓어지는 '괴물 파도'다. 로그 변환으로 파도의 높이를 일정하게 깎고, 차분으로 파도가 올라가는 경사로를 평지로 밀어버리면, 우리가 다룰 수 있는 귀여운 '잔물결(백색 잡음)'만 남게 된다.

Ⅳ. 실무 적용 및 기술사 판단

실무 적용 시나리오: 비트코인 가격 예측 모델을 짠다. 비트코인 차트를 그대로 ARIMA 모델에 넣으면 모델은 터져버린다. 파이썬의 statsmodels 라이브러리로 adfuller(bitcoin_price)를 돌려보니 p-value가 0.89가 나왔다(비정상). 기술사는 즉시 가격에 log를 씌우고 diff() 함수로 1차 차분을 낸 뒤 다시 ADF 검정을 돌린다. p-value가 0.01로 떨어졌다. 비로소 이 차분된 데이터를 ARIMA 모델에 넣고 학습을 시작한다.

기술사 판단 포인트 (Trade-off): 시계열 예측 자동화 파이프라인에서 기술사는 '과차분(Over-differencing)'의 위험성을 통제해야 한다.

  1. 데이터를 강제로 정상으로 만들겠다고 차분(빼기)을 2번, 3번 계속(d=3) 해버리면, 데이터가 가진 원래의 소중한 정보(Signal)까지 몽땅 깎여나가 쓰레기 노이즈(Noise)만 남게 된다.
  2. 따라서 파이프라인 아키텍처는 $d=0$부터 시작해서 ADF Test의 p-value가 0.05 밑으로 떨어지는 최초의 순간(보통 $d=1$ 또는 $d=2$)에 차분을 멈추도록(Break) 자동화 로직을 짜야 한다. 절대 $d$값을 수동으로 고정(Hard-coding)해두면 안 된다.

📢 섹션 요약 비유: 나무 조각(데이터)을 예쁜 둥근 공(정상성)으로 깎으려는데, 대패질(차분)을 너무 많이 하면 나무가 아예루 가루(정보 유실)가 되어버린다. 둥글어지는 그 찰나의 순간에 대패질을 멈추는 것이 기술사의 감각이다.

Ⅴ. 기대효과 및 결론

정상성 검정은 과거의 통계학자들이 불확실성으로 가득 찬 현실 세계를 수학의 틀 안으로 끌어들이기 위해 세운 가장 강력한 '입구 컷(Gate-keeping)' 시스템이다. 이 엄격한 검문을 통과한 데이터만이 미래를 예측할 자격을 얻는다.

결론적으로 정상성과 ADF Test는 딥러닝 시대에도 여전히 유효한 시계열 분석의 십계명이다. 트랜스포머(Transformer) 모델을 시계열에 적용할 때도, 원본 데이터를 그대로 넣는 것보다 차분과 정규화를 통해 정상성을 확보한 뒤 넣었을 때 예측 성능(MSE)이 훨씬 뛰어나다는 것이 수많은 논문으로 입증되었다. 기술사는 예측 모델의 껍데기(알고리즘)보다, 그 모델에 들어가는 밥(데이터)이 정상적인지를 검사하는 ADF Test 파이프라인을 최우선으로 구축해야 한다.

📢 섹션 요약 비유: 최고의 요리사(ARIMA, 딥러닝)를 모셔왔더라도, 상한 식재료(비정상 데이터)를 주면 배탈이 난다. ADF Test는 주방에 들어가기 전 식재료의 신선도를 1초 만에 검사해 주는 완벽한 독극물 탐지기다.

📌 관련 개념 맵

  • 상위 개념: 시계열 분석 (Time Series Analysis)
  • 하위 개념: 단위근 (Unit Root), 귀무가설/대립가설, p-value
  • 연결 개념: ARIMA 모델, 차분 (Differencing), 백색 잡음 (White Noise)

👶 어린이를 위한 3줄 비유 설명

  1. 매일 키가 크는 어린이의 '키 그래프'를 보면, 내일 얼마나 더 클지 맞추기가 너무 어려워요. 차트가 계속 위로 뚫고 올라가니까요.
  2. 그래서 과학자들은 키의 숫자(150cm) 대신 "오늘은 어제보다 1cm 컸네?"라는 '자라난 높이'만 모아서 평평한 그래프로 바꿔서 예측해요.
  3. 이렇게 널뛰는 그래프를 평평하고 얌전하게 바꿔야만 미래를 맞출 수 있다는 규칙이 바로 '정상성'이랍니다!