2. Statsmodels를 이용한 시계열 분석

해당 내용부터는 수학적인 내용들이 많이 나오는데 수식에 대한 깊은 이해보단 사용하는 코드 위주로 정리해보았다.

 

 

2-1. ETS-Decomposition

시계열 데이터는 특별한 속성들 - 요소들을 가진다

• 첫번째 요소는 트렌드, 추세이다.하나의 데이터에서 한가지 추세만을 보이거나 여러개의 추세가 보일 수도 있다. 시계열 데이터는 어떤 방향으로든 추세를 가진다.
  • 따라서 분석하고자 하는 시계열 데이터가 어떤 추세를 가지고 있는지 시각화하여 보는 것이 중요하다
  • 시계열 데이터는 경향성이 있는 경우가 있는데 위로 가는 추세, 혹은 중간에 수평방향이나 변하지 않는 추세, 아래로 내려가는 추세가 있다

• 두번째 요소는 계절성이다.해당 강의에서는 스노우보드와 스노우보딩의 검색 기록과 계절의 관계를 예시로 들었는데 매 겨울마다 해당 키워드의 검색량이 증가하고 여름마다 감소하는 경향을 보이는 것을 알 수 있다.
  • 이러한 경향성을 반복적 추세를 계절성이라 한다. 반복적인 패턴 외에도 그래프 전체의 추세가 어떠한지도 알 수 있다.
  • 계절성은 이름에서 알 수 있듯이 계절마다 변화가 존재하는 또는 일정 주기를 지니고서 반복적으로 보이는 추세이다.

• 세번째 요소는 반복성이 없는 요소인 순환 요소이다. 이러한 요소를 순환, 순환적 요소라 하며 특정 기간동안 반복적 추세가 보이지 않는다.
  • 상승을 하다가 또 하락을 하기도 하지만 계절성과 같은 반복적 추세가 보이지 않을 때가 있다. 이런 경우 매년 혹은 어떤 주기를 바탕으로 예측하기가 어렵다. 주기가 뚜렷하게 보인다면 그것은 계절성이다. 하지만 이렇게 어떤 데이터셋에서는 뚜렷한 주기가 보이지 않기도 한다. 현실의 많은 데이터셋이 이런 경우에 속한다.

 

따라서 시계열 데이터를 분석할 때 데이터에 어떤 시계열 요소가 있는지 확인하는 것이 중요하다.

 

 

Statsmodels에 있는 여러 기능들을 통해 요소들을 확인하고 분석할 수 있다. statsmodels는 시계열 데이터의 요소 분해를 위한 계절성 요소 분해를 제공한다.

분해되는 요소로는 계절성 요소와 오차요소, 추세 요소가 있다

ETS 모델은 오차(E), 추세(T), 계절성(S) 세 요소를 더하거나 곱하거나 혹은 일부를 사용하지 않고 데이터를 평활화 한다

어떤 시계열 데이터의 일반적 특성을 이해하기 위해서는 오차, 추세, 계절성에 기반해 시각화를 하면 좋다

 

++ ETS모델은 오차(Error) + 추세(Trend) + 계절성(Seasonality Models)의 줄임말로 지수 평활법(Exponential Smoothing)과 ETS분해(ETS Decomposition), 추세 모형(Trend Methods Models)과 같은 다양한 모델을 포함하는 일반적 표현이다.

 

 

 

< 연간 항공기 탑승객 데이터 >

 

• 해당 그래프는 1949년부터 1960년 말까지 월간 비행기 승객수를 천명 단위로 나타낸 그래프로 먼저 전체적으로 증가하는 추세 요소를 볼 수 있다
• 이러한 추세 요소에는 선형 추세와 지수형 추세가 있으며 둘다 증가 혹은 감소할 수 있다
• 해당 그래프의 경우 지수형에 가까워보이지만 원시 데이터셋에서는 확실히 말할 수 없으므로 추세 요소를 분리하여 확인하는 작업이 필요하다
• 원시 데이터에서 추세가 선형으로 혹은 지수형으로 상승할지에 대해 확실하게 어려운 이유로는 추세에 계절성이 더해져 보이기 때문이다
• 사용한 데이터는 비행기 승객수므로 여름기간 연휴동안 승객의 수가 피크를 찍는 패턴이 반복되는 것을 볼 수 있다
• 따라서 전반적으로 증가하는 추세에 매 해 반복되는 계절성이 추가됨을 알 수 있다

---

from statsmodels.tsa.seasonal import seasonal_decompose

result = seasonal_decompose(airline['Thousands of Passengers'], model='multiplicative')  # model='mul' also works
result.plot();

 

• seasonal_decompose에서 ETS분해를 할 때 ETS 모델에는 두 종류가 있는데 하나는 덧셈 모델이고 하나는 곱셈 모델이다
  • 덧셈 모델은 매년 만명의 승객이 증가하는 것과 같이 추세가 선형에 더 가깝고 계절성이 거의 얼정해보일 때 적용할 수 있다
  • 곱셈 모델은 매년 승객의 수가 전년도에 비해 두배로 늘어나는, 지수적 증감하는 경우나 비선형적으로 증가 혹은 감소하는 경우에 더 적합하다
  • 아래 ETS 분해에서는 model='multiplicative', 즉 곱셈 모델을 사용하였다. 덧셈 모델을 사용하려면 'additive' 또는 'add'를 입력하면 된다.
  • result에는 여러 값들이 담겨 있으며 trend로 추세 요소 값들을, 또는 계절성 요소 값들을 불러올 수 있다. 또는 resid로 잔차도 확인할 수 있다

---

 

 

 

• statsmodels의 seasonal_decompose에 분해하기를 원하는 값을 넣고 ETS분해를 해보면 시간순에 따라 그려진 4개의 그래프를 반환한다.
• 첫번째는 원본 그래프이다
• 두번째는 추세 그래프이다. 실제 데이터 포인트의 전반적인 상승 또는 하강세를 보여주며 비행기 승객수 데이터의 경우 전반적으로 상승하는 추세를 보여주고 있으며 그래프의 모양을 보고 이 추세가 지수형인지 선형인지 더 확실하게 확인할 수 있다
• 세 번째는 계절성 변동 그래프이다. 해당 그래프는 반복되는 계절성 요소들을 직선화한것, 추세 요소를 제거한 것과 같다.
• 네 번째는 잔차 요소 그래프이다. 잔차 요소는 추세나 계절성으로 설명되지 않는 것들을 의미한다. 추세나 계절성으로 설명되지 않는 잔차나 오차들이 잔차항에 표시되는 것이다. 그래서 잡음과도 같다하여 White Nosise라고도 한다.
  • 잔차는 데이터셋의 어디 부분에 노이즈가 많은지 아닌지를 나타내주는 역할을 하기도 한다
  • 이를 바탕으로 데이터셋의 앞부분이 중간부분보다 잡음이 더 많은, 오차나 잔차가 더 큰 것으로 보인다

 

---

 

2-2. MA - Moving-Average

 

(1) SMA - Simple Moving Average

일정 주기를 이동시키면서 평균값을 구하여 시계열 데이터의 특징을 분석하는 방법, MA(Moving Averages).

우리는 이미 이전에 판다스의 rolling을 이용하여 MA를 사용하였다. 판다스의 rolling을 이용해 윈도우 창을 이동하면서 평균값을 구하는 단순 이동 평균을 통해 시계열 데이터의 추세를 어느정도 볼 수 있음을 확인하였다.

 

airline['6-month-SMA'] = airline['Thousands of Passengers'].rolling(window=6).mean()
airline['12-month-SMA'] = airline['Thousands of Passengers'].rolling(window=12).mean()

 

단순 이동 평균을 사용시 이동 평균 기간에 따른 그래프 비교를 위해 6개월, 12개월에 따른 이동 평균값 컬

럼을 생성해주었다.

 

Month	Thousands of Passengers	6-month-SMA	12-month-SMA
1949-01-01	112	NaN	NaN
1949-02-01	118	NaN	NaN
1949-03-01	132	NaN	NaN
1949-04-01	129	NaN	NaN
1949-05-01	121	NaN	NaN
1949-06-01	135	124.500000	NaN
1949-07-01	148	130.500000	NaN
1949-08-01	148	135.500000	NaN
1949-09-01	136	136.166667	NaN
1949-10-01	119	134.500000	NaN
1949-11-01	104	131.166667	NaN
1949-12-01	118	128.833333	126.666667
1950-01-01	115	123.333333	126.916667
1950-02-01	126	119.666667	127.583333
1950-03-01	141	120.500000	128.333333

 

 

 

• 1000명 단위의 승객 수 데이터셋을 단순 이동 평균하면 이동 평균 기간(윈도우 창)에 따라 다르지만 데이터의 전반적인 특징을 볼 수 있다.

이동 평균 기간을 12개월로 길게 잡는다면 전반적인 추세를 얻을 수 있고 반대로 이동 평균 기간이 짧을 때는 아래서 볼 수 있듯이 어느정도 계절성이 포함된 시계열 데이터의 특징을 볼 수 있다
=> 이렇게 단순 이동 평균을 이용해 분석하고자 하는 실제 시계열 데이터를 설명하는 일반적 모델을 만들 수 있다.

 

• 단순 이동 평균의 문제점
  • 전체 모델이 같은 이동 평균 기간으로 제한된다는 것이다. 이동 평균 기간을 12개월이든 6개월로 주든 같은 데이터셋 내에서는 이동하는 횟수가 동일하다는 것.
  • 모든 TimeStamp에 대해 같은 중요도를 가진다. 최근의 데이터들이 오래된 데이터보다 미래에 대한 결과를 반영할 확률이 높으므로 최신 데이터에게 좀 더 높은 가중치를 부여할 수 있으면 보다 더 정확한 예측이 가능할 것이다. 
  • 단순 이동 평균의 한계점으로 짧은 이동 평균 기간을 이용하면 (윈도우 창이 작아지면) 적용한 데이터셋에 너무 fit하게 되어 신호보다 잡음이 더 커질 수 있다는 점이 존재한다.
  • 이동 평균 기간이 짧아질수록 시계열 데이터, 적용한 데이터에 대해 더 잘 설명할 수는 있지만 그에 비례하여 잡음의 크기(오차)가 커지게 되므로 적절한 이동 평균 기간을 찾는것은 굉장히 어렵다. 
  • 뿐만 아니라 단순 이동 평균을 하게되면 이동 평균 기간만큼의 시차가 생긴다.
  • 평균값을 구함으로써 원래 데이터셋의 극대, 극소값에도 못 미친다는 단점도 존재한다. 이 점은 그래프에서 극소 극대값에 못미치는 것을 확인할 수 있다. 반대로 지나치게 높거나 낮은 이상치가 있다면 왜곡된 추세를 보여줄 수도 있다. 
  • 단순 이동 평균은 적용한 데이터의 일반적 추세만 나타낼뿐 실제로 미래에 대한 정보를 갖고 있는 것은 아니다. 과거에 대한 분석만 할 뿐이다.

---

그래서 이러한 문제점들을 보완하고자 지수 가중 이동 평균, EWMA가 나오게되었다. 

 

 

---

 

(2) EWMA - Exponentially Weighted Moving Average

 

• 단순 이동 평균의 한계점, 문제점
  • 작은 이동 평균 기간이 더 큰 잡음을 유발
  • 이동 평균 기간에 무관하게 시차가 존재
  • 평균으로 인해 극대-극소값에 도달하지 못함
  • 미래 양상에 대한 정보를 주지 않고 데이터의 전반적 추세만 보여줌
• 지수 가중 이동 평균, EWMA는 최근 값들에 가중치를 적용하여 - 최근의 데이터 포인트에 과거의 데이터 포인트보다 더 큰 가중치를 줌으로써 단순 이동 평균에서의 시차 효과를 감소시킨다.
• 지수 가중 이동 평균의 인자들
  • span : N일 이동 평균. N일 지수 가중 이동 평균을 하고자 한다면 span인자를 통해 이동 평균 기간을 정해주면 원하는 기간만큼 지수 가중 이동 평균을 할 수 있음
  • com (center of mass) : C=(1-s)/2, span과 역관계.
  • halfilfe : 반감기. 지수적 가중치가 반으로 줄어드는데 걸리는 기간
  • => 사실 수학적인 설명에는 이해가 많이 부족함. 그러니 가장 사용하기 쉬운 span 매개변수를 위주로 다룰거임.

airline['EWMA12'] = airline['Thousands of Passengers'].ewm(span=12,adjust=False).mean()
airline[['Thousands of Passengers','EWMA12','12-month-SMA']].plot(figsize=(12,8)).autoscale(axis='x',tight=True);

 

< SMA와 EWMA 그래프 비교 >

 

• SMA는 rolling을 이용해 1년 단위로 구한 값으로 계절성이 거의 반영되지 않고 있다.
• EWMA를 적용하여 그린 그래프를 보면 시작부분과 끝부분의 차이가 두드러지는걸 확인할 수 있다
• 원본 데이터가 초반 부분에서는 주기의 폭이 작다가 갈수록 넓어지는데 이러한 특징을 EWMA에서 잘 반영한 것을 볼 수 있다. 한마디로 계절성 추세가 시작부분에서 끝 부분으로 갈수록 더 잘 보인다.
• .ewm(span=12)로 1년에 해당하는 12개월 지수 가동 이동 평균으로 값을 구해서 이동 평균 기간이 12개월인 단순 이동 평균과 비교를 해보면 계절성의 반영 차이가 큼을 확인할 수 있다.

 

---

 

2-3. Holt-Winters-Methods

• 이전에는 간단하게 하나의 평활인자, 알파값을 이용해 지수 평활을 하는 지수 가중 이동 평균, EWMA에 대해 배웠다
• 하지만 EWMA는 계절성이 반영되기는 하지만 어디까지나 SMA에 비해서 비교적 반영될 뿐 계절성과 전반적 추세를 제대로 고려하지 못한다. 지수 평활을 할 때 하나의 매개변수만을 사용하기 떄문이다
• 홀트-윈터스 계절성 기법은 예측식에 더해 세 개의 평활식으로 구성되어 있다
  • 첫 번째는 수준으로 lt를 사용, 평활 매개 변수 알파와 대응
  • 두 번째는 추세요소로 bt를 쓰고, 평활 매개 변수 베타와 대응
  • 세 번째는 계절성 요소로 st를 씀, 평활 매개 변수 감마와 대응
  • 여기서 lt, bt, st나 평활 매개 변수 알파 베타, 감마와 같은 어려운 단어들이 있지만 앞에서 이야기한 추세와 계절성 요소가 반영되느냐에 따라 단일, 이중, 삼중 지수 평활법 3가지로 나눠진다고 간단하게 이해해도 충분하다
• 이 방법은 계절성 요소의 성질에 따라 두가지로 바뀐다. 앞에서 ETS 분해에서 덧셈 기법과 곱셈 기법 두가지가 사용된 것을 기억하면 된다. 계절성 요소를 다루기 위한 방법으로
  • 첫 번째는 덧셈 기법. 계절성 요소가 전체 데이터에서 일정한 폭으로 나타날 때 이용 (ETS에서는 선형적일때)
  • 두 번째는 곱셈 기법. 계절적 변동폭이 데이터의 수준에 비례해 나타날 때 사용됨. (ETS에서는 지수적일때)

 

---

 

(1) Simple Exponential Smoothing

• 단일 지수 평활법. SimpleExpSmoothing이 있고 또 이전에 지수 가중 이동 평균법과 기본적으로 같다고 이해하면 된다. 실제로 그래프를 그려보면 지수 가중 이동 평균, EWMA과 거의 흡사하게 그려진다.
• 이 식에서 추세를 나타내는 새로운 평활 매개변수 베타를 추가하여 이중 지수 평활법(홀트 기법)으로 전개한다.
• 지금은 단순 이동 평균법으로 모델이 간단하지만 시계열 요소들이 하나씩 추가될수록 모델의 복잡도가 올라간다

from statsmodels.tsa.holtwinters import SimpleExpSmoothing

span = 12
alpha = 2/(span+1)
# 왜 span이 1보다 같거나 커야하고 알파 값이 2/(span+1)인지는 이전 강의 참고.

df['EWMA12'] = df['Thousands of Passengers'].ewm(alpha=alpha,adjust=False).mean()
df['SES12']=SimpleExpSmoothing(df['Thousands of Passengers']).fit(smoothing_level=alpha,optimized=False).fittedvalues.shift(-1)
# optimized=False로 설정하면 fitted_model 결과값이 한칸씩 아래로 밀려서 shitf(-1) 해줌

 

 

지수 가중 이동 평균과 단일 지수 평활법, 이중 지수 평활법, 원본 그래

 

 

SimpleExpSmoothing은 SES12로, 지수 가중 이동 평균은 EWMA12로 둘이 거의 완전히 겹쳐 보이는 것을 확인할 수 있다.

 

 

---

(2) Double Exponential Smoothing

• 홀트 기법이라고 불리는 이중 지수 평활식으로 지수 가중 이동 평균(EWNA)에서 알파 매개변수와 수준 요소에 추세 요소를 표현하는 베타 매개변수를 추가한다(trend)
  • 수준 요소만 사용하면 Simple Exponential Smoothing
  • 수준 + 추세 요소를 사용하면 Double Exponential Smoothing
• 홀트 기법은 시계열 데이터를 실질적인 값인 수준 요소와 추세 두가지로 분리하는 개념이다.
• 이중 지수 평활범에서 추세 변수를 설정할 때 데이터가 기울어진 직선 모양의 추세(선형적)를 보여준다면 덧셈 모형(add)를, 지수적으로 증가하거나 곡선형 추세를 보인다면 곱셈 모형(mul)을 사용한다.

 

from statsmodels.tsa.holtwinters import ExponentialSmoothing

df['DESadd12'] = ExponentialSmoothing(df['Thousands of Passengers'], trend='add').fit().fittedvalues.shift(-1)
df[['Thousands of Passengers','EWMA12','DESadd12']].iloc[:24].plot(figsize=(12,6)).autoscale(axis='x',tight=True);

 

 

1949-1950년 그래프 (좌)  /  1959-1960년 그래프 (우)

• 1949-1950년은 데이터셋의 맨 처음 2년 데이터이고 1959-1960년은 데이터셋의 맨 끝에서 2년간의 데이터이다.
• 단일 지수를 사용하는 지수 가중 이동 평균(EWMA)과 이중 지수 평활법(DES; Double Exponential Smoothing ) 그래프를 비교하였을 때 추세라는 항이 추가되었을 때 단일 지수 평활법의 곡선보다 원본에 훨씬 더 잘 예측하는 것을 볼 수 있다

 

이중 지수 평활법 덧셈 모델과 곱셈 모델 비교.

 

• 데이터의 추세가 선형적인지(덧셈모델) 지수적인지(곱셈모델) 비교하기 위해 그래프를 그렸으나 전체적으로 봤을 땐 둘 다 예측을 잘 하는 것으로 보인다. 이럴 땐 일부를 잘라서 확대해서 비교하는 방법이 좋다
• 이렇게 앞에서 2년 단위로 짤라서 확대해봤을 때 곱셈 모형이 덧셈 모형에 비해 더 잘 맞는것을 알 수 있다

---

(3) Triple Exponential Smoothing

• 삼중 지수 평활법에서는 추세 뿐 아니라 계절성 요소까지 반영하기에 seasonal라는 파라미터가 추가된다.
• 따라서 추세 요소가 선형적, 지수적 증가인지에 더해 계절성 요소가 시간의 지남에 따라 선형적인지 혹은 변화하는지 확인이 필요하다
• 원시 데이터만으로는 덧셈 모델과 곱셈 모델 중 어떤 것이 더 적합할 지 알수 없으므로 그래프를 그린뒤에 비교하여 더 잘 예측하는 모델로 선택한다.

df['TESadd12'] = ExponentialSmoothing(df['Thousands of Passengers'],trend='add',seasonal='add',seasonal_periods=12).fit().fittedvalues
# 이중 지수 평활법과 달리 seasonal, seasonal_periods라는 추가인자가 있어서 shfit(-1)을 하지 않아도 됨
df['TESmul12'] = ExponentialSmoothing(df['Thousands of Passengers'],trend='mul',seasonal='mul',seasonal_periods=12).fit().fittedvalues
df[['Thousands of Passengers','TESadd12','TESmul12']].plot(figsize=(12,6)).autoscale(axis='x',tight=True);

 

 

삼중 지수 평활법 곱셈 모델과 덧셈 모델 비교

 

전체적으로 보기엔 삼중 지수 평활법에 곱셈, 덧셈 모델 모두 잘 예측하는 것으로 보인다. 이럴 땐 계절성의 패턴에 따라 일정 주기로, 일정 월이나 연단위로 끊어서 그래프를 확대해보면 더 정확히 비교할 수 있

 

df[['Thousands of Passengers','TESadd12','TESmul12']].iloc[:24].plot(figsize=(12,6)).autoscale(axis='x',tight=True);

 

 

1949-1950년 삼중 지수 평활법 곱셈 모델과 덧셈 모델 비교

 

확대해서 비교시 곱셈 모델이 더 잘 예측하는 것을 볼 수 있다. 따라서 사용할 모델로 곱셈 모델을 선택하면 된다. 

 

---

 

지금까지 ETS분해를 통해 시계열 데이터를 3가지 요소로 분해하는 것부터 이동 평균 모델(MA)와 홀트-윈터스 기법에 시계열 요소들을 반영하여 어떻게 시계열 예측을 진행하는지 배웠다. 다음으로는 시계열 예측의 대표적인 통계 모델 ARIMA와 여러 시계열 예측 모델과 데이터 판별법 및 처리방법, 모델 예측 방법들을 진행해볼 것이다. 

 

 

 

---

여담으로 이전에 미국에서 패션 관련 시계열 및 테이블 데이터로 forecasting을 하시는 데이터사이언티스트분과 커피챗을 나누었는데 현업에서 시계열 예측에 주로 어떤 모델을 사용하는가 여쭤봤더니 XGBoost와 같은 트리계열의 머신러닝 모델을 주로 쓴다고 하셨고 그럼 ARIMA와 같은 모델은 많이 사용하는가 여쭤봤더니 Timestamp와 데이터만 존재하는 단변량 데이터일 경우 어쩔 수 없이 사용한다고 하신다. 피쳐가 많을수록 예측에 도움을 줄 수 있는 정보들이 많아지므로 피쳐가 많다면 트리계열 머신러닝 모델이나 딥러닝을 사용하는 것이 좋다고 말씀하셨다.
주식이나 금융 관련 도메인에서는 ARIMA와 같은 전통 통계 모델을 더 많이 사용하는 것으로 알고 있는데 시계열 예측 강의를 보는 내 목적은 현업에서 전력소비량을 예측하는 태스크에 적용하고자함이다.
실제로 사용하지 않더라도 여기에서 배운 내용이 확장되어 시계열 예측에 사용될 것이다. 실제 업무에서는 LSTM과 같은 딥러닝과 트리 계열 머신러닝 모델 위주로 사용하겠지만 기초는 꼭 한번 잘 다지고 넘어가자.