はじめに

色々と発展的な時系列系の分析手法に手を付けようとすると、基本的な時系列分析についての知識が抜け抜けだったので、初心に帰って沖田先生の本に目を通しました。

いつも通り簡単にまとめたいと思います。

経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)

作者:竜義, 沖本
発売日: 2010/02/01
メディア: 単行本

はじめに
時系列分析の基礎
ARMA過程
ARMA過程の定常性と反転可能性
VARモデル

時系列分析の基礎

自己共分散

時点1から $T$ までに観測された時系列データを ${ y_t }_{t=1}^T$ を表現する。異なる時点同士の共分散を次にように表現され、一次の自己共分散と呼ばれる。

$\gamma_{1t} = Cov(y_t, y_{t-1}) = E[(y_t - \mu_t)(y_{t-1} - \mu_{t-1})$ ]

ここで、 $\mu _{t-1} = E( y _{ t-1 } )$ である。

一次の自己共分散が正であれば、1時点離れたデータは期待値を基準にして同じ方向に動く傾向にあり、負であれば1時点離れたデータは期待値を基準にして異なる方向に動く傾向にある。

一般化した2次以降の自己共分散は、k次の自己共分散と呼ばれ次のように表現される。

$\gamma_{kt} = Cov(y_t, y_{t-k}) = E[(y_t - \mu_t)(y_{t-k}-\mu_{t-k})$ ]

ここで、 $\mu _{t-k}=E(y _{t-k})$ である。

自己相関係数

自己共分散を基準化したものを自己相関係数と呼び、k次の自己相関係数は次のように定義される。

$\rho_{kt} = Corr(y_t, y_{t-k}) = \frac{Cov(y_t, y_{t-k})}{\sqrt{Var(y_t) Var(y_{t-k} ) } } = \frac{\gamma_{kt}}{\sqrt{\gamma_{0t} \gamma_{0,t-k}}}$

自己相関係数を $k$ の関数としてみたものは自己相関関数と呼ぶ。

自己相関性の検定

自己相関性の検定はかばん検定と呼ばれる検定を用いて確認する。

検定を行うために、標本期待値、標本自己共分散、標本自己相関係数と呼ばれる標本の統計量を推定する。

標本期待値

$\bar y = \frac{1}{T} \sum_{t=1}^T y_t$

標本自己共分散

$\hat \gamma_k = \frac{1}{T} \sum_{t=1}^T (y_t - \bar y) (y_{t-k} - \bar y)$

標本自己相関係数

$\hat \rho_k = \frac{\hat \gamma_k}{\hat \gamma_0}$

検定では、標本自己相関係数 $\hat \rho _k$ を用いて、 $H_0 : \rho_k=0$ という帰無仮説を $H_1: \rho_k=0$ という対立仮説を用いる。

この時、帰無仮説の下での $\hat \rho_k$ の漸近分布を求める必要がある。

複数の自己相関係数が全て0であるかどうかの検定を考える場合もある。

定常性

同時分布や基本統計量の時間不変性に関するものである。

弱定常性

任意の $t$ と $k$ に対して以下が成立する時、弱定常過程である。

$E(y_t) =\mu$

$Cov(y_t,y_{t-k})=E[(y_t-\mu )( y_{t-k} - \mu )] = \gamma_k$

つまり、弱定常性は過程の期待値と自己共分散が時間を通じて一定であることを意味する。

自己共分散は、時点には依存せず時間差 $k$ のみに依存することになる。

よって、任意の $k$ に対して $\gamma_k = \gamma_{-k}$ が成立する。

この時の、自己相関は次にように定義される。

$Corr(y_t, y_{t-k}) = \frac{\gamma_{kt}}{\sqrt{\gamma_{0t} \gamma_{0,t-k}}} = \frac{\gamma_{k}}{\sqrt{\gamma_{0}}} = \rho_k$

強定常性

強定常性は、任意の $t$ と $k$ に対して、[tex:(y_t, y{t+1}, \dots y{t+k} )']の同時分布が同一となることを意味する。

強定常性は非常に強い仮定であり、一般的に定常性があるという場合は弱定常性であるという意味である

ホワイトノイズ

全ての $t$ に対して以下が成立する時、ホワイトノイズと呼ぶ。

$\displaystyle{ E(\epsilon_t) =0 \\ }$

${ \gamma_k = E(\epsilon_t \epsilon_{t-k}^t) = \left\{ \begin{array}{ll} \Sigma & (k = 0) \\ 0 & (k \neq 0) \end{array} \right. }$

正規過程に従うホワイトノイズは正規ホワイトノイズに従うという。

ホワイトノイズは弱定常過程であり、i.i.d系列である。

ARMA過程

MA過程

1次MA過程

移動平均過程(Moving avarage process)は、ホワイトノイズを拡張したものであり、1次MA過程は次にように定期される。

$\displaystyle{ y_t = \mu + \epsilon_t + \theta_t \epsilon_{t-1} , 　\epsilon_t \sim W.N.(\sigma^2) }$

MA過程の確率変装は全てホワイトノイズによって決まる。

また、 $t-1$ の時の定義は次にようになる。

$\displaystyle{ y_{t-1} = \mu + \epsilon_{t-1} + \theta_t \epsilon_{t-2} }$

$y_t$ と $y_{t-1}$ のモデルが $\epsilon_{t-1}$ という共通項を持つので、 $y_t$ と $y_{t-1}$ で相関が生じるため、MA(1)モデルは1次自己相関をもつ。

MA(1)の期待値は $\mu$ 、分散は次のようになる。

${ \gamma_0 = Var(y_t) = Var(\mu + \epsilon_t + \theta_t \epsilon_{t-1}) = Var(\mu) + \epsilon_t^2 Var(\epsilon_{t-1}) +2 \theta_1 Cov(\epsilon_{t}, \epsilon_{t-1}) = (1+\epsilon_{1}^2) \sigma^2 }$

MA(1)の一次自己相関は、次のようになる。

${ \rho_1 = \frac{\gamma_1}{\gamma_0} = \frac{\theta_1 }{1+\theta_1^2} }$

自己相関の絶対値が $\theta_1=±1$ の時に、最大値 $1/2$ を取ることに注意する。

二次自己共分散は、次のようになる。

${ \gamma_k = Cov(y_t, y_{t-k}) = Cov(\mu + \epsilon_t + \theta_1 \epsilon_{t-1}, \mu + \epsilon_{t-k} + \theta_1 \epsilon_{1-k}) = 0 }$

q次MA過程

q次MA過程 $MA(q)$ は次にように定義される。

$\displaystyle{ y_t = \mu + \epsilon_t + \theta_1 \epsilon_{t-1} + \theta_2 \epsilon_{t-2} + \dots + \theta_q \epsilon_{t-q} , 　\epsilon_t \sim W.N.(\sigma^2) }$

現在とq期間の過去のホワイトノイズの線形和に定数を加えたものである。

$MA(q)$ の期待値と分散などについては次のような性質を持つ。

(1)

$\displaystyle{ E(y_t) = \mu }$

(2)

$\displaystyle{ \gamma = Var(y_t) = (1+\theta_1^2+\theta_2^2 + \dots + \theta_q^2), 　\epsilon_t \sim W.N.(\sigma^2) }$

(3)

$\begin{eqnarray} \gamma_k = \left\{ \begin{array}{l} (\theta_k+\theta_1 \theta_{k+1} + \dots + \theta_{q-k} \theta_q) \sigma^2, & 1\le k \le q \\ 0, & with　 k \geq q +1 \end{array} \right. \end{eqnarray}$

(4) MA過程は常に定常である

(5)

$\begin{eqnarray} \rho_k = \left\{ \begin{array}{l} \frac{\theta_k+\theta_1 \theta_{k+1} + \dots + \theta_{q-k} \theta_q} {1+\theta_1^2+\theta_2^2+ \dots + \theta_q^2}, & 1\le k \le q \\ 0, & with　 k \geq q +1 \end{array} \right. \end{eqnarray}$

(5)からMA(q)はq+1次以降の自己相関は0であり、長期にわたる関係をモデル化するには多くのパラメータが必要である

Rで確認

MA(3)の時系列をシミュレートしてみる。

係数は全て1としている

library(tidyverse)
library(forecast)
library(tseries)
library(ggfortify)

ma_sim <- arima.sim(n=500,             # ステップ数
                    list(ma=c(1,1,1)), # MA過程の係数
                    sd=3)              # ノイズの標準偏差
ggtsdisplay(ma_sim)

f:id:saltcooky:20201026013024p:plain

ラグが3時点までの自己相関(ACF)が約0.2以上となっていることが確認できる。

AR過程

1次AR過程

自己回帰過程(autoregressive process)は、過程が自身の過去に回帰された形で表現される過程である。 1次AR過程 $AR(1)$ は次にように定義される。

$\displaystyle{ y_t = c + \phi_1 y_{t-1} + \epsilon_{t} , 　\epsilon_t \sim W.N.(\sigma^2) }$

式から $y_t$ と $y_{t-1}$ が相関を持つのは明らかである。

$| \phi_t |$ < 1 の時に過程は定常となる。一方で $|\phi_t| > 1$ の時に爆発的な変化を見せる。

AR(1)の期待値は $\mu=c/(1-\phi_1)$ 、分散は次のようになる。

${ Var(y_t) = Var(c + \phi_1 y_{t-1} +\epsilon_{t}) = \phi_1^2 Var(y_{t-1}) + Var(\epsilon_{t}) +2 Cov(y_{t-1}, \epsilon_{t}) = \phi_1^2 Var(y_{t-1}) + \sigma^2 }$

AR(1)のk次自己共分散は、次のようになる。

${ \gamma_k = Cov(\phi_1 y_{t-1} + \epsilon_{t} , y_{t-k}) = Cov(\phi_1 y_{t-1}, y_{t-k}) + Cov(\epsilon_{t}, y_{t-k}) = \phi_1 \gamma_{k-1} }$

これの両辺を $\gamma_0$ で割るとユール・ウォーカー方程式と呼ばれる関係が得られる。

${ \rho_k = \phi_1 \rho_{k-1} }$

AR過程の自己相関が, $y_t$ が従うAR過程と同一の係数を持つ差分方程式に従うことを示すものである。

ユール・ウォーカー方程式と $\rho_0 =1$ を用いて、AR過程の自己相関は逐次的に求めることができる。

AR(1)過程の場合の一般的に自己相関は次のようになる。

${ \rho_k = \phi_1^2 \rho_{k-2} = \phi_1^3 \rho_{k-3} = \dots = \phi_1^k \rho_{0} =\phi_1^k }$

AR(1)過程の自己相関の絶対値は指数的に減衰していく。

q次AR過程

q次AR過程 $AR(q)$ は次にように定義される。

$\displaystyle{ y_t = c + \phi_1 y_{t-1}+ \phi_2 y_{t-2} + \dots+ \phi_p y_{t-p} + \epsilon_{t} , 　\epsilon_t \sim W.N.(\sigma^2) }$

$AR(q)$ 過程は常に定常になるとは限らない。

$AR(q)$ 過程の性質は次のようになる。

(1)

$\displaystyle{ E(y_t) = \mu = \frac{1}{1- \phi_1- \phi_2- \dots - \phi_p} }$

(2)

$\displaystyle{ \gamma_0 = Var(y_t) = \frac{\sigma^2}{1- \phi_1 \rho_1 - \phi_2 \rho_2- \dots - \phi_p \rho_p} }$

(3) 自己共分散と自己相関は[y_t]が従うAR過程と同一の係数を持つ以下のp次差分方程式に従う。

$\displaystyle{ \gamma_k = \phi_1 \gamma_k{k-1} + \phi_2 \gamma_k{k-2} + \dots + \phi_p \gamma_k{k-p} }$

$\displaystyle{ \rho_k = \phi_1 \rho_{k-1} + \phi_2 \rho_{k-2} + \dots + \phi_p \rho_{k-p} }$

これは、次のような特性方程式と呼ばれる表現も可能である。

$\displaystyle{ 1- \phi_1 z- \phi_2 z^2 - \dots - \phi_p z^p = 0 }$

(4) AR過程の自己相関は指数的に減衰する

Rで確認

AR(2)の時系列をシミュレートしてみる。

係数は(0.5,0.4)と設定している。

ar_sim <- arima.sim(n=500, 
                    list(ar=c(0.5,0.4)), # AR過程の係数
                    sd=3) 
ggtsdisplay(ar_sim)

f:id:saltcooky:20201026013152p:plain

ラグが2時点までの偏自己相関(PACF)が約0.4以上となっていることや、自己相関が指数的に減衰していることが確認できる。

ARMA過程

自己回帰移動平均過程(Autoregressive moving average process)は自己回帰項と移動平均項の両方を含んだ過程である。

ARMA過程ARMA(p,q)過程は次にように定義される。

$\displaystyle{ y_t = c + \phi_1 y_{t-1}+ \dots+ \phi_p y_{t-p} + \epsilon_t + \theta_1 \epsilon_{t-1} + \dots + \theta_q \epsilon_{t-q} , 　\epsilon_t \sim W.N.(\sigma^2) }$

AR過程とMA過程の両方の性質を持つことになるが、強い方がARMA過程の性質が残ることになる。

$AR(q)$ 過程の性質は次のようになる。

(1)

$\displaystyle{ E(y_t) = \mu = \frac{1}{1- \phi_1- \phi_2- \dots - \phi_p} }$

(2) $q-1$ 次以降の自己共分散と自己相関は、[y_t]が従うARMA過程のAR部分と同一の係数を持つ以下のp次差分方程式に従う。

$\displaystyle{ \gamma_k = \phi_1 \gamma_k{k-1} + \phi_2 \gamma_k{k-2} + \dots + \phi_p \gamma_k{k-p} }$

$\displaystyle{ \rho_k = \phi_1 \rho_{k-1} + \phi_2 \rho_{k-2} + \dots + \phi_p \rho_{k-p} }$

(3) ARMA過程の自己相関は指数的に減衰する

Rで確認

ARMA(3,3)の時系列をシミュレートする。

ARの係数は全て1、MAの係数は全て0.2とした。

arma_sim <- arima.sim(n=500,                 #出力数
                    list(order=c(3,0,3),     # ARIMA(p,d,q)
                         ma=c(1,1,1),        # MA過程の係数
                         ar=c(0.2,0.2,0.2)), # AR過程の係数
                    sd=3)                    #ノイズの標準偏差

ggtsdisplay(arma_sim)