第3講統計的推定

赤池情報量規準 AIC

$X_i~(i = 1, \ldots, n)$ を確率密度関数 $f(X_i \mid \bm{\theta})$ を持つ確率変数とし， $\bm{\theta}$ の最尤推定量 $\hat{\theta}_{n}^{ML}$ が求められたとする．このとき，AIC は次のように定義される．

A I C = - 2 \sum_{i = 1}^{n} \log f (X_{i} ∣ {\hat{θ}}_{n}^{M L}) + 2 \dim (θ)

$\begin{equation} AIC = -2\sum_{i=1}^{n}\log f(X_{i} \mid \hat{\theta}_{n}^{ML}) + 2\dim(\bm{\theta}) \end{equation}$

確率変数 $\bm{X} = \{X_1, \ldots, X_n\}$ に対し観測値 $\bm{x} = \{x_1, \ldots, x_n\}$ が得られたとする．このときの，尤度 $L(\bm{\theta} \mid \bm{x})$ は，

L (θ ∣ x) = \prod_{i = 1}^{n} f (X_{i} ∣ θ)

$\begin{equation} L(\theta \mid \bm{x}) = \prod_{i=1}^{n} f(X_i \mid \bm{\theta}) \end{equation}$

である．また，対数尤度は，

\begin{aligned} \log L (θ ∣ x) & = \log \prod_{i = 1}^{n} f (X_{i} ∣ θ) \\ = \sum_{i = 1}^{n} \log f (X_{i} ∣ θ) \end{aligned}

$\begin{align} \log L(\bm{\theta} \mid \bm{x}) &= \log \prod_{i=1}^{n} f(X_i \mid \bm{\theta}) \\ &= \sum_{i=1}^{n} \log f(X_i \mid \bm{\theta}) \end{align}$

このとき，対数尤度を最大にする

θ

$\bm{\theta}$ を

{\hat{θ}}_{n}^{M L}

$\hat{\bm{\theta}}_{n}^{ML}$ ，最大対数尤度を

\log L^{*}

$\log L^{*}$ と書くとする．

\log L^{*} = \log L ({\hat{θ}}_{n}^{M L} ∣ x)

$\begin{equation} \log L^{*} = \log L(\hat{\bm{\theta}}_{n}^{ML} \mid \bm{x}) \end{equation}$

ここで，新たに観測値を何セットが得られたとする．

\begin{aligned} X^{(1)} & = {X_{1}^{(1)}, \dots, X_{n}^{(1)}} \\ ⋮ \\ X^{(S)} & = {X_{1}^{(S)}, \dots, X_{n}^{(S)}} \end{aligned}

$\begin{align} \bm{X}^{(1)} &= \{X^{(1)}_1, \ldots, X^{(1)}_{n}\} \\ &\vdots \\ \bm{X}^{(S)} &= \{X^{(S)}_1, \ldots, X^{(S)}_{n}\} \end{align}$

各セットに対し対数尤度を求め，それらを元に平均対数尤度

E [\log L]

$E[\log L]$ を求めたとする．

E [\log L] = \frac{1}{S} \sum_{s = 1}^{S} \log L ({\hat{θ}}_{n}^{M L} ∣ x^{(s)})

$\begin{equation} E[\log L] = \frac{1}{S}\sum_{s=1}^{S}\log L(\hat{\bm{\theta}}_{n}^{ML} \mid \bm{x}^{(s)}) \end{equation}$

この

E [\log L]

$E[\log L]$ は予測の良さを表しているといえる．

平均対数尤度 $E[\log L]$ は次のようにして推定することができると知られている．

E [\log L] = \log L^{*} - \dim (θ)

$\begin{equation} E[\log L] = \log L^{*} - \dim(\bm{\theta}) \end{equation}$

これに -2 をかければ，AIC となる．

A I C = - 2 (\log L^{*} - \dim (θ))

$\begin{equation} AIC = -2 \left(\log L^{*} - \dim(\bm{\theta})\right) \end{equation}$

平均対数尤度

E [\log L]

$E[\log L]$ は「予測の良さ」を表してしたので，AIC は「予測の悪さ」を表していることになる．

第3講 統計的推定

赤池情報量規準 AIC

第3講統計的推定