第3講 統計的推定

フィッシャー情報量

フィッシャー情報量は次のように定義される．

In=E[(∂∂θlog⁡f(x, θ))2]
また，次のようにしても求めることができる．
In=V[∂∂θlog⁡f(x, θ)]=−E[∂2∂θ2log⁡f(x, θ)]
添え字の n は標本サイズを表わし，単にフィッシャー情報量というときは n=1 のときをいい， I1(θ) または I(θ) と表わすことが多い．ただし，文脈によって異なるので注意が必要である．

[証明]

l(θ, x)=log⁡f(x, θ)
とおくと，
l′(θ, x)=∂∂θlog⁡f(x, θ)
よって，次のように書ける．
In(θ)=E[(l′(θ, x))2]
ところで，f(x, θ) は密度関数であるから，
∫f(x, θ)dx=1,    ∀θ
両辺を θ で微分すると，微分と積分の交換が保証されているという仮定の下で，
∂∂θ∫f(x, θ)dx=∫∂f(x, θ)∂θdx=0
これより，
E[l′(θ, x)]=∫∂log⁡f(x, θ)∂θf(x, θ)dx=∫∂f(x, θ)∂θ1f(x, θ)f(x, θ)dx=∫∂f(x, θ)∂θdx=0
In(θ)=E[(l′(θ, x))2]=∫l′(θ, x)2f(x, θ)dx=∫{l′(θ, x)−E[l′(θ, x)]}2f(x, θ)dx=V[l′(θ, x)]

ここで，対数尤度関数を二次微分してみる．

l(θ, x)=log⁡f(x, θ)
l′(θ, x)=∂∂θlog⁡f(x, θ)=∂f(x, θ)∂θ1f(x, θ)
l″(θ, x)=∂∂θ(∂f(x, θ)∂θ1f(x, θ))=∂2f(x, θ)∂θ21f(x, θ)+∂f(x, θ)∂θ(−1{f(x, θ)}2)∂f(x, θ)∂θ=∂2f(x, θ)∂θ21f(x, θ)−(∂f(x, θ)∂θ1f(x, θ))2=∂2f(x, θ)∂θ21f(x, θ)−(∂∂θlog⁡f(x, θ))2
よって，
(∂∂θlog⁡f(x, θ))2=∂2f(x, θ)∂θ21f(x, θ)−l″(θ, x)
両辺に対して期待値をとれば，
E[(∂∂θlog⁡f(x, θ))2]=E[∂2f(x, θ)∂θ21f(x, θ)]−E[l″(θ, x)]I(θ)=∫∂2f(x, θ)∂θ21f(x, θ)f(x, θ)dx−E[l″(θ, x)]=∫∂2f(x, θ)∂θ2dx−E[l″(θ, x)]
ところで，微分と積分の交換が保証されているという仮定の下で，
∂∂θ∫f(x, θ)dx=0
であったので，
∫∂2∂θ2f(x, θ)dx=0
よって，
I(θ)=E[−l″(θ, x)]

確率変数 X1,…,Xn が独立同一分布に従うときのフィッシャー情報量

X1,…,Xn が独立同一分布に従うとき，

In(θ)=nI1(θ)

[証明]

fn(x, θ)=∏i=1nf1(xi, θ)
ここで，次のようにおく．
ln(θ, x)=log⁡fn(x, θ)
l(θ, xi)=log⁡f1(x, θ)
fn(x, θ) を両辺の対数をとり，θ で微分すれば，
∂∂θlog⁡fn(X, θ)=∂∂θlog⁡∏i=1nf1(xi, θ)
ln′(θ, X)=∑i=1n∂∂θlog⁡f1(xi, θ)
ln′(θ, X)=∑i=1nl′(θ, Xi)
よって， In(θ)=V[l′(θ, x)] に代入すれば，
In(θ)=V[∑i=1nl′(θ, Xi)]=nV[l′(θ, X1)]=nI1(θ)
をとなる．

補足1: 別の証明

E[∂2∂θ2log⁡f(x;θ)]    =∫(∂2∂θ2log⁡f(x;θ))f(x;θ)dx    =∫(∂∂θf′(x;θ)f(x;θ))f(x;θ)dx    =∫f″(x;θ)f(x;θ)−f′(x;θ)f′(x;θ){f(x;θ)}2f(x;θ)dx    =∫f″(x;θ)f(x;θ){f(x;θ)}2f(x;θ)dx−∫{f′(x;θ)}2{f(x;θ)}2f(x;θ)dx    =∫f″(x;θ)dx−∫(f′(x;θ)f(x;θ))2f(x;θ)dx    =∫∂2∂θ2f(x;θ)dx−∫(∂∂θlog⁡f(x;θ))2f(x;θ)dx    =∂2∂θ2∫f(x;θ)dx−∫(∂∂θlog⁡f(x;θ))2f(x;θ)dx    =∂2∂θ21−∫(∂∂θlog⁡f(x;θ))2f(x;θ)dx    =0−∫(∂∂θlog⁡f(x;θ))2f(x;θ)dx    =−E[(∂∂θlog⁡f(x;θ))2]

◀
▶

▲

▼