第3講 統計的推定

デルタ法

確率変数 X の分散 σ2 が小さく,近似的に,

X  N(μ,σ2)
のとき,
f(X) d N(f(μ),f(μ)2σ2)
で近似できる.

関数の期待値と分散のテイラー近似

確率変数 X の期待値が μ,分散が σ2 とする. デルタ法は,f(X)X の平均 μ のまわりでテイラー展開することにより,f(X) の平均や分散を X の平均や分散で近似的に表す方法である.

ここで.X の関数 f(X) の期待値と分散のテイラー近似を求めてみる.

f(X)μ の周りでテイラー展開すると,

f(X)=f(μ)+f(μ)1!(Xμ)1+f(μ)2!(Xμ)2++f(n)(μ)n!(Xμ)n+
f(X) を 2 次までの項で近似すると,
f(X)f(μ)+f(μ)(Xμ)+f(μ)2(Xμ)2
期待値をとると,
E[f(X)]E[f(μ)+f(μ)(Xμ)+f(μ)2(Xμ)2]=E[f(μ)]+E[f(μ)(Xμ)]+E[f(μ)2(Xμ)2]=E[f(μ)]+f(μ)E[X]f(μ)E[μ]+f(μ)2E[(Xμ)2]=f(μ)+f(μ)μf(μ)μ+f(μ)2σ2=f(μ)+f(μ)2σ2
f(X) を 1 次までの項で近似すると,
f(X)f(μ)+f(μ)(Xμ)
期待値をとると,
E[f(X)]E[f(μ)+f(μ)(Xμ)]=E[f(μ)+f(μ)Xf(μ)μ]=E[f(μ)]+E[f(μ)X]E[f(μ)μ]=f(μ)+f(μ)E[X]f(μ)μ=f(μ)+f(μ)μf(μ)μ=f(μ)
分散をとると,
V[f(X)]V[f(μ)+f(μ)(Xμ)]=V[f(μ)]+V[f(μ)X]V[f(μ)μ]=0+V[f(μ)X]0={f(μ)}2V[X]={f(μ)}2σ2