ベイズ統計学

分散が既知の場合

次のような分散が既知である確率変数を考える.

Yii.i.d.N(θ, c2)
モデル分布は
m(yθ)=12πc2exp[(yθ)22c2],  <y<
とする.ここで,
y¯=1ni=1nyi
とおく.観測値 y=(y1,y2,,yn) が与えられたときの尤度関数は,
l(θy)=i=1nm(yiθ)i=1nexp[(yiθ)22c2]=exp[i=1n(yiθ)22c2]=exp[12c2i=0n(yiθ)2]=exp[12c2i=0n(yi22θyi+θ2)]=exp[12c2(i=0nyi22θi=0nyi+i=0nθ2)]=exp[12c2(i=0nyi22θny¯+nθ2)]=exp[12c2(i=0nyi2ny¯2+ny¯22θny¯+nθ2)]=exp[12c2(i=0nyi2ny¯2+n(y¯θ)2)]=exp[12c2(i=0nyi2ny¯2)]exp[n2c2(y¯θ)2]exp[n2c2(y¯θ)2]
事前分布として局所一様事前分布を用いるならば,フィッシャー情報量 I(θ) は,
I(θ)=E[2θ2lnm(yu)]=E[2θ2ln(12πc2exp[(yθ)22c2])]=E[2θ2(12ln2π12lnc212c2(yθ)2)]=E[θ(1c2(yθ))]=E[1c2]=c2
なので,
p(θ)I(θ)=c2=const
とすればよい.平均 θ に対する自然共役事前分布は正規分布なので,次のようにおく.
θN(μ0,σ02)
θ の事後分布は,
p(θy)l(θy)p(θ)exp[12c2/n(θy¯)2]exp[12σ02(θμ0)2]=exp[12c2/n(θy¯)212σ02(θμ0)2]=exp[12c2/n(θ22θy¯+y¯2)12σ02(θ22θμ0+μ02)]=exp[12(1c2/n+1σ02)θ2+(y¯c2/n+μ0σ02)θ12(y¯2c2/n+μ02σ02)]
ここで,
a=12(1c2/n+1σ02)
b=y¯c2/n+μ0σ02
c=12(y¯2c2/n+μ02σ02)
とおくと,
p(θy)exp[aθ2+bθ+c]=exp[a(θ+b2a)2+cb24a]exp[a(θ+b2a)2]exp[12(1c2/n+1σ02)1(θy¯c2/n+μ0σ021c2/n+1σ02)2]
よって,
p(θy)=DN(ny¯c2+μ0σ02nc2+1σ02, 1nc2+1σ02)
これより,次のことが言える.
θ の事後平均=標本精度×標本平均+事前精度×事前平均標本精度+事前精度
θ の事後精度=標本精度+事前精度

局所一様事前分布を用いるときは,事前精度 σ020 (σ02) と考えれば良いので,

p(θy)=DN(y¯,c2n)

次に,事後予測分布について考える. n+1 番目の観測値の事後予測分布は,

p(yn+1y)=m(yn+1θ)p(θy)dθ
ここで,
E[Yn+1θ]=θ
V[Yn+1θ]=c2
であることから,
E[Yn+1]=E[E[Yn+1θ]]=E[θ]
V[Yn+1]=V[E[Yn+1θ]]+E[V[Yn+1θ]]=V[θ]+E[c2]