ベイズ統計学

平均および分散が共に未知の場合

次のような平均も分散も未知である確率変数を考える.

Yii.i.d.N(θ, σ2)    (i=1,2,,n)
モデル分布は,
m(yθ, σ)=12πσ2exp[(yθ)22σ2],  <y<,  σ>0
とする.ここで,
i=1n(yiy¯)=0
である. 観測値 y=(y1,y2,,yn) が与えられたときの尤度関数は,
l(θ, σ2y)=i=1nm(yθ, σ)i=1n1σexp[(yiθ)22σ2]=(σ2)n2exp[12σ2i=1n(yiθ)2]=(σ2)n2exp[12σ2i=1n(yiy¯+y¯θ)2]=(σ2)n2exp[12σ2i=1n{(yiy¯)(θy¯)}2]=(σ2)n2exp[12σ2i=1n{(yiy¯)22(yiy¯)(θy¯)+(θy¯)2}]=(σ2)n2exp[12σ2{i=1n(yiy¯)22(θy¯)i=1n(yiy¯)+i=1n(θy¯)2}]=(σ2)n2exp[12σ2{i=1n(yiy¯)20+i=1n(θy¯)2}]=(σ2)n2exp[12σ2{i=1n(yiy¯)2+n(θy¯)2}]=(σ2)n2exp[12σ2{νs2+n(θy¯)2}]
ただし,
ν=n1
s2=1νi=1n(yiy¯)2
y¯=1ni=1nyi
ここで,事前分布として局所一様事前分布を用いるならば, 事前には θσ2 は独立であるとして,
p(θ, σ)=p(θ)p(σ2)σ2
なぜならば,これまでのことから,
p(θ)const
p(σ2)σ2
事前分布として自然共役事前分布を用いるならば, まず,σが与えられたときのθの条件付き事前分布を
p(θσ2)=DN(μ0, σ2n0)
とし,σ2 の周辺事前分布を
p(σ2)=Dχ2(ν0, λ0)
として,次のように同時事前分布を定める.ただし,μ0, n0, ν0, λ0 は超母数である.
p(θ, σ2)=p(θσ2)p(σ2)(σ2)12exp[n0(θμ0)22σ2](σ2)(ν02+1)exp[λ02σ2]=(σ2)ν0+121exp[12σ2{λ0+n0(θμ0)2}]
同時事後分布は,
p(θ, σ2y)l(θ, σ2y)p(θ, σ2)=(σ2)n2exp[12σ2{νs2+n(θy¯)2}](σ2)ν0+121exp[12σ2{λ0+n0(θμ0)2}]=(σ2)ν0+n+121exp[12σ2{λ0+νs2+n0(θμ0)2+n(θy¯)2}]=(σ2)ν0+n+121exp[12σ2{λ0+νs2+n0(θ22θμ0+μ02)+n(θ22θy¯+y¯2)}]=(σ2)ν0+n+121exp[12σ2{λ0+νs2+n0θ22n0θμ0+n0μ02+nθ22nθy¯+ny¯2}]=(σ2)ν0+n+121exp[12σ2{λ0+νs2+(n0+n)θ22θ(n0μ0+ny¯)+n0μ02+ny¯2}]=(σ2)ν1+121exp[12σ2{λ0+νs2+n1θ22θn1θ^1+n0μ02+ny¯2}]=(σ2)ν1+121exp[12σ2{λ0+νs2+n1θ22θn1θ^1+n1θ^12n1θ^12+n0μ02+ny¯2}]=(σ2)ν1+121exp[12σ2{λ0+νs2+n1(θ22θθ^1+θ^12)n1θ^12+n0μ02+ny¯2}]=(σ2)ν1+121exp[12σ2{λ0+νs2+n1(θθ^1)2n1θ^12+n0μ02+ny¯2}]=(σ2)ν1+121exp[12σ2{λ0+νs2+n1(θθ^1)21n1(n0μ0+ny¯)2+n0μ02+ny¯2}]=(σ2)ν1+121exp[12σ2{λ0+νs2+n1(θθ^1)2n02μ02n12n0μ0ny¯n1n2y¯2n1+n0μ02+ny¯2}]=(σ2)ν1+121exp[12σ2{λ0+νs2+n1(θθ^1)2+n0μ02(1n0n1)2n0μ0ny¯n1+ny¯2(1nn1)}]=(σ2)ν1+121exp[12σ2{λ0+νs2+n1(θθ^1)2+μ02n0(n1n0)n12n0μ0ny¯n1+y¯2n(n1n)n1}]=(σ2)ν1+121exp[12σ2{λ0+νs2+n1(θθ^1)2+μ02n0nn12n0μ0ny¯n1+y¯2nn0n1}]=(σ2)ν1+121exp[12σ2{λ0+νs2+n1(θθ^1)2+n0nn1(μ022μ0y¯+y¯2)}]=(σ2)ν1+121exp[12σ2{λ0+νs2+n1(θθ^1)2+n0nn1(μ0y¯)2}]=(σ2)ν1+121exp[12σ2{λ1+n1(θθ^1)2}]
ただし,
ν1=ν0+nn1=n0+nλ1=λ0+νs2+n0nn1(μ0y¯)2θ^1=n0μ0+ny¯n1
σ2 を定数と見なせば,θ の条件付き事後分布は,
p(θσ2, y)=p(θ,σ2y)p(σ2y)p(θ,σ2y)(σ2)ν1+121exp[12σ2{λ1+n1(θθ^1)2}]exp[12σ2{λ1+n1(θθ^1)2}]exp[12σ2n1(θθ^1)2]exp[12(σ2/n1)(θθ^1)2]=DN(θ^1, σ2n1)
σ2 の周辺事後分布は,
p(σ2y)=0p(θ, σ2y)dθ0(σ2)ν1+121exp[12σ2{λ1+n1(θθ^1)2}]dθ=(σ2)ν1+121exp[λ12σ2]0exp[(θθ^1)22(σ2/n1)]dθ=(σ2)ν1+121exp[λ12σ2]2exp[(θθ^1)22(σ2/n1)]dθ=(σ2)ν1+121exp[λ12σ2]22πσ2n1=(σ2)ν1+121exp[λ12σ2]22πn1(σ2)12=(σ2)ν121exp[λ12σ2]22πn1(σ2)ν121exp[λ12σ2]=Dχ2(ν1,λ1)
θ の周辺事後分布は,
p(θy)=0p(θ, σ2y)dσ20(σ2)ν1+121exp[12σ2{λ1+n1(θθ^1)2}]dσ2=0(σ2)ν1+121exp[12{λ1+n1(θθ^1)2}(σ2)1]dσ2
ここで次の積分公式を用いる.
0tp1exp[atb]dt=1bapbΓ(pb),  a>0, b>0, p>0
この公式において,
a=12{λ1+n1(θθ^1)2}
b=1
p=ν1+12
とすれば,
p(θy)=11{12{λ1+n1(θθ^1)2}}ν1+121Γ(ν1+121){λ1+n1(θθ^1)2}ν1+12{1+(θθ^1)2ν1λ1/ν1n1}ν1+12
ここで,自由度 ν の一般化 t 分布は,
p(t)=Γ(ν+12)νλΓ(12)Γ(ν2){1+(tμ)2νλ}ν+12=Dt(μ, λ, ν)
なので,
p(θy)=Dt(θ^1, λ1/ν1n1, ν1)

一方,局所一様事前分布を用いるときは,

ν1n1n1nλ1(n1)s2θ^1y¯
とすれば良く,
p(σ2y)=Dχ2(n1, (n1)s2)
p(θy)=Dt(y¯, s22, n1)
さらに,(n+1) 番目の未知の観測値を予測するための事後予測分布は,
p(yn+1y)=0m(yn+1θ, σ2)p(θ, σ2y)dθdσ2=Dt(y¯, (1+1n)s2, ν)
ただし,
ν=n1s2=1νi=1n(yiy¯)2