ベイズ統計学

事前分布と事後分布

ベイズ推測では,関心のある未知母数 θ も確率変数であるとみなし, 連続型確率変数 y と未知母数 θ の同時分布を考える. ベイズの定理により,

p(θy)=p(y,θ)p(y)
p(yθ)=p(y,θ)p(θ)
である.ただし,
y=(y1,y2,,yn)
θ=(θ1,θ2,,θp)
これらより,
p(y,θ)=p(θy)p(y)=p(yθ)p(θ)
よって,
p(θy)=p(yθ)p(θ)p(y)
ところで,
p(y)=p(y,θ)dθ=p(yθ)p(θ)dθ
これを分母に代入すると,
p(θy)=p(yθ)p(θ)p(yθ)p(θ)dθ
ここでは,y は与えられたものとして考え,また,分母は θ を積分消去していることから,定数とみなすことができる, よって,次のように書くことができる.
p(θy)p(yθ)p(θ)
p(θ) を事前分布,p(θy) を事後分布と呼ぶ. また,p(yθ) をモデル分布と呼び,m(yθ) と書くとすると,
p(θy)m(yθ)p(θ)
ところが,y が与えられると,m(yθ)θ に関する関数になる. この関数を尤度関数と呼び,(θy) と書く.
p(θy)(θy)p(θ)
ここで,母数 θ1 の周辺分布 p(θ1y) は,
p(θ1y)=p(θy)dθ2dθ3dθp
θ1 の条件付き分布 p(θy) は,あらかじめ
p(θ1,θ2y)=p(θy)dθ3dθ4dθp
p(θ2y)=p(θy)dθ1dθ3dθp
を求めておき,これらより,
p(θ1θ2,y)=p(θ1,θ2y)p(θ2y)