ベイズ統計学

予測分布

ベイズの定理の連続的利用

未知母数 θ を推測するために,観測値 y1 を得たとする. このとき,事後分布は,

p(θy1)1(θy1)p(θ)
さらに,独立に新たな観測値 y2 を得たとすると,2 つの観測値を得たときの θ の尤度関数は,
(θy1,y2)=1(θy1)2(θy2)
観測値 y2 を得たときの事後分布は,
p(θy1,y2)(θy1,y2)p(θ)1(θy1)2(θy2)p(θ)2(θy2)p(θy1)
よって,観測値 y1 を得たときの事後分布 p(θy1) は, 観測値 y2 を得たときの事前分布になっていることがわかる.

予測分布

事前の予測分布

確率変数 Y のモデル分布 m(yθ) とその母数 θ の事前分布 p(θ) が与えられたとき,Y の周辺分布は,

p(y)=p(y,θ)dθ=m(yθ)p(θ)dθ

事後の予測分布

観測値 {y1,y2,,yn} を得たとき,yn+1 を予測することを考える.

p(yn+1y1,y2,,yn)=p(θ,yn+1y1,y2,,yn)dθ=p(yn+1θ,y1,y2,,yn)p(θy1,y2,,yn)dθ=p(yn+1θ)p(θy1,y2,,yn)dθ=m(yn+1θ)p(θy1,y2,,yn)dθ

補足1: P(A,BC)=P(AB,C)P(BC) の証明

P(A,BC)=P(A,B,C)P(C)  (1)
P(AB,C)=P(A,B,C)P(B,C)  (2)
P(BC)=P(B,C)P(C)  (3)
(2)と(3)より,
P(AB,C)P(BC)=P(A,B,C)P(B,C)P(B,C)P(C)=P(A,B,C)P(C)  (4)
よって,
P(A,BC)=P(AB,C)P(BC)