第5講 回帰分析

説明変数が p 個の重回帰モデル

次の重回帰モデルを考える.

yi=β0+β1xi1+β2xi2++βpxip+ϵi
ただし,
ϵiN(0, σ)
ここで,
y=(y1y2yn)
β=(β0β1β2βp)
X=(1x11x1p1xn1xnp)
ϵ=(ϵ1ϵ2ϵn)
とすると,
y=Xβ+ϵ
ϵN(0,σ2In)
と書ける.

回帰式の推定

誤差 e は次のようにして計算できる.

e=(e1e2en)=yXβ^
二乗誤差 Se を求めると,
Se=ee=(yXβ^)(yXβ^)=yy2β^Xy+β¯XXβ^
Seβ^ で微分して 0 とおくと,
Seβ^=2Xy+2XXβ^=0
よって,
(XX)β^=Xy
β^=(XX)1Xy
これより,
Se=ee=(yXβ^)(yXβ^)=(yX(XX)1Xy)(yX(XX)1Xy)=y(InX(XX)1X)(InX(XX)1X)y=y(InX(XX)1X)y=yyyX(XX)1Xy
ここで,InX(XX)1X は巾等行列である.
{InX(XX)1X}{InX(XX)1X}=InX(XX)1X

回帰係数の標本分布

E[β^]=E[(XX)1Xy]=(XX)1XE[y]=(XX)1XE[Xβ+ϵ]=(XX)1XXβ+(XX)1XE[ϵ]=(XX)1(XX)β=β
V[β^]=V[(XX)1Xy]=(XX)1XV[y]((XX)1X)=(XX)1XV[y]X((XX)1)=(XX)1XV[y]X((XX))1=(XX)1XV[y]X(XX)1=(XX)1Xσ2InX(XX)1=σ2(XX)1XX(XX)1=σ2(XX)1
よって,
β^N(β,σ2(XX)1)

推定値の標本分布

y^=Xβ^
の期待値と分散共分散行列を求める.
E[y^]=E[Xβ^]=XE[β^]=Xβ
V[y^]=V[Xβ^]=XV[β^]X=Xσ2(XX)1X=σ2X(XX)1X
よって,
y^N(Xβ,σ2X(XX)1X)

残差の標本分布

e=yXβ^=yX(XX)1Xy=(InX(XX)1X)y
E[e]=E[(InX(XX)1X)y]=(InX(XX)1X)E[y]=0
V[e]=V[(InX(XX)1X)y]=(InX(XX)1X)V[y](InX(XX)1X)=(InX(XX)1X)σ2In(InX(XX)1X)=σ2(InX(XX)1X)(InX(XX)1X)=σ2(InX(XX)1X)
よって,
eN(0,σ2(InX(XX)1X))

最良線形不偏推定量 (BLUE)

線形不偏推定量の中で,平均二乗誤差 E[(β^β)2] を最小化するような推定量を最良線形不偏推定量 (Best Linear Unbiased Estimator) と呼ぶ.