计量经济学 第三章 多元线性回归与最小二乘估计

第三章 多元线性回归与最小二乘估计

3.1 假定条件、最小二乘估计量和高斯—马尔可夫定理

1、多元线性回归模型：

yt = (3.1)

其中yt是被解释变量（因变量），xt j是解释变量（自变量），ut是随机误差项，i = 0, 1, … , k - 1是回归参数（通常未知）。

对经济问题的实际意义：yt与xt j存在线性关系，xt j, j = 0, 1, … , k - 1, 是yt的重要解释变量。ut代表众多影响yt变化的微小因素。使yt的变化偏离了E( yt) =

2xt2 +…+

k- 1xt k -1 决定的

0

0

+

1xt1 + 2xt2

+…+

k-

1xt

k -1

+ ut

i,

+

1xt1 +

k维空间平面。

当给定一个样本（yt , xt1, xt2 ,…, xt k -1）, t = 1, 2, …, T时, 上述模型表示为

y1 = 0 +1x11 + 2x12 +…+ k- 1x1 k -1 + u1, y2 = 0 +1x21 + 2x22 +…+ k- 1x2 k -1 + u2, (3.2)

……….. yT = 0 +1x T 1 + 2x T 2 +…+ k- 1x T k -1 + uT

经济意义：xt j是yt的重要解释变量。 代数意义：yt与xt j存在线性关系。 几何意义：yt表示一个多维平面。 此时yt与x t i已知，

?1x11?y1??1x?y?212?????????????y?T?(T?1)??1xT1j与

ut未知。

?x1k?1???0??u1?????u??x2k?1?1?????2? (3.3) ???????????????xTk?1???(T?k)?k?1?(k?1)?uT?(T?1)?x1j?x2j???xTj Y (3.4)

2假定条件

= X + u

为保证得到最优估计量，回归模型（3.4）应满足如下假定条件。

假定 ⑴ 随机误差项ut是非自相关的，每一误差项都满足均值为零，方差 同且为有限值，即

?0??u?' ) = E(u) = 0 = ???, Var (u) = E(u????0??2

2

相

I =

?100???20?0 ?? ??001??假定 ⑵ 解释变量与误差项相互独立，即 E(X 'u) = 0

假定 ⑶ 解释变量之间线性无关。 rk(X 'X) = rk(X) = k 其中rk(?)表示矩阵的秩。

假定⑷ 解释变量是非随机的，且当T → ∞ 时

T– 1X 'X → Q

其中Q是一个有限值的非退化矩阵。

3 最小二乘估计

最小二乘 (OLS) 法的原理是求残差（误差项的估计值）平方和最小。代数上是求极值问题。

?)' (Y - X??) = Y 'Y -??'X 'Y - Y ' X?? +??'X 'X?? minS = (Y - X??'X 'Y + ??'X 'X?? (3.5) = Y 'Y - 2??是一个标量，所以有Y 'X?? = ??'X 'Y。(1.5) 的一阶条件为： 因为Y 'X??S?= 0 (3.6) = - 2X 'Y + 2X 'X????化简得

? X 'Y = X 'X?因为 (X 'X) 是一个非退化矩阵（见假定⑶），所以有

?= (X 'X) X 'Y （3.7）? ?是Y的线性组合，为线因为X的元素是非随机的，(X 'X) -1X是一个常数矩阵，则?-1

性估计量。

?，估计的回归模型写为 求出??+u? (3.9) Y = X??= (?? … ??)' 是 ? ?其中?k?110为

?) 称为残差列向量。因?= (Y - X? 的估计值列向量，u?= Y - X (X 'X)-1X 'Y = [I - X (X 'X)-1 X ' ]Y (3.10) ?= Y - X?u?的期望和方差是 ?也是Y的线性组合。?所以u?) = E[(X 'X)-1 X 'Y ] = E[(X 'X)-1X '(X E(? + u)]

=

由于：

?1 + (X 'X)-1X ' E(u) =

(3.11)

??(X'X)?1X`Y?(X'X)?1X`(X??u)??(X'X)X`X??(X'X)X`u???(X'X)X`u?) = E[(??–Var(??–) (??1?1

)']= E[(X 'X)-1X ' u u' X (X 'X)-1]

2

= E[(X 'X)-1X ' (3.12)

例：3.1（P113）略

4高斯—马尔可夫定理：

I X (X 'X)-1] =

2

(X 'X)-1

?高斯—马尔可夫定理：若前述假定条件成立，OLS估计量是最佳线性无偏估计量。??具有最小方差特性。??具有一致性，渐近无偏性和渐近有效性。 具有无偏性。?3.2 残差的方差

?2??2e?tT?k?et`et (3.13) T?k?2是? ? 的无偏估计量，E(??2 ) =? ?。 ?证明过程如下：

??Y?X(X`X)?1X`Y??I?X(X`X)?1X`?Y ??Y?X?e?Y?Y??记：I?X(X`X)?1X`=P

容易证明：P为对等幂矩阵，即P=P`，P2=P

?1?1??e??I?X(X`X)X`Y?I?X(X`X)X`?????(X??u)?Pu

var(e)?E(ee`)?E?Pu(Pu)`??E?P(uu`)P`??PE(uu`)P`?P(?I)P`?PP`??P?利用矩阵迹的性质，有：

2e?t?e`e?tr(ee`)

222

2?E(?et2)?E(e`e)?E?tr(ee`)??tr?E(e`e)??tr?P????12?1????2tr?I?X(X`X)X`??trI?trX(X`X)X`?tt????

??2?T?trIk??(T?k)?2?的估计的方差协方差矩阵是 ??) = ??2 (X 'X)-1 (3.14) Var(?? i的置信区间

i的联合置信区间接受

（1） 全部

F = (3.15)

( (3.16)

1(k?)' (X 'X) ( -??) / s2 -? F (k, T-k)

?)' (X 'X ) ( -??) -? s2 k F

(k, T-k)，它是一个

k维椭球。

（2） 单个?i的置信区间

t =

????jj?)s(?j???)=(?jj?)?(????)Var(?jjj?2(X'X)?1j? t(T-k) ???2(X'X)?1j t??????k? . (3.17) ?i = ?i±?OLS估计量的分布 若u

Y

N (0, ? ?I ) ，则每个ut都服从正态分布。于是有 N (X

, ? ?I ) (3.18)