高级计量经济学3

计量经济分析 第3章 最小二乘法和最小二乘估计

第3章 最小二乘法和最小二乘估计

Chapter 3 Least Squares

线性模型中的参数估计有多种方法，其中最小二乘法是最为著名的。即使已经发现其他方法比较优越，但是最小二乘法仍然是线性模型估计的基础方法，最小二乘估计的性质已经得到了广泛应用。

§3.1 最小二乘回归(least squares regression)

随机线性关系yi?x?iβ??i中的未知系数是我们考虑的重点，也是我们进行估计的主要目标。这时我们有必要区分母体变量(例如β和?i)和它们的样本估计，对应地表示为b和

ei。母体回归方程可以表示为： E[yi|xi]?x?iβ

它的估计表示为：

?i?x?yib (3.1)

与第i个数据点相关的扰动项可以表示为：

?i?yi?x?iβ (3.2)

如果获得了回归系数的估计，则可以利用回归方程的残差来估计随机扰动项，即

ei?yi?x?ib (3.3)

根据这些定义和表示，可以得到：

?yi?x?iβ??i?xib?ei (3.4) 母体量β是每个yi的概率分布中的未知系数，我们希望利用样本数据(yi,xi)来估计这些参数。虽然这是一个统计推断问题，但是我们仍然可以直观地认为应该选取向量b，使得拟合直线x?如果描述这种靠近性，需要一定的拟合准则，其中最为广ib尽量地靠近数据点。

泛使用的是最小二乘法。

§3.1.1 最小二乘系数向量

可以通过极小化下述残差平方和来获得最小二乘系数向量。

nn?ei?12i0??(yi?x?b0)2 (3.5)

i?1其中b0表示系数向量的选择。利用矩阵形式表示上述残差平方和：

?MinminzeS(b0)?e?0e0?(y?Xb0)(y?Xb0) (3.6)

b0将上述目标函数展开得到(注意利用标量的转置不变的性质)：

????S(b0)?e?0e0?yy?2yXb0?b0XXb0 (3.7) 极小化的一阶条件为(相当于对向量求导数，要么利用向量展开，要么利用向量求导公式)：

?S(b0)??2X?y?2X?Xb0?0 (3.8) ?b0假设b是最小二乘的解，则它必须满足最小二乘正规方程(least square normal equations)： X?Xb?X?y (3.9) 如果解释变量矩阵的满秩条件满足，则有： rank(X?X)K?K?rank(Xn?K)?K

这说明矩阵(X?X)K?K是可逆矩阵，因此正规方程的唯一解为：

1

计量经济分析 第3章 最小二乘法和最小二乘估计

b?(X?X)?1X?y (3.10)

注意到上述条件只是极小化问题的必要条件，为了判断充分性，我们需要求出目标函数的Hessian矩阵：

?2S(b)?2X?X (3.11) ??b?b如果这个Hessian矩阵是正定的，则可以判断所得到的解是唯一的最小二乘解。 显然，根据正定矩阵的定义或者正定矩阵的判断准则，可知当矩阵的满秩条件满足时，矩阵X?X是正定的，因此最小二乘解的充分性成立。

通过上述最小二乘解的表达式，我们可以得到最小二乘解的下述代数性质： 命题3.1 对于线性模型和相应的最小二乘估计，则有： (1) 最小二乘残差的和为零。即?ei?0

i?1n (2) 回归超平面通过数据的均值点，即y?x?b

??y (3) 从回归方程中获得的拟合值的均值等于样本观测值的均值，即y证明：(1) 根据正规方程，可知： X?Xb?X?y??X?(y?Xb)??X?e?0

这说明对于矩阵X的每一列xk，都有x?由于矩阵X的第1列中都是1，所以得ke?0，到(因此这条性质成立的前提条件是回归模型中包含常数项)：

(1,1,?,1)(e1,e2,?,en)???ei?0

i?1n(2) 正规方程X?Xb?X?y?0表示为矩阵形式为：

?1x12?x1K??1x12?x1K??b1??1x12?x1K??y1???????????1x?x1x?x1x?xb?222K??222K??2??222K??y2? ??????????????????????????????????????1x???????xnK??1xn2?xnK??bK??1xn2?xnK?n2???yn?将上述矩阵方程的第一个方程表示出来，则有：

?b1???nnn???b2?n??xi1?xi2??xiK?????yi

i?1i?1?i?1????i?1?b??K?根据数据的样本均值定义，则有：

TT?1n1n?1n?x????xi1,?xi2,?,?xiK?

nnni?1i?1?i?1?也即：y?x?b

??i?x?(3) 根据拟合值的定义：yib，即y?Xb，则有： ?1??1x12?x1K??y1??1x12?x1K??y?????????1x?x1x?xy?222K??2??222K??y2? ????????????????????????????1x??y?????1x??x?xn2nK??n??n2nK??yn??上述矩阵方程的第一个方程可以表示为：

TT 2

计量经济分析 第3章 最小二乘法和最小二乘估计

nn?i??yi ?yi?1i?1??y 则有：y需要注意的是，上述命题成立的前提是线性模型中包含常数项，也就是第一个解释变量是“哑变量”形式。这样一个思考题目就是，当线性模型中不包含常数项时，结论是什么样的？

§3.1.2 投影和投影矩阵(projection and projection matrix)

获得最小二乘估计以后，可以获得下述最小二乘残差：

e?y?Xb (3.12) 将最小二乘估计的表达式代入，得到：

e?y?X(X?X)?1X?y?[I?X(X?X)?1X?]y?My (3.13)

其中定义的矩阵M?I?X(X?X)?1X?在回归分析中是非常基础和重要的。显然，这个矩阵是对称幂等矩阵：

M?M?，M?M2

其次，还有一些重要的性质需要大家注意，例如对称幂等矩阵的特征根非0即1(对称矩阵的特征均为实数)，因此矩阵具有性质：矩阵的迹等于矩阵的秩。诸如这样的性质，需要大家复习一下线性代数中的有关定义和命题。

根据上述方程(2.12)和(2.13)，矩阵M的作用是，它乘积作用在某个向量y上，就可以得到这个向量y基于数据变量X的最小二乘回归的残差向量，因此经常将这个矩阵称为“残差生成算子”(residual maker)。这里需要注意M的定义和所作用的变量，是所作用变量关于

M定义中数据矩阵的回归残差。

显然，X基于自己的线性回归的最小二乘残差一定为零，则必然有(即使验证也十分显

然)：

MX?0 (3.14)

根据方程(2.12)，可以得到：

??e (3.15) y?Xb?e?y??Xb，另一个这说明最小二乘回归将变量y分解成为两个部分，一个部分是拟合值y部分是残差e，由于

??e?Xb?(MY)?Xb?Y?MXb?0 (3.16) e?y这说明最小二乘回归与残差是正交的。因此，这样的分解是正交分解，也就是说最小二乘的拟合值向量和残差向量是正交的(意味着这两个向量之间的夹角为垂角)。这时也可以得到：

??y?e?(I?M)y?X?(X?X)?1X?y?Py (3.17) y这里矩阵P?X?(X?X)?1X?也是一个对称幂等矩阵，我们称其为投影矩阵(project matrix)，它是有矩阵X构成的，并且它如果乘积作用到向量y上，则可以得到y基于变量X的最小二乘回归的拟合值。这也是向量y在矩阵X的各列生成的线性空间上的投影。

注释：假设y在矩阵X的各列生成的线性空间上的投影是yP，则yP的定义是：

~~且选择b使得||yP?y||?min (3.18) yP?Xb，

由于上述向量之间的模与最小二乘距离是一致的，因此上述最小值也得到了最小二乘估计，因此最小二乘估计的拟合值也是投影值。

3

计量经济分析 第3章 最小二乘法和最小二乘估计

为了更好地理解上述定义和公式，我们将一些有用的结论归纳为下述命题： 命题3.2 在线性模型的最小二乘估计中，可以得到：

(1) 矩阵M和矩阵P是正交的，即：

MP?PM?0 (3.19) (2) 矩阵P具有自投影不变性，即：

PX?X (3.20) (3) 向量y可以通过投影进行正交分解，即分解为投影和残差：

y?Py?My (3.21)

其中Py是投影，My是残差。

(4) 平方和分解公式成立：

??y??e?e (3.22) y?y?y(5) 残差平方和可以表示为：

e?e?y?e?e?y (3.23) (6) 残差平方和也可以表示为：

e?e?y?y?b?X?Xb?y?y?b?X?y?y?y?y?Xb (3.24) 证明：(1) 根据定义：M?I?P，因此：MP?(I?P)P?P?P2?0。取转置矩阵就可以得到PM?0。

(2) 根据投影矩阵定义，或者根据投影的定义，都可以直接验证PX?X。

(3) 因为P?M?I，因此可以得到分解公式为：y?Py?My，Py是投影，即最小二乘回归的拟合值；My是最小二乘的残差向量，投影和残差是正交的。

(4) 因为矩阵M和矩阵P都是对称幂等矩阵，则有：

P?M?P2?M2?P?P?M?M?I

因此

y?y?y?(P?P?M?M)y?y?(P?P)y?y?(M?M)y

??y??e?e?(Py)?(Py)?(My)?(My)?y这种平方和分解公式十分重要，将其表示成为标量形式则更为清楚。

(5) 因为e?My，并且M是对称幂等矩阵，则有：

e?e?y?M?My?y?My?y?e?e?y

(6) 因为e?y?Xb，则有：

e?e?(y?Xb)?(y?Xb)?y?y?b?X?Xb?b?X?y?y?Xb

根据(4)所给出的平方和分解公式，则有： e?e?y?y?b?X?Xb

由此可知(也可以直接验证)：b?X?Xb?b?X?y?y?Xb，因此得到：

e?e?y?y?b?X?Xb?y?y?b?X?y?y?y?y?Xb

线性模型中存在多种关系式，需要多加联系并熟练掌握。

§3.2 分块回归和偏回归(partitioned regression and partial regression)

通常在进行线性回归时我们假定了完全的回归变量，但事实上我们只对其中的部分变量感兴趣。这时我们就需要考虑将一部分变量从回归变量中删除所导致的结果。

假设回归方程中涉及到两部分变量X1和X2，这时有：

y?Xβ?ε?X1β1?X2β2?ε (3.25)

4