第三章 非参数判别分类方法

其中是一个数量，可用数值R表示，则(3-30)式可写成

代入(3-29)式可得

(3-31)

的方向，其数值大小对分类器没有影响。因

实际上我们关心的只是向量

此在忽略了数值因子后，可得

(3-32)

(3-32)是使用Fisher准则求最佳法线向量的解，该式比较重要。另外，(3-32)

-1

式这种形式的运算，我们称为线性变换，其中(m1-m2)式一个向量，Sw是Sw的逆矩阵，如(m1-m2)是d维，Sw和Sw-1都是d×d维，得到的 向量

就是使Fisher准则函数

也是一个d维的向量。

达极大值的解，也就是按Fisher准

的各分量值是对

则将d维X空间投影到一维Y空间的最佳投影方向，该向量原d维特征向量求加权和的权值。

由(3-32)表示的最佳投影方向是容易理解的，因为其中一项(m1-m2)是一向

量，显然从两类均值在变换后距离最远这一点看，对与(m1-m2)平行的向量投影可使两均值点的距离最远。但是如从使类间分得较开，同时又使类内密集程度较高这样一个综合指标来看，则需根据两类样本的分布离散程度对投影方向作相应的调整，这就体现在对向量按作一线性变换，从而使Fisher准则函数达到极值点。图3.4表示了二维特征空间的两类样本分布及最佳投影方向。图中由于样本沿两类均值点连线向量分布较分散，因此由均值连线决定的向量作为线性加权向量并不能获得Fisher准则函数的极值，而图中向量

所

体现的方向可预期有更好的分类效果。

其实与(3-32)式很相似的一个式子在第二章中已经看到，它就是(2-63)式

。该式是在两类正态分布但具有相同的协方差矩阵Σ时，按最小错误

率的贝叶斯决策得到的结果。回顾式(2-64),如果两类先验概率P(ωi)=P(ωj)，则最佳分界线就是两类概率密度函数值相等的点的集合，见式(2-58)。如果说两类样本的离散矩阵相近，也就是说两类分布的形式很相近，按Fisher准则，错分率就应比较小，Fisher准则的合理性可以在这里体现。

3.2.4.3 判别函数的确定

以上讨论了线性判别函数加权向量W的确定方法，并讨论了使Fisher准则函数极大的d维向量

的计算方法，但是判别函数中的另一项w0尚未确定，一般

可采用以下几种方法确定w0如

(3-33)

或 或当

与

已知时可用

(3-34)

(3-35)

为了确定具体的分界面，还要指定线性方程的常数项。在实际工作中还可以对W0进行逐次修正的方式，选择不同的W0值，计算其对训练样本集的错误率，找到错误率较小的W0值。

其中(3-33)算式中只考虑采用均值连线中点作为阈值点，相当于贝叶斯决策中先验概率

与

相等的情况，而(3-34)与(3-35)则是以不同方式考虑

与

不等的影响，以减小先验概率不等时的错误率。其中(3-34)以样本的不同数量N1与N2 来估计

与

。

当W0确定之后，则可按以下规则分类，

(3-36)

使用Fisher准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人使用。但是与这一节要讨论的感知器准则函数方法相比，感知器准则函数方法的影响要大的多，它采用类似于人认知错误、纠正错误、通过自学习改善自己认识实物本领的过程，使用这种方法的分类器称为感知器，它是人工神经元网络中应用最广泛，影响最大的一种网络雏形，要在本章重点学习。

3.2.5 感知准则函数

感知准则函数是五十年代由Rosenblatt提出的一种自学习判别函数生成方法，由于Rosenblatt企图将其用于脑模型感知器，因此被称为感知准则函数。其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至

最终确定。

感知准则函数使用增广样本向量与增广权向量，即用(3-10)中的d+1维向量表示样本的齐次化向量，用(3-11)将判别函数中的权向量W与阈值权 组合成增广权向量。而判别函数则表示成(3-12)，即

在两类别情况下，判别准则是：

(3-37)

(3-38)

实际上从(3-37)到(3-39)式的作用是将前面常用的线性决策面方程，

改成

,其中

为了讨论原理方便，这一节在线性可分条件下讨论问题，并且只谈两类识别问题。线性可分是说该训练样本集中的两类样本可以用一个线性分界面正确无误的分开。在线性可分条件下，广义权向量a合适的话应有：

为了使问题说得更简洁，讲义又对问题的表达作进一步的改变。为了方便起见，如果我们令

则合适的a能使所有的Y'满足aTY'>0.

讨论完了问题的提法后，下一步要解决如何找到这样一个合适的准则函数方法的思路是：先随意找一个初始向量

，写作

。感知

，然后用训练样

本集中的每个样本来计算。一旦发现有的Y'使aTY<0，则说明当前的广义权向量a不适合还需要进一步修正。修正的原理也很简单，设当前经k次叠代修正的广义权向量使a(k)，若有发现一个Y'出现aTY'<0，则只要(步长系数)则必有

为正，

,就有趋势做到使

a(k+1)TY'>0。

当然，修改后的a(k+1)还可以使某些Y'出现a(k+1)TY'<0的情况，理论证明，只要训练样本集线性可分，无论a(0)的初值是什么，经过有限次叠代，都可使(3-39)式得到满足。

为简单起见，我们不考虑g(X)＝0的情况。由于采用增广样本向量，特征空间为d＋1维，而决策面是经过坐标原点的超平面。图3.5(a)表示了在一个二维增广特征空间两类样本分布及其决策面的情况。为了计算方便起见，我们可将第二类样本都取其反向向量，即令

(3-38)

则对于那些能将所有样本正确分类的决策面来说，应有

aTy’>0，i=1,…,N. (3-39) 反之，若发现出现aTy’<0 的情况，则意味着这些样本

被该决策面错误

分类。(3-38)式的增广样本向量又称为规范化增广样本向量。图3.5(b)表示用规范化增广样本向量时正确分类的情况。如果对一个样本集N，总能找到一个增广权向量 ，对该样本集所有样本实现正确分类，则这种情况称为具有线性可分性。以下我们只讨论线性可分性的情况。

(3-39)实际上是一组联立不等式，N个样本共有N个不等式，而每个不等式都决定了一个相应的增广权向量所应在的区域，而N个样本所对应的增广权向量所在区域之交迭空间被称为解区，在解区内的任一向量能使所有样本得到正确划分。图3.5(a)及(b)表明了由四个样本得到的解区子空间。设计分类器只需在此解区内选择一合适的向量，作为增广权向量。为了使权向量不致选在解区的边界上，一般设有一余量b，使空间的内部。

，以确保增广权向量处在解区