第三章 非参数判别分类方法

征空间中的位臵，当w0=0时，该决策面过特征空间坐标系原点，而时，

则表示了坐标原点到该决策面的距离。

有人可能对(3-1)公式表示线性判别函数不太理解，这可从线性方程的表示法说起，设二维空间

一直线方程表示为：

w2X2+w1X1+w0=0

其中w1和w2分别是X1和X2的系数。w0是直线方程的参数项，由于X1和X2是一个向量的两个分量，W=( w1, w2) T.则w2X2+ w1X1就是这两个向量的点积，表示成(3-3)式。另外我们也知道一个线性方程在二维空间唯一确定了一条直线，但一条直线却可以对应无穷多个直线方程。w2、w1和w0是该直线的方程参数，kw2、kw1和kw0也是这条直线方程的参数。如果我们定义

，则

也是该直线的方程，但

却是模为1的向量，而W'TX就是直线上任

一点到W'向量的投影，它的数值等于，因此则表示了这条直线到坐标原点的法向距离。线性函数及线性方程的向量表示形式是今后常用的形式。

3.2.2 广义线性判别函数

线性判别函数是形式最为简单的判别函数，但是它不能用于稍复杂一些的情况

线性判别函数是形式最为简单的判别函数，但是它不能用于稍复杂一些的情况，例如,欲设计这样一个一维样本的分类器，使其性能为：

则用线性判别函数显然就无能为力了。 针对这种情况，如果设计这样一个判别函数

g(x)＝(x-a)(x-b) (3-6) 及其相应的决策规则

(3-7)

就能达到(3-5)所要求的分类效果。此时g(x)不再是x的线性函数，而是一个二次函数，如图3.1所示。由于线性判别函数具有形式简单，计算方便的优点，并且已被充分研究，因此人们希望能将其用适当方式扩展至原本适宜非线性判别函数的领域。一种方法是选择一种映射X→Y，即将原样本特征向量X映射成另一向量Y，从而可以采用线性判别函数的方法。例如对于图3.1的二次函数情况，其一般式可表示成

如果我们采用映射x→Y，使

(3-8)

则判别函数g(x)又可表示成

(3-9)

此时g(x)被称为广义线性判别函数，称为广义权向量。因此一个原属二次函数的分类问题就可转化为一个线性判别函数问题。按照这种原理，任何形式的高次判别函数都可转化成线性判别函数来处理。譬如将非线性函数g(x)用级数展开，并截取其有限项，使之成为高次多项式，然后转化成广义线性判别函数。这种处理非线性分类器的方法，在支持向量机中得到充分的研究。我们将在本章后面讲述支持向量机。

将非线性函数用映射的方法变成线性函数的形式，如(3-8)，(3-9)式所示，但一个重要问题是维数会增加很多。用传统方法处理模式识别问题是希望降低维数，而不希望增加维数，因此不提倡使用，但支持向量机却注重它能将非线性分类问题转化为线性分类问题，因而主张采用(见3.5.3节)。这将在后面学习过程中进一步说明。在目前，先把(3-10)至(3-14)将样本向量增加一维的做法搞清楚，它的用处及好处在下面很快会看到。

这里我们要讨论一种特殊的映射方法，这种映射将X增广至

并将g(x)中的W向量与w0统一表示成

(3-10)

(3-11)

其中w1，w2，w3....wd为向量w各分量，则线性判别函数g(X)可以表示成

(3-12)

这是广义线性判别函数的一个特例。被称为增广样本向量，称为增广权向量。(3-1)式称为线性判别函数的齐次简化。它使特征空间增加了一维，但保持了样本间的欧氏距离不变，对于分类效果也与原决策面相同，只是在Y空间中决策面是通过坐标原点的，这在分析某些问题时具有优点，因此经常用到。例如一个一维特征空间的分类器，其决策面方程为： x-c=0 (3-13) 在一维空间中为一个点。经齐次简化后可得：

(3-14)

此时在二维空间中决策面为一过原点的直线，如图3.2所示。直线以为法线向量，它对1维子空间(y2空间)的划分与原决策面完全相同。

(3-10)至(3-14)式的例子表示了这样一点，由于样本向量在增加一位后变成了一个二维向量，因此原一维空间讨论的问题，转变成在二维空间讨论的问题，而原方程(3-13)也变成了一个(3-14)表示的直线，它过二维空间的原点。现在请大家思考一下，如果在两维空间存在一条不过原点的直线，ax1+bx2+c=0(A)，采用增广向量形式：

T

那么，它在增加一维的三维空间中，aY=0表示的是什么呢？ 答：一个过原点的平面，方程为ay1+by2+cy3=0 (B)。

(A)式与(B)式形式上略有不同，但当y3=1时两者就一样了。也就是说(B)式表示的平面与y3=1子空间(一平面)的交线就是(A)式中表示的直线，这样的方法在后面感知准则函数中用到。

3.2.3 线性分类器设计步骤

线性分类器设计任务是在给定样本集别函数的各项系数，

条件下，

确定线性判

，以期对待测样本进行分类时，能满足相应的