第三章 非参数判别分类方法

第三章 非参数判别分类方法

学习指南：

前一章重点学习的贝叶斯决策具有理论指导的意义，同时也指明了根据统计参数分类决策的方向。沿这条路走就要设法获取样本统计分布的资料,要知道先验概率，类分布概率密度函数等。然而在样本数不足条件下要获取准确的统计分别也是困难的。这样一来人们考虑走另一条道路，即根据训练样本集提供的信息，直接进行分类器设计。这种方法绕过统计分布状况的分析，绕过参数估计这一环，而企图对特征空间实行划分，称为非参数判别分类法，即不依赖统计参数的分类法。这是当前模式识别中主要使用的方法，并且涉及到人工神经元网络与统计学习理论等多方面，是本门课最核心的章节之一。

非参数判别分类方法的核心是由训练样本集提供的信息直接确定决策域的划分方法。这里最重要的概念是分类器设计用一种训练与学习的过程来实现。机器自动识别事物的能力通过训练学习过程来实现，其性能通过学习过程来提高，这是模式识别、人工神经元网络中最核心的内容。

学习这一章要进一步体会模式识别中以确定准则函数并实现优化的计算框架。

由于决策域的分界面是用数学式子来描述的，如线性函数，或各种非线性函数等。因此确定分界面方程，这包括选择函数类型与确定最佳参数两个部分。一般说来选择函数类型是由设计者确定的，但其参数的确定则是通过一个学习过程来实现的，是一个叠代实现优化的过程。因此本章从最简单的函数类型讲起，再扩展到非线性函数。学习的重点要放在线性判别函数的基本内容上，然后再注意如何扩展到非线性函数的应用上去。

该章的学习最好通过概念的反复推敲与思考，以加深对重要概念的理解，另一方面通过实验，亲自体验设计模式识别系统的完整过程，对学习才会更加真切。

学习目的

(1) 通过本章学习掌握模式识别中最重要的非参数判别分类法的原理 (2) 掌握机器自学习的原理，自学习功能已不仅在模式识别中应用，目前经常用机器学习这个词以涉及更为广泛的内容。

(3) 学习线性分类器的三种典型算法，这三种算法各自形成体系，分别形成了传统模式识别、人工神经元网络以及统计学习理论 (4) 用近邻法进行分类

(5) 通过相应数学工具的运用进一步提高运用数学的本领

本章重点

(1) 非参数判别分类器的基本原理，与参数判别分类方法的比较

(2) 线性分类器的三种典型方法——以Fisher准则为代表的传统模式识别方法，以感知准则函数为代表的机器自学习方法，以及支持向量机代表的统计学习理论。

(3) 近邻法的工作原理及其改进

(4) 线性分类器扩展到非线性分类器，两类别分类方法与多类别分类方法

知识点

课前思考题：

(1) 机器能否像人类一样通过例证教育认知事物，修正观念中的错误的成分?

(2) 机器学习过程中有教师吗？谁是教师？

(3) 什么叫线性分类器? 按照基于最小错误率贝叶斯决策,什么条件下才能用线性分类器？

§3.1引言

在上一章中我们讨论了贝叶斯决策理论和统计判别方法。从原理上说贝叶斯决策理论采用了在d维特征空间中样本分布的最一般描述方式，即统计分布来描述，并且采用分类器中最重要的指标——错误率作为产生判别函数和决策面的依据，因此它给出了最一般情况下适用的“最优”分类器设计方法，对各种不同的分类器设计技术在理论上都有指导意义。但是直接使用贝叶斯决策理论需要首先得到有关样本总体分布的知识，具体说来包括各类先验概率P(ω1)及类条件概率密度函数 ，从而可以计算出样本的后验概率P(ω1|X)，并以此作为产生判别函数的必要数据，设计出相应的判别函数与决策面。

按贝叶斯决策理论设计分类器的步骤可以表示成

其中获取统计分布及其参数这部分是很困难的，实际问题中并不一定具备获取准确统计分布的条件，因此将模式识别的设计过程，主要是判别函数、决策面方程的确定过程改成：

由于这种方法跳过了统计分布的参数估计，没有使用统计参数作为依据，因此称为非参数判别分类方法。而以贝叶斯决策方法为基础的方法则称为参数判别方法。

然而直接采用贝叶斯决策方法并不是一种有效的手段，这是由于这种描述样本分布的方法太基本与原则，加上在一般情况下要得到准确的统计分布知识是极其困难的事。为此人们针对各种不同的情况，使用不同的准则函数，设计出满足这些不同准则要求的分类器。这一类分类器设计技术统称为非参数方法的分类器设计技术。

在这一章中我们将讨论线性分类器以及作为设计依据的一些准则函数。对非线性分类器则着重讨论分段线性判别函数的基本概念与基本做法。近邻法是分段线性判别函数的一种典型方法。近邻法也是本章主要讨论内容。这种方法主要依据同类物体在特征空间具有聚类特性的原理。同类物体由于其性质相近，它们在特征空间中应具有聚类的现象，因此可以利用这种性质产生分类决策的规则。值得注意的是这些准则的“最优”并不一定与错误率最小相一致，我们将在本章中进一步讨论这个问题。另外本章还要涉及一些有关非线性分类器的问题。

按照基于统计参数的决策分类方法，判别函数及决策面方程的类别确定是由样本分布规律决定的，例如，符合某种条件就可使用线性分类器，正态分布条件下一般适合用二次函数决策面，但是在非参数判别方法的设计中，使用什么典型的分类决策方法却要预先由设计者确定，然后利用训练样本集提供的信

息确定这些函数中的参数。这是参数与非参数判别方法的一个重要不同点。非参数判别分类方法选择函数类型与确定参数是两个过程，因此以下先对最简单的线性分类器进行讨论学习。分析这种类型函数的特点，并讨论确定其参数的方法。

§3.2线性分类器

3.2.1 在线性判别函数的基本概念

设样本d在维特征空间中描述，则两类别问题中线性判别函数的一般形式可表示成

其中

(3-1)

而ω0是一个常数，称为阈值权。相应的决策规则可表示成，

g(X)＝0就是相应的决策面方程，在线性判别函数条件下它对应d维空间的一个超平面，

(3-3)

为了说明向量W的意义，我们假设在该决策平面上有两个特征向量X1与X2，则应有

(3-4)

其中(X1-X2)也是一个向量，(3-4)式表明向量W与该平面上任两点组成的向量(X1-X2)正交，因此W就是该超平面的法线向量。这就是向量W的几何意义。而g(X)也就是d维空间中任一点X到该决策面距离的代数度量，该决策平面将这两类样本按其到该面距离的正负号确定其类别。至于w0则体现该决策面在特