13-第三章 - 2 错误率

1． 经设计好分类器时错误率的估计

A. 先验概率P??1?，P??2?未知----随机抽样

分类器对随机抽样取N个样本????

?错K，K为随机分布的P?K??CKK?1???N-KN?

其中?为真实的错误率，待求。

求法——最大似然估计：凑?使得P?K?最大（似然估计）

?lnP?K??K??????lnCN?Kln???N?K?ln?1????

?K?K??N1???0

???KN错误样本占抽取样本的百分比K的分布：均值E?K??N?，方差Var?K??N??1??? 5

而???KN则：

?N?N??无偏估计

E?K???E???N??Var?K?N?1????Var????22NN?????1???N??N??Var???，??所以样本数越多，方差越小，估计就越难。

置信区间：

?？N=50，K=0，??0，问??0

6

?=0.2 N=250，K=50，?0.15

B. 先验概率P???，P???已知----选择抽样

12N1?P??1?N，N2?P??2?N

随即抽样取N个样本?????K=K1?K2，N1：K1N2：K22KiNi分类器对错，?i：第i类错误率P?K1，K2???C?i=1?Kii?1??i?Ni-Ki?i?KiNi??

???P??1??1?P??2??2?算出的方差小一点

K1?K2N错分样本% 7

2 .未设计好分类器错误率的估计 A．C方法

设计集=检验集 乐观????

B．U方法

?N-1设计，1个用来检验留一法：另??取N-1设计，1个检验?

??共N次，工作量大，悲观???? 适用于样本值较小的情况。

8