Parzen窗估计与KN近邻估计实验报告 - 图文

其中n为样本数量，h为选择的窗的长度，φ(.)为核函数，通常采用矩形窗和高斯窗。

3.k最近邻估计

在Parzen算法中，窗函数的选择往往是个需要权衡的问题，k-最近邻算法提供了一种解决方法，是一种非常经典的 非参数估计法。基本思路是：已知训练样本数据x1,x2,…,xn而估计p(x)，以点x为中心，不断扩大体积Vn，直到区域内包含k个样本点为止，其中 k是关于n的某一个特定函数，这些样本被称为点x的k个最近邻点。

当涉及到邻点时，通常需要计算观测点间的距离或其他的相似性度量，这些度量能够根据自变量得出。这里我们选用最常见的距离度量方法：欧几里德距离。

最简单的情况是当k=1的情况，这时我们发现观测点就是最近的（最近邻）。一个显著的事实是：这是简单的、直观的、有力的分类方法，尤其当我们的训练集中观测点的数目n很大的时候。可以证明，k最近邻估计的误分概率不高于当知道每个类的精确概率密度函数时误分概率的两倍。

三、实验基本步骤

第一部分，对表格中的数据，进行Parzen 窗估计和设计分类器，本实验的窗函数为一个球形的高斯函数，如下：

1) 编写程序，使用Parzen 窗估计方法对一个任意的测试样本点x 进行分类。对分类器的训练则使用表格 3中的三维数据。同时，令h =1，分类样本点为(0.5,1.0,0.0)，(0.31,1.51,-0.50)，(-0.3,0.44,-0.1)进行实验。

2) 可以改变h的值，不同的h将导致不同的概率密度曲线，如下图所示。

h=0.1时：

h=0.5时：

h=1时：

第二部分的实验目的是学习和掌握非参数估计：k-近邻概率密度估计方法。对前面表格中的数据进行k-近邻概率密度估计方法和设计分类器。

编写程序，对表格中的3个类别的三维特征，使用k-近邻概率密度估计方法。并且对下列点处的概率密度进行估计：(-0.41,0.82,0.88)，(0.14,0.72, 4.1) ，(-0.81,0.61,-0.38)。

四、实验代码如下：

% Parzen窗算法 % w：c类训练样本 % x：测试样本 % h：参数

% 输出p：测试样本x落在每个类的概率 function p = Parzen(w,x,h)

[xt,yt,zt] = size(w);

p = zeros(1,zt);

for i = 1:zt hn = h;

for j = 1:xt

hn = hn / sqrt(j);

p(i) = p(i) + exp(-(x - w(j,:,i))*(x - w(j,:,i))'/ (2 * power(hn,2))) / (hn * sqrt(2*3.14)); end

p(i) = p(i) / xt; end

% k-最近邻算法 % w：c类训练样本 % x：测试样本 % k：参数

function p = kNearestNeighbor(w,k,x)

% w = [w(:,:,1);w(:,:,2);w(:,:,3)];

[xt,yt,zt] = size(w);

wt = [];%zeros(xt*zt, yt);

if nargin==2 p = zeros(1,zt); for i = 1:xt

for j = 1:xt

dist(j,i) = norm(wt(i,:) - wt(j,:)); end

t(:,i) = sort(dist(:,i));

m(:,i) = find(dist(:,i) <= t(k+1,i)); % 找到k个最近邻的编号 end