LMSmatlab

w0=R-1P （2.6）

这 个解称为维纳解，即最佳滤波系数值。因为均方误差（MSE）函数是滤波系数w的二次方程，由此形成一个多维的超抛物面，这好像一个碗状曲面又具有唯一的碗 底最小点，通常称之为自适应滤波器的误差性能曲面。当滤波器工作在平稳随机过程的环境下，这个误差性能曲面就具有固定边缘的恒定形状。自适应滤波系数的起 始值{wi(0)}，i=1，2，…，M是任意值，位于误差性能曲面上某一点，经过自适应调节过程，使对应于滤波系数变化的点移动，朝碗底最小点方向移 动，最终到达碗底最小点，实现了最佳维纳滤波。 自适应过程是在梯度矢量的负方向接连的校正滤波系数的，即在误差性能曲面的最陡下降法方向移动和逐步校正滤波系数，最终到达均方误差为最小的碗底最小点，获得最佳滤波或准最优工作状态。

令 代表n时刻的M×1维梯度矢量，M等于滤波器系数的数目；w（n）为自适应滤波器在n时刻的滤波系数或权矢量。按照最陡下降法调节滤波系数，则在n+1时刻的滤波系数或权矢量w（n+1）可以用下列简单递归关系来计算： w(n+1)=w(n)+ [- ] (2.7)

式中 是一个正常数，通常称它为自适应收敛系数或步长。

最小均方（LMS）算法是一种用瞬时值估计梯度矢量的方法，即 = =-2e(n)x（n） （2.8）

这种瞬时估计是无偏的，因为它的期望值E[ ]等于最陡下降法的梯度矢量 ，所以按照自适应滤波器滤波系数矢量的变化关系与梯度矢量估计的方向之间的关系，可以写出LMS算法的公式如下：

（n+1）= （n）+ [- ]= (n)+ e(n)x(n) （2.9） 若把式(2.1.8)代入式(2.1.9)中，则可以得到 (n+1)= (n)+ x(n)[d(n)-wT(n)x(n)] =[I- x(n)xT(n)] (n)+ x(n)d(n) (2.10)

由上式可得到自适应LMS算法如同最陡下降法，利用时间n=0的滤波系数矢量为任意的起始值w(0)，然后开始LMS算法的计算，其步骤如下：

1.由现在时刻n的滤波器滤波系数矢量估值 (n)，输入信号矢量x(n)及期望信号 d(n),计算误差信号：e(n)=d(n)-xT(n) (n)

2.利用递归法计算滤波系数矢量的更新估值： （n+1）= (n)+ e(n)x(n)

3.将时间指数n增加1，回到第一步骤，重复上述计算步骤，一直到达稳定状态为止。 由此可见，自适应LMS算法简单，它既不需要计算输入信号的相关函数，又不要求矩阵之逆。因而得到了广泛的应用。但是，由于LMS算法采用梯度矢量的瞬时估计，它有大的方差，以致不能获得最优滤波性能。

2 最小均方（LMS）自适应算法性能分析 2.2.1自适应收敛性

自适应滤波系数矢量的初始值w(0)是任意的常数，应用LMS算法调节滤波系数具有随机性而使系数矢量w(n)带来非平稳过程。通常为了简化LMS算法的统计分析，假设算法连续迭代之间存在以下的充分条件：

（1）每个输入信号样本矢量的起始值w(0)与其过去全部样本矢量x(k),k=0,1,…,n-1是统计独立的，不相关的，即有E[x(n)xT(k)]=0, k=0,1,…,n-1。

（2）每个输入信号样本矢量x(n)与全部过去的期望信号d(k), k=0,1,…,n-1也是统计独立的，不相关的，即有E[x(n)d(k)]=0, k=0,1,…,n-1

（3）期望信号样本矢量d(n)依赖于输入过程样本矢量x(n),但全部过去的期望信号样本是统计独立的。

（4）滤波器抽头输入信号矢量x(n)与期望信号d(n)包含着全部n的共同的高斯分布随机变量。

由式(2.10)可知，自适应滤波器在n+1时刻的滤波系数矢量 (n+1)依赖于三个输入：输入过程的过去样本矢量x(k),k=n,n-1,…,0;期望信号的以前样本值d(k), k=n,n-1,…,0;滤波系数矢量的起始值 (0).

现将系数误差矢量 得到

(n+1)= [I- x(n)xT(n)] [ +w0]+ x(n)d(n)

=[I- x(n)xT(n)] +w0+ [x(n)d(n)- x(n)xT(n) w0]

式中，w0是最佳滤波系数矢量， 是误差矢量。如将w0移至灯饰左边，则 (n+1)- w0等于系数误差矢量的更新值，于是上式可写成

=[I- x(n)xT(n)] + [ x(n)d(n)- x(n)xT(n) w0] （2.11） 对上式两边取数学期望，得到 E[ ]=(I- R)E[ ]+ (P-R w0) (2.12)

由此得到，要使LMS算法收敛于均值，必须使步长参数 满足下列条件： 0＜ ＜2/ （2.13）

这里 是相关矩阵R的最大特征值。在此条件下，当迭代次数n接近于∞时，自适应滤波系数矢量w(n)近似等于最佳维纳解w0。 2.2.2平均MSE—学习曲线

最陡下降法每次迭代都要精确计算梯度矢量，使自适应横向滤波器权矢量或滤波系数矢量w(n)能达到最佳维纳解w0，这时滤波器均方误差（MSE）为最小，即 ξmin= -wTp (2.14)

式中， 是期望信号d(n)的方差。

学习曲线定义为均方误差随迭代计算次数n的变化关系，如式（2.15）所描述的包含指数项之和：

ξ(n)= ξmin + (2.15)

式 中每个指数项对应的固有模式，模式的数目等于滤波加权数。其中1- <1，故当n→∞时,则最陡下降法均方误差ξ(∞)=ξmin.但LMS算法用瞬时值估计梯度存在误差的噪声估计,结果使滤波权矢量估值 (n)只能近似于最佳维纳解.这意味着滤波均方误差ξ(n)随着迭代次数n的增加而出现小波动地减少，最后，ξ(∞)不是等于ξmin而是稍大于其值。见 下图：

图3 学习曲线

如果步长参数μ选用得越小，则这种噪化指数衰减曲线上的波动幅度将越小，即学习曲线的平滑度越好。 2.2.3失调

在自适应滤波器中，失调Θ是衡量起滤波性能的一个技术指标，它被定义为总体平均超量均方误差值ξex(∞)与最小均方误差值ξmin之比，即 Θ=E[ξex(∞)]/ξmin (2.16) 或Θ= /(2- ) (2.17)

通常μ值很小,因此,失调又可近似表示为 Θ= (2.18)

自适应滤波器LMS算法的稳态失调与步长μ成正比.如果把算法的总体平均学习曲线的时间常数(τmse)av写成2μ的逆数,而平均特征值 应等于 ,则滤波器稳定失调Θ又可写成 Θ= (2.19) 以上表明:

(1) 失调为自适应LMS算法提供了一个很有用的测度，比如，10%失调意味着自适应算法所产生的总体平均MSE高于最小均方误差的增量值为10%； (2) 失调是随着滤波系数数目线性增加的；

(3) 失调可以做得任意小，只要选用大的时间常数(τmse)av，也就是小的步长值即可。 但是，滤波器自适应收敛过程需要长的时间，影响了滤波器的自学习、自训练的速度，所以，自适应滤波器LMS算法的失调与自适应收敛过程之间存在矛盾。 3 仿真结果分析

（a） (b) (c) 图4 仿真结果

从图4（a）中可以得到实际信号的输出在坐标0的范围波动，而系统的输出大部分在（0.5，-0.5）之间。少部分在它之外波动。随N的增加而波动范围变小。

从图4（b）中可以得到随步长参数的减少，LMS算法的收敛速率相应减少。同时也影响学习曲线的变化。误差曲线岁迭代次数n的变化而逐渐收敛于10-1，且随N的增加而越趋明显。

从图4（c）中可以得到实际权矢量与误差权矢量的关系：误差权矢量与实际权矢量有较大的误差，而误差权矢量总是围绕在实际权矢量上下波动。随N的增加而使得其相互之间的误差越小。

最小均方误差（LMS）算法是最简单、应用最广泛的自适应算法之一。LMS算法通过自适应调节w(n)，使得残余回波或平方误差的期望值达到最小。事实上，LMS算法是依据最陡梯度法来更新滤波器系数w(n)的，用算术矢量形式表示为： w(n+1)=w(n)+ [- ] （2.3.1）

由于- 很难实际计算出来，因此在LMS算法中。平方误差的期望值被瞬间值所取代，即：

-2e(n)x（n） （2.3.2）

将式（2.3.1）与式（2.3.2）结合在一起，于是LMS算法可表达如下： （n+1）= (n)+ e(n)x(n) （2.3.3）

为 确保收敛，收敛因子 应满足0＜ ＜2／λmax（λmax是E（x(n)?xT(n)）的最大特征值）。由于LMS算法易于实现，同时，算法对有限寄存器长度造成的实现误差不敏感，因此 LMS算法对于实际应用来说具有相当的吸引力。然而LMS算法的收敛速率依赖于E（x(n)?xT(n)）特征值的发散程度。在实际应用中，输入信号往往 是语音，而语音的特征值分布相对分散，因此LMS的收敛速度较慢，于是又出现了很多改进算法，比如滑动窗LMS算法，时域去相关LMS算法（DLMS）， NLMS算法，符号误差算法等等。这些算法比基本的LMS算法在精度和收敛速度上有明显的改进，计算量和基本LMS算法相当。由于NLMS算法相对简单， 容易实现，因此应用更广泛。

三 归一化LMS算法

1 归一化LMS算法原理与性能分析

若不希望用与估计输入信号矢量有关的相关矩阵来加快LMS算法的收敛速度，那么可用变步长方法来缩短其自适应收敛过程，其中一个主要的方法是归一化LMS算法（NLMS算法），变步长 的更新公式可写成

W（n+1）=w（n）+ e（n）x（n） =w（n）+ （3.1）

式中， = e（n）x（n）表示滤波权矢量迭代更新的调整量。为了达到快速收敛的目的，必须合适的选择变步长 的值，一个可能策略是尽可能多地减少瞬时平方误差，即用瞬时平方

误差作为均方误差的MSE简单估计，这也是LMS算法的基本思想。瞬时平方误差可以写成

e2（n）=[d（n）-xT（n）w（n）]2

=d2（n）+wT（n）x（n）xT（n）w（n）-2d（n）wT（n）x（n） （3.2）

如果滤波权矢量的变化量w′（n）=w（n）+ ，则对应的平方误差 可以由上式得到 = e2（n）+2 x（n）xT（n）w（n）

+ x（n）xT（n） -2d（n） x（n） （3.3） 在此情况下，瞬时平方误差的变化量 定义为 = - e2（n）

=-2 x（n）e（n）+ x（n）xT（n） （3.4）

把 = e（n）x（n）的关系式代入式（4）中，得到

=-2 e2（n）xT（n）x（n）+ e2（n）[xT（n）x（n）]2 （3.5）

为了增加收敛速度，合适地选取 使平方误差最小化，故将式（3.5）对变系数 求偏导数，并令其等于零，求得 = （3.6）

这个步长值 导致 出现负的值，这对应于 德最小点，相当于平方误差 等于零。为了控制失调量，考虑到基于瞬时平方误差的导数不等于均方误差MSE求导数值，所以对LMS算法的更新公式作如下修正： w（n+1）=w(n)+ e(n)x(n) (3.7)

式中， 为控制失调的固定因子， 参数是为避免xT (n)x(n)过小导致步长值太大而设置的。通常称式（3.7）为归一化算法的迭代公式。

为了保证自适应滤波器的工作稳定，固定收敛因子 的选取应满足一定的数值范围。首先考虑到下列关系：

E[xT(n)x(n)]=tr[R] (3.8-a) E[ ] (3.8-b)

然后对收敛因子的平均值应用更新LMS的方向e(n)x(n)是 ，最后，将归一化LMS算法的更新公式与经典LMS算法的更新公式相比较，可以得到收敛因子 的上下界不等式条件，如下：

0＜ = ＜ （3.9） 或 0＜ ＜2

显然，由式（3.7），（3.9）可构成归一化LMS算法，其中0≤ ≤1，选择不同的 值可以得到不同的算法，当 =0时，由式（3.7）可以写成 W(n+1)=w(n)+ (d(n)-wT（n）x(n))x(n) (3.10) 这种算法是NLMS算法的泛化形式，其中随机梯度估计是除以输入信号矢量元素平方之和。所以步长变化的范围比较大。可由较好的收敛性能。在此情况下，算法的归一化均方误差（NMSE）可由式（3.10）得到 = （3.11）

最佳滤波权矢量可由 对w(n)求偏导数，并令其等于零，即由式 =0

得到最佳滤波权系数 = （3.12）

式中， （3.13-a） = （3.13-b）

所 以，自相关矩阵和互相关量都含有归一化因子，在稳定状态x(n)和d(n)时，假定自相关