基于ELM的切换非线性动态系统神经网络控制

贵州大学硕士学位论文

第二章 预备知识

本章介绍了切换系统的李雅普洛夫稳定性定理，随机系统的稳定性定理和ELM算法等基本概念以及后面章节中用到的引理，为后续的讨论作准备。

2.1 切换系统的李雅普洛夫稳定性

考虑如下切换非线性系统:

??f?(t)(x) x其中x??n为系统状态，?(?):?0,???????1,2,?,l?表示切换信号。

为了研究切换非线性系统的稳定性，首先引入切换系统的子系统

??fi(x)i,??的能量衰减域概念。 ?i:x定义2.1 [1]：对于单值标量函数V(x)?0和i??，若对于区域?i??n，

?(x)?0。则称?为子系统?对存在?x??i，使x(t)在子系统?i的作用下满足ViiV(x)的能量衰减域，能量衰减域可由下式描述：

?V???i??x??n|fi(x)?0?

?x??定理2.1 [1]：若有单值正定标量函数V(x)，V(x)沿着各子系统的导数存在，且各子系统对V(x)的能量衰减域覆盖整个状态空间，即????i。则存在

ni?1l切换规则?使得切换系统是渐进稳定的，这时?可由下式描述：

?(t)?argmin??V?V??V?f1(x),f2(x),?,fl(x)?

?x?x??x?其中“argmin”表示所取最小值的指标。

2.2 随机系统的稳定性

考虑如下随机系统：

10

贵州大学硕士学位论文

dx?f(x)dt?g(x)d?

其中x??n是系统状态，随机变量?是定义在全概率空间??,F,??上的一个r维独立标准维纳过程。Borel可测函数f(?):?n??n和g(?):?n??n?r是局部李普希兹连续的，且满足条件f(0)?0和g(0)?0。

定义2.2 [50]：对于任意t0?0,??0和任意初始条件x(t0)，如果存在

?limx(t)?0?1

t??????limP?supx(t)????0 x(t0)?0?t?t0?则非线性随机系统dx?f(x)dt?g(x)d?在平衡点x?0以概率全局渐进稳定。

定理2.2 [50]：如果存在径向无界的二次连续可微正定函数V(x)且满足李导数

?V1?T?2VLV(x)?f?Tr?g?x2??x2?g? ?是负定的，则非线性随机系统dx?f(x)dt?g(x)d?在平衡点x?0是以概率全局渐进稳定的。

2.3 ELM (Extreme Learning Machines)算法

ELM算法运作于不需要进行隐层参数（即特征映射）调整的广义单隐层前馈神经网络上。广义单隐层前馈神经网络包括支持向量机，多项式网络，RBF网络，传统的（单隐层和多隐层）前馈神经网络等。不同于神经网络的原则（广义单隐层前馈神经网络的所有隐节点参数需要调整），ELM算法运作时广义单隐层前馈神经网络的隐节点参数不仅不需要调整，而且还能随机生成。所有的隐节点参数独立于目标函数或训练数据集。实际上，ELM算法的所有参数由分析确定且不需要调整。

ELM算法具有这样的性质：

1.隐节点参数不仅独立于训练数据集，而且互相之间也独立。

11

贵州大学硕士学位论文

2.传统的神经网络算法在生成隐节点参数时需要训练数据集的先验信息。与之不同的是，ELM算法在生成隐节点参数时不需要任何先验信息。

2.3.1 单隐层前馈神经网络结构

具有L个隐节点的单隐层前馈神经网络的输出可由下式描述

f(x)???iF(x,ai,bi),x??n,ai??n

i?1L其中ai和bi是隐节点的学习参数，?i??m是连接第i个隐节点到输出节点的权重向量，F(x,ai,bi)是第i个隐节点相应于输入x的输出。 附加隐节点的激活函数F(x,ai,bi):???定义如下：

F(x,ai,bi)?F(ai?x?bi),bi?? 其中ai是连接输入x到第i个隐节点的权重向量，bi是第i个隐节点的阈值，ai?x表示ai与x的内积。

RBF隐节点的激活函数F(x,ai,bi):???定义如下:

?x?ai??F(x,ai,bi)?F??,bi??

?bi?其中|?|表示欧几里得范数，ai和bi分别是第i个RBF节点的中心和宽度。

2.3.2 基于ELM算法训练的单隐层前馈神经网络

对于l种任意不同的样本(xj,tj)，如果具有L个附加隐节点或RBF隐节点的标准单隐层前馈神经网络能以零误差逼近这l个样本，则存在?i,ai和bi满足

??F(x,a,b)?tijiii?1Lj

这个方程可以简洁地写为

F(x,a,b)??T

12

贵州大学硕士学位论文

F(x1,?,xl,a1,?,aL,b1,?bL)?F(x1,a1,b1)?F(x1,aL,bL)??? ???????F(x,a,b)?F(x,a,b)?l11lLL?l?L?F是单隐层前馈神经网络的隐层输出矩阵[13,14]。F的第i列是对应于输

其中

入x1,x2,?,xl的第i个隐节点的输出向量，F的第j行是对应于输入xj 的隐层输出向量。按照ELM算法的性质，单隐层前馈神经网络的隐藏层节点参数(输入权重和阈值或者中心值和偏置值)不必在训练期间进行调整；在没有任何目标函数先验信息的前提下单隐层前馈神经网络的隐藏层节点参数可以依据任意给定的连续概率分布随机生成。

ELM算法具有如下性质[14]：对于带有在任意区间上无限可微的附加隐节点激活函数或RBF隐节点激活函数的单隐层前馈神经网络，存在L?l和无限小正实数?，可使任意不同的输入向量xj?j?1,2,?,l?和按照任意连续概率分布随机生成的隐节点参数?ai,bi?,i?1,2,?,L满足条件???k?k??????1。

2.4基本引理

?微分规则）引理2.1 [51] （Ito：对于非线性随机系统dx?f(x)dt?g(x)d?，

对于正定，径向无界，二次连续可微函数V(x)，它的随机微分可由下式描述：

dV(x)?LV(x)dt?Vx(x)g(x)d?

?V1?T?2V?LV(x)?f?Tr?gg?

?x2??x2???V(x)?V(x)?其中Vx(x)??,?,?。

?xn???x1引理2.2 [28] (young不等式)：对于任意两个实数x和y，存在

xy???p/p?x??1/q?q?y

pq其中??0，常数p?1，q?1且满足p?1?q?1?1。

13