基于独立分量分析的混合语音信号盲分离系统的研究

基于独立分量分析的混合语音信号盲分离系统的研究

tr?＝??ij (2-30)

i?1N设有两个 N×N 维矩阵A＝(aij)和B?(bij)，其内积用AB表示且定义如下： AB＝tr(ABT) (2-31)

~对于一个目标函数L(W)，它相对于W的梯度也是一个 N×N 维矩阵，用

~~~?WL(W)表示，若W?(wij)，则?WL(W)＝(?L(W)?wij)。这样，采用此梯度可以求得W变化为W+?W时（其中?W?(?wij)表示一“微小变化”矩阵）

~NN?L(W)~~ L(W??W)＝L(W)＋???wij＋?(?W) (2-32a)

i?1j?1?wij~~~ L(W??W)?L(W)＋ (2-32b) 其中?(?W)表示较?W小一个量级的微小量(?W＝?W?W12)，在近似表

示中可以被略去。按照常规的最陡下降梯度算法，为了使每一步迭代节拍 k ，

~~W(k)变至W(k)+?W(k)时，L(W(k)??W(k))皆小于L(W(k))，应该令

~ ?W(k)＝-?(k)?WL(W)|W?W(k) (2-33) 其中0

下面讨论相对梯度。设 I 是 N×N 维单位阵，??(?ij)是一个 N×N 维微小

~矩阵。这样，当W变至(I??)W时，L(W)的变化可用下式计算：

~~~ L((I??)W)＝L(W) + + ?(?) (2-34)

~其中?(?)是较?小一个数量级的微小量，??L(W)称为相对梯度，其定义如下：

~?L((I??)W)~ ??L(W)＝ (2-35)

??ij这样

~~~ L((I??)W)?L(W) + (2-36) 如果设?W??W，则由式(2-32b)得到

~~~ L((I??)W)?L(W) + (2-37)

~~对比式(2-36)和式(2-37)，可知＝，引用式(2-31)，可得

~~T tr[?WL(W)??W?]＝tr[??L(W)?T] (2-38)

17

基于独立分量分析的混合语音信号盲分离系统的研究

将上式左右对照，即得到相对梯度与普通梯度之间的关系如下：

~~ ??L(W)＝?WL(W)WT (2-39) 在按照相对梯度进行迭代时，每一节拍 k 的W(k)将变至(I??(k))W(k)，其中

~ ?(k)＝-?(k)??L(W)|W?W(k) (2-40) 注意到?W(k)＝?(k)W(k)，再引用式(2-39)，即得

?W(k)＝-?(k)?~WL(W)WTW|W?W(k) (2-41) 这就是按相对梯度法求得的W迭代计算公式。

现在，将式(2-29)代入式(2-41)，首先得到

?~WL(W)＝－?WlndetW+??N(1TW?i(yi(t)))i?1T?lnp|Y(t)?WX(t) (2-42) i?1上式右侧第一项可用下式计算：

?WlndetW＝W?T (2-43) 其中W?T＝(W?1)TN。注意到yi(t)＝ ?wijxj(t)，且设

N?1Tj?1 ?＝?(?i(yi(t)))|Y(t)?WX(t) (2-44) i?1T?lnpt?1则前式右侧第二项等于一个 N×N 维矩阵 (???w)，注意到

ij ?lnp?i(yi(t))?w＝p?'i(yi(t))ijp?(t))xj(t) (2-45)

i(yi其中p?'i(yi(t))是p?i(yi(t))对yi(t)的导数。如果假设 ?(Y(t))＝?－p?'1(y1(t))，－p?'2(y2(t))p?'(y(t))Tpt))p?，? ，NN?1(y1(2(y2(t))p?N(yN(t))? (2-46)

已知

x(t)?[x1(t),x2(t),?,xN(t)]T 经过简单推导即得到

(???w)＝1TijT??(Y(t))XT(t) (2-47)

t?1这样，式(2-33)可以写成 T ?W(k)＝?(k)[W?T(k)－1??(Y(t))XT(t)]WTT(k)W(k) (2-48)

t?1

18

基于独立分量分析的混合语音信号盲分离系统的研究

注意到W?T(k)WT(k)＝I，且因为Y(t)?W(k)X(t)，所以XT(t)WT(k)?YT(t)，这样上式可以写成下列非常简洁的形式：

1T ?W(k)＝?(k)[I－??(Y(t))YT(t)]W(k) (2-49)

Tt?1这是 ICA 学习算法中最重要的一个关键公式。和其他神经网络的学习算法可以分成离线批处理和在线自适应两种方式一样，ICA 学习算法也可按这两种方法实施。如果在学习前预先搜集到T个观察向量X(t)，t?1~T，再从随机初值W(0)?，即构成离线批处理出发，按式(2-49)以节拍 k 进行迭代计算，来求最佳解W算法。如果每得到一个观察向量X(t)，就进行一次学习，这时样本数 T＝1 且迭代节拍 k 与X(t)的时序 t 相重合，如果将二者皆用 k 表示，则可以得到如下 ICA 的在线自适应学习算法：

?W(k)＝?(k)[I－?(Y(t))YT(t)]W(k) (2-50) 和神经网络情况相同，这是一种随机梯度算法，所以对?(k)的选择尤需注意。事实上对于预先搜集到 T 个样本的离线情况，也可用式(2-50)进行学习，只需按时序k从训练集中每次取出一个观察样本X(t)即可。这时施行的是离线随机梯度算法。此外，应注意在式(2-49)的批处理算法中，样本时序t和迭代时序k是不一致的，在该式中Y(t)?W(k)X(t)的表达不够确切，更确切的表示应该是

Y(t,k)?W(k)X(t) ， t?1~T，k＝0,1,? (2-51)

这时离线批处理ICA学习算法可表示为

W(k?1)＝W(k)＋?W(k) ， k＝0,1,2?

1TT ?W(k)＝?(k)[I－??(Y(t,k))Y(t,k)]W(k) (2-52)

Tt?1其中W(0)为随机初值，?(k)为经过选择的步幅，Y(t,k)按式(2-51)计算。 2.4.2 自然梯度学习算法

迄至本节为止，我们讨论的参数空间都是欧氏空间。无论参数W是向量还是矩阵（下面只讨论W为 N×N 维矩阵的情祝），以下两个特点对于W为欧氏空间参数时神经网络的学习算法构成至关重要。第一：设?W＝(wij)是W附近的一个微小变化 N× N 维矩阵，则?W的模平方可以用其内积求得（参见式(2-30)），即

?W2=＝tr[?W?W]＝ (2-53) (wij)2T??i?1j?1NN2注意在欧氏空间中，?W之值对任一W都不改变。第二，设有一个以W为变

19

基于独立分量分析的混合语音信号盲分离系统的研究

~~~元的目标函数L(W)，则对于仔何W，L(W)的最陡下降方向是－?WL(W)＝－~(?L(W)?wij)。应强调在欧氏空间中最陡下降方向不随W改变。这是神经网络学习算法的一个基础。

文献[23]指出，为解决BSS问题而提出的ICA算法中，参数元W的空问是个非欧的黎曼（Riemann）空间。在此空间中，上列两个特点不复存在，而只此空间中所有 N×N 维非奇矩阵构成一个李（Li〕群，其运算符合李代数规则。下面略述其要点。

(1)在黎曼空间中，?W的模平方?W随所取的位置点W而改变，所以必须标明其位置W，即有

?W2W2＝

?W|?WW

＝???wij?wkl?ij,kl(W) (2-54)

i,j?1k,l?1NN其中?ij,kl(W)为W的函数。如果

?ij,kl(W)＝?ik?jl ， ?W

成立，则式(2-54)退化为式(2-53)，黎曼空间退化为欧氏空间。

(2)在黎曼空间中有一个特殊点W?I，在此点附近表现出欧氏空间的特性，即有

?W＝??W|?W?W?I＝W?I2??(?w)iji?1j?1NN2 (2-55)

~其次，W?I附近，任何目标函数L(W)相对于W的梯度取负号后即是最陡下降

~方向。若W?I，则不能由L(W)对W的梯度决定最陡下降方向。

(3)设?是一个任意 N×N 维矩阵，则在黎曼空间中

??W|?W?W＝??W?|?W??W? (2-56) 成立，这称为李群不变性。

现在利用这些知识求 ICA 算法在黎曼空间中的解。问题同样归结为用迭代

~算法求W, 使得目标函数L(W)达到极小值。但它与在欧氏空间中求解不一样，需要在迭代计算的每一步，在微小变化矩阵?W的模平方值?WW保持一定的

~~~条件下，求?W，使得L(W??W)－L(W)达到最小。为此需求得L(W)的最陡

~下降方向。但是，在黎曼空间中，若W?I，则一般的梯度?WL(W)＝(?L?wij)W?I取负号后并非最陡下降方向。为此采取下列措施，令?W＝?W，?＝(?ij)是相

~~对微小变化矩阵。这时L(W??W)＝L((I??)W)根据李群不变性，

?W＝?W?WW22＝?WWW?1?WW?1WW＝?1??I＝?I

22~~这样问题转化为在?I保持不变的条件下，求?使L((I??)W)－L(W)达到最小。

20