最小二乘自适应滤波器

《最小二乘自适应滤波器》由会员分享，可在线阅读，更多相关《最小二乘自适应滤波器（39页珍藏版）》请在装配图网上搜索。

1、第四章最小二乘自适应滤波器前面所研究的自适应滤波算法根据的最佳准则为最小均方误差准则。自适应算法的目标在于，使滤波器输出与需要信号的误差的平方的统计平均值最小。这个准则根据输入数据的长期统计特性寻求最佳滤波。然而，我们通常已知的仅是一组数据，因而只能对长期统计特性进行估计或近似。LMS算法、格形梯度算法都是这样。能否直接根据一组数据寻求最佳呢？最小二乘算法就可解决这个问题。换句话说，根据最小均方误差准则得到的是对一类数据的最佳滤波器，而根据最小二乘法得到的是对一组已知数据的最佳滤波器。对同一类数据来说，最小均方误差准则对不同的数据组导出同样的“最佳”滤波器；而最小二乘法对不同的数据组导出不同的

2、“最佳”滤波器。因而常说最小二乘法导出的最佳滤波器是“精确”的。本章首先叙述最小二乘法的基础，并推导递推最小二乘(RLS)算法；然后介绍线性空间的概念，并在此基础上讨论两种重要的最小二乘自适应算法一一最小二乘格形(LSL)算法和快速横式滤波器(FTT)算法。4.1最小二乘滤波器最小二乘滤波方程设已知n个数据x，,x(i),x(n),我们要根据这些数据，禾U用图4.1的m阶线性滤波器来估计需要信号d(1),d(i),d(n)。对d(i)的估计式可表为m(?(i)八Wmk(n)x(i-k1)(4.1.1)k=1估计误差me(i)=d(i)d(i)=d(i)wmk(n)x(ik1)(4.1.2)若假

3、设i1及in时x(i)=d(i)=0，我们有如下n+m-1个估计误差e(1)=d(1)-wmi(n)x(1)e(2)=dWmi(n)x(2)Wm2(n)x(1)e(m)=d(m)_Wmi(n)x(m)_-Wmm(n)x(1)(4.1.3)e(n)=d(n)Wmi(n)x(n)Wmm(n)x(nm+1)e(n+m-)=-Wmm(n)x(n)其余的e(i)均为零。根据最小二乘法，wmk(n)的最佳值应使下列累计平方误差性能函数为最小(n)=n屯2(i)(4.1.4)i其中0_1(4.1.5)为加重新数据影响的加权因子。式(4.1.4)中的i的变化范围有下列四种取法：(a)1-i_nm-1(相关法)

4、(b)1乞n(前加窗法)(c)m乞i乞nm1(后加窗法)(d)m空i空n(方差法)之所以上列方法获得相应的名称，是因为方差法对已知数据x(1),x(n)之外的数据未作任何假定，它的处理仅利用已知数据。前加窗法假定当in时，x(i)=0;而相关法即前后窗法则假定in时，x(i)=0。相关法的相关矩阵是对称的和Toeplitz的，其余三个取法的相关矩阵是对称的但非Toeplitz。但是后三种方法的起动特性比相关法好，因而受到相当的重视。本书将以前加窗法为例来讨论最小二乘自适应滤波器。而且，我们仅限于讨论信号的情况，然而不难将结果推广到复信号情况。对于前加窗法，我们只利用式(4.1.3)的前n个误差

5、。令m维矢量m(n)=Wm1(n),Wmm(n)T(4.1.6)Xm(i)=x(i),x(i-m-1)T(4.1.7)且有x(i)=0i:1(4.1.8)这样，前加窗法的n个误差(即式(4.1.3)的前n项)可写成(4.1.9)(4.1.10)e(1)=d(1)-x；(1)m(n)、e(2)=d(2)-xm(2)(n),e(n)=d(n)xm(n)m(n),引入n维矢量e(n)=e(1),e(n)Td(n)二d(1),d(n)T及mn维矩阵Xm(n)二Xm(1),Xm(n)丨(4.1.12)则式(4.1.9)可写成e(n)=d(n)Xm(n)十(n)(4.1.13)前加窗法最小二乘性能函数为n

6、(n)八n屯2(i)=eT(n)_i(n)e(n)(4.1.14)i4其中A(n)=Diag(扎n_L，X，)(4.1.15)而求-m(n)的最佳值问题归结为Min(n)二eT(n)上(n)e(n)(4.1.16)-m为求解此问题，将式(4.1.13)代入式(4.1.14)得(n)=dT(n)t(n)d(n)-2叮(门)心(n)t(n)d(n)1鳥(n)Xm(n)；(n)xm(n)!川(n)(4.1.17)引入m维矢量nrm(n)=Xm(n)A(n)d(n)=送kn_Ld(i)Xm(i)(4.1.18)i旦及mm维矩阵nRm(n)二Xm(n)：(n)xm(n)八nXm(i)xm(i)(4.1.

7、19)i=1式(4.1.17)可表为(nHdT(n)(n)d(n)-2(n)q(n)鳥(n)Rm(n)m(n)(4.1.20)m(n)的最佳值满足方程m(n)(n)=0(4.1.21)从而有-2m(n)2Rm(n)m(n)=0(4.1.22)这就得到Rm(n)m(n)m(n)(4.1.23)即m(n)=R；(n)m(n)(4-.1.24a)或写成m(n)=Xm(n，(n)xm(n)FXm(n)；(n)d(n)丨(4.1.24b)式(4.1.23)和式(4.1.24)就是最小二乘算法的正规方程。式(4.1.24)要求Rm(n)为满秩。这对大多数应用来说的成立的。若对某应用的Rm(n)为降秩，则式

8、(4.1.24)可理解为采用了伪可逆矩阵。根据已知x(i)和d(i),Kiwn,利用式件1.24)即可求出m(n)的最佳值。这就是最小二乘批处理算法。这种算法需要进行矩阵求逆，其运算量为O(m3),因而一般不适于实时滤波。采用递推算法可以减少运算量。下面就对递推算法进行讨论。递推最小二乘(RLS)算法由式(4.1.24a)有m(nd)=Rm(n-1)rm(nd)而根据式(4.1.19)可得Rm(n)二Rm(n-1)Xm(n)xm(n)利用矩阵求逆引理(附录(A.1.38)对式(4.1.26)求逆可得R：(n)囱(珞心风吧誓和，)1人+卩(n)一其中J(n)=xJn(n)R；(n-1)xm(n)

9、为一纯量。引mm矩阵1Cm(n)=Rm(n)和n维矢量(4.1.25)(4.1.26)(4.1.27)(4.1.28)(4.1.29)(4.1.30)gm(n)Cm(n-1)Xm(n)(n)gm(n)称为增益系数(理由见后)。利用式(4.1.29)和式(4.1.30)，逆推式(4.1.27)成为Cm(n)二Cm(n-1)-gm(门)X；(“)5(n-1)丨(4.1.31)利用上式，我们就可以用递推方式求mm维矩阵Rm(n)的逆，使运算量降低。式(4.1.31)两端后乘入Xm(n)，利用式(4.1.28)及式(4.1.30)可得1gm(n)二Rm(n)Xm(n)=Cm(n)Xm(n)(4.1.3

10、2)另外，根据式(4.1.18)可得rm(n)=rm(n-1)-d(n)xm(n)(4.1.33)将式(4.1.29)式、式(4.1.31)、式(4.1.33)代入式(4.1.24a)就有m(n)-Rm1(n)rm(n)=Cm(n)rm(n)二4Cm(n-1)-gm(n)x；(n)Cm(n-1)】喀(n-1)d(n)x；(n)l=Cm(n-1)rm(n-1)-gm(n)xm(n)Cm(n-1)咕(n-1)4Cm(n-1)Xm(n)d(n)-gm(n)xm(n)Cm(nT)x；(n)d(n)(4.1.34)利用式(4.1.28)和式(4.1.30)，式(4.1.34)的最后两项可简化为gm(n)

11、d(n)，而式(4.1.34)的前两项中的Cm(n-1)rm(n-1)即为m(n-1)。所以由式(4.1.34)可得m(n)：m(n-1)gm(n)d(n)-x；(n)、(n-1)丨()这就是递推最小二乘(RLS)算法的递推公式。上式的意思是，n时刻的最佳m(n)可由(n-1)时刻的最佳值-m(n-1)加一修正量得至鷹修正量等于gm(n)d(n)xm(n)，m(n-1)L其中xm(n)r(n-1)为根据(n-1)时刻的最佳加仅和n时刻数据对d(n)之预测值。因而d(n)七(n)r(n-1)为预测误差。gm(n)确定了根据预测误差进行修正时的比例系数，因而称为增益系数。比较式(4.1.35)和L

12、MS算法的递推公式(246)(n)=(n一1)2x(n)d(n)-xT(n)(n一1)】可看出两者之差别仅在于增益系数。而RLS算法则利用复杂的增益系数LMS算法简单利用输入矢量乘上常数作增益系数。gm(n)。表4.1递推最小二乘(RLS)算法流程初始条件：、(0)=Xm(O)=0,6(0)-1C1)运算：对n=1,2,(1)取得d(n),xm(n)(2)更新增益矢量(n)7补(n)Cm(n-1%(n)Cm(n-1)Xm(n)gm(n)：丄(n)更新滤波器参量-m(n)=m(n-1)gm(n)d(n)xm(n)，m(n1)】更新逆矩阵Cm(n)=旷Cm(n-1)-gm(n)x：(n)Cm(n-

13、1)递推方程(4.1.35)的初始条件可用几种方法产生。一种方法是令，m(0)=0以及Cm(O1,其中为非常大的纯量。整个RLS算法列于表4.1o4.2矢量空间后者可降低运算量。人们还研(LSL)算法及快速横向滤波器上节讨论了最小二乘的批处理算法和递推最小二乘算法。究了比递推最小二乘算法更快的算法，其中包括最小二乘格形(FTF)算法。这两种算法均可用矢量空间法进行推导和分析。矢量空间的概念不仅简单明了,而且有直观的几何意义，是一种有力的分析方法。本节对本章所涉及的矢量空间概念作简单介绍。有兴趣的读者可参看有关文献3435。希尔伯特空间欧几里得空间是我们熟悉的线性空间或矢量空间的例子。在n维欧几

14、里得空间Rn中，一个矢量即空间中的一点并由其坐标确定，可以表为X=X1,XnT()欧几里得空间中有两矢量之和，及纯量乘以矢量的运算。一般的线性空间是欧几里得空间的推广。线性空间定义：一个集合V,如果它的任意元素x,y,z满足下列条件，那末V叫做线性空间或矢量空间：(a)V中有加法及数积两种运算，并且还有加法的逆运算减法。即如果X,厂V,那末xyV,kxV。这里k是任意数；并且V中还有使x*-y的元素。(b)V中加法满足交换律、结合律:xy=yx,(xy)z=x(yz)数积满足分配律、结合律k(xy)=kxky,(k丨)x=kxlx,k(lx)=(kl)x其中k、i都是数。如果这些数只能是实数，

15、就称v为实空间。如果不只是实数，一般是复数，V就称复空间。本章我们只讨论实空间。此外，由定义不难看出，线性空间一定包含零元素x+0=x;其任一元素x必有对应的负元素-x,使得x+(-x)=0。不难看出欧几里得空间满足上述定义中的各条件，因而欧几里得空间为线性空间。然而,欧几里得空间的重要性质一一几何结构(矢量长度、矢量间的夹角)尚未包含在线性空间的定义之中。欧几里得空间的几何性质均由矢量内积导出。在n维欧几里得空间Rn中，两矢量X=Xi,XnT,y=yi,ynT之内积定义为nx,y二xTy二xiyi(4.2.2)矢量x的长度|x|定义为11X二x,y2二XTX2(4.2.3)两矢量x和y之夹角

16、取决于x,y.=Xycost)两矢量x和y相互正交是指x,y=xTy=yTx=0(4.2.5)内积空间将上述性质推广到一般的线性空间就导出了内积空间的概念。定义了内积的线性空间称为内积空间。设V为内积空间，且x、y、z为V中的任意元素且j为任一数，是x、y之内数x,y为一纯量(即一个数)，且满足下列规则：x,x-0,当且仅当x=0时x,x=0(4.2.6)X,y=y,xx,ym：x,yxy,z=x,zy,z希伯特空间定义：若内积空间具有完备性，则称之为希尔伯特空间。所谓完备性是指不存在这样的矢量，它可任意接近该空间但不属于该空间。自适应滤波所涉及的空间都是希尔伯特空间。欧几里得空间是希尔伯特空

17、间。相互正交矢量若希尔伯特空间中的两矢量x、y满足条件x,y=0(4.2.7)则称它们相互正交。线性空间的子空间定义：线性空间的子空间是该线性空间的一个子集，它本身亦是线性空间。在欧几里得空间中，一条直线和一个平面都是子空间。此外，由m个n维矢量X1,Xm的所有可能线性组合也是n维欧几里得空间的子空间，并称为由X1,Xm张成的子空间，记为为,xm*。图4.2(a)示出由矢量x张成的子空间(为一条直线)。图4.2(b)示出由矢量x和y张成的子空间(为一个平面)。相互正交子空间定义：若分别从两子空间Ui、U2各任取一矢量均相互正交，则称该两子空间是相互正交的。其中A=Diag,1(4.2.12)圉

18、42三堆欧亿虽得空间的于空间两子空间之和由子空间Ui的知量和子空间U2的矢量的所有线性组合所组成的子空间，称为该两子空间之和，记为UJU?。在本章中为简便起见为UjU2。图4.2(b)的平面即为由x张成的子空间与由y张成的子空间之和。定理4.1投影定理。给定希尔伯特空间H中的子空间U和矢量x,在U中必有唯一矢量Pux，使得对U中的任何矢量y均有X-PuX,y二0(4.2.8)Pux称为x在U中的投影矢量。换句话说，由x-Pux张成的一维子空间与子空间U正交。定理4.2对矢量x来说，U中矩x最近的矢量为x在U中的投影Pux。即对U中不等于Pux的任何矢量y均有X-PuX|x-y(4.2.9)定理

19、4.3若Ui、U2为希尔伯特空间H中的两相互正交的子空间，则对H中的任一矢量x有PUiU2x=PU1xPu2x(4210)根据投影定理(定理4.1)，不难证明定理4.2和定理4.3。本章所讨论的最小二乘自适应算法涉及的矢量空间为n维欧几里得空间。它是一种希尔伯特空间，所以具有希尔伯特空间的一切性质。还需要说明的是，在最小二乘自适应算法中，常要求相应的欧几里得空间之内积按下式定义。)且0：一1。的引入是为了对新数据给予较重的权。我们在4.1已经对此作了说明。通常取为0.901.00。因为的选择不是临界的，所以我们在以下的讨论中取=1。这样，内积的定义为x,y=XTy,即式(4.2.2)。在需要时

20、，读者将不难把我们的讨论推广到/-1的情况。投影矩阵我们先来看在n维欧几里得空间中矢量x在矢量u上的投影Pux的表达式。因为Pux在子空间u中(图4.3)，所以可写成PuX-:u(4.2.13)其中是待定系数。根据投影定理(4.2.8)有0=：:XPuX,U=：:X-：U,U=:X,U-：:U,U-从而有au,ux,u(uTu)uTx代入式(4.2.13)得TitPuX=u(uu)uX(4.2.14)这就是说，投影矢量PuX的符号Pu可看成一个矩阵，并称为投影矩阵，且有1tTTPu二u：:u,uuu(uu)u(4.2.15)定义R=1一巳(4.2.16)u为正交投影矩阵，且Rx=X-PjX(4

21、.2.17)u称为正交投影矢量。上述讨论不难推广到一般情况。根据投影定理，矢量X到由u1,um所张成的子空间U的投影Pux应满足團仁3矢hl*在欠皿U上的拉惠ui,xFUx=0,1_i_m(4.2.18)因Pux在U中，所以可表示u1,um的线性组合：PuX=十5讦氏养口皿=U()其中U=山,um(4.2.20)-X,宀T(4.2.21)将式)代入式(4.2.18)得比，xU：二ui,x-u,U：二ujx-uju：=0,1_i_m(4.2.22)即UTx二UTu：(4.2.23)设UTU为满秩，则由式(4.2.23)和式(4.2.19)可得FUX=UUTU4UTX(4.2.24)因为可认为Pu

22、为一矩阵，并称之为将矢量投影到U的投影矩阵：T-1TPu=U(UU)U(4.2.25)而P1=I-FU=I-U(UTU)JUT(4226)U为将矢量投影到与U正交的子空间的正交投影矩阵。所以，x对U的正交投影矢量为(4.2.27)定义：矩阵A与矢量x的内积及两矩阵A与B之内积定义为Ax；iiATx,x,AlxTAA,BAtB根据上述定义，投影矩阵及正交投影矩阵可写成(4.2.28)Pu=U:U,UJUT(4.2.29)Pl=I-u(u,u)uTU(4.2.30)投影矩阵和正交投影矩阵具有一系列重要性质。比如说，由式Pj=Pu,P丄U丿=PlUPuPJ=Pu,P1P1=P1uuu(4.2.25)

23、和式(4.2.26)不难证明(4.2.31)(4.2.32)由此立即可得Pjx,Puy.二Pjx,y=：x,Puy(4.2.33)X,y：二:x,p丄y(4.2.34)再有，由于对于任意矢量：，Pu：和Pv正交，所以UP1,P1=TP1,P=0:UUuu由于：的任意性可得P1Pj=0(4.2.35)u设对子空间U和U正交的矢量组成的子空间U,：1的投影矩阵为Pj：,则根据定理4.3有Pu-PuP。在一般情况下，:不一定和U正交，但我们可构成一个与U正交的矢量二P1：，且U和构成的子空间将与U,一样(图4.4)。令对U厂1的投影矩U阵为Pj*则应用定理4.3可得(b)凸斗川于空何（V）及其毎效子

24、空闾卩严PU-Rj,.了-PUP.(4.2.36a)Piu(4236b)根据投影矩阵表达式（4.2.29），上式可表为Pu“-PuPiPv,Piuuu-TPiu)对任一矢量y,z有-Pi:Pi,P1TPiU.uuu)Pl=P1yuuPu.y=Puy(4.2.38a)(4.2.38b)以及算法的主要递推公式。uP，y(4.2.39a)(4.2.39b)单位现时矢量及角参量一、单位现时矢量二（n）最小二乘滤波器算法根据到时刻n为止的所有输入数据，基于n个累计平方误差最小,io以寻求滤波器的最佳参量。当有新数据输入时，即对于新的n时刻，最佳参量应进行更新。这叫做时间更新。对于n维数据矢量x(n)-X

25、(1),x(n)T(4.2.40)其最新时刻分量即现时分量为x(n)。为了分出矢量的现时部分和过去部分，我们引入n维单位现时矢量二(n)二0,0,1T(4.2.41)这样，投影到二(n)之投影矩阵为P.(n)m(n)二(n)，二(n)二(n)T=Diag(0,0,1)(4.2.42)对:(n)的正交投影矩阵为P1(n)二Diag(1,1,0)(4.2.43)因此，x(n)之现时部分为P-:(n)x(n)=0,0,x(n)T(4.2.44)过去部分为P1(n)x(n)=x(1),x(n-1),0T(4.2.45)而现时分量为x(n)二.：(n),x(n)；(4.2.46)对于最小二乘法的其它矢量

26、，二(n)亦有同样作用。现在我们来讨论当n变化时，数据空间及投影矩阵的变化。仍然先看简单的情况，即用一个矢量x(n)对d(n)进行最小二乘估计的问题。假定d(n)；-3,1,4，x(n)-4,3,2/。图4.5示出了矢量x(2)和d(2)，x(3)和d(3)，以及n=3时的单位现时矢量二(3)-0,0,1T。x(3)和二构成子空间x(3),二(3*。不难看出现时最佳估计(?(3)及前次估计矢量(?(2)均在此空间内。iiiM*)311廿魚3图4kHd各矢.花子空阖图4.6示出了图4.5各矢量在子空间上(3),二(3)上的投影。不难看出，前次最佳预测c?(2),d(3)在二(3)上的投影Pn(3

27、)d(3)、d(3)在1x(3),二(3)1上的投影Px(2)-km1(n)x(1)e；(m+1)=x(m+1)Lmi(n)x(m)+mm(n)x(1)】e；(n)=x(n)-m1(n)x(n-1)：；：；:估(n)x(n一m)1利用x(n)及x(n-i)的表达式(4240)及式(4.3.14)，并令e；(n)二以,V(n)可将式(4.3.17)表成em(n)=x(n)-？(n)=x(n)-，m1(n)zx(n)亠j：mm(n)zx(n)丨=x(n)X1,m(n):m(n)其中X1,m(n)=zx(n),，zx(n)】为由矢量zx(n),，zx(n)所张成的子空间X1,m(n)所对应的矩阵。根

28、据的讨论，使n2(n)=二em(i)e；(n)心(n)；i三最小的最佳？(n)为x(n)在子空间X1,m(nN上的投影x(n)=R,m(n)x(n)而最佳前向线性预测误差矢量为x(n)对X1,m(n)的正交投影e；(n)=R,m(n)x(n)最佳现时前向线性预测误差为e；(n)十叭n),e；(n：=；感(n),R,m(n)x(n)投影矩阵R,m(n)=X1,m(n)X1,m(n),X1,m(n)X1TmP1,m(n)=1-p1,m(n)具有前面讨论过的投影矩阵的一切性质。后向线性预测滤波器已知n个数据x(1),x(n)，对于在前加窗情况的最小二乘(LS)m阶后向线性预测滤波器，当其预测系数矢量

29、(图4.9)为(4.3.26)bm(门)二bmm(门),皿)T图4円L3后向经性魅魁應疲器时，我们有下列n个后向线性预测误差em(1)=-bmm(n)x(1)、em=-bm,m_1(n)x(1)+bmm(EX(2)】，(4327)em(m+1)=xbmi(n)x(2)+bmm(n)x(m+1)】em(n)=x(n-m)-bmi(n)x(n-mi)bmm(n)x(n)l令e；(n)二em(1),em(n)(4328)可将式(4.3.27)写成e；m(n)=zx(n)_xn_m)=zx(n)-X,m(n)bm(n)(4329)其中X,m4(n)=x(n)，,z_Cma)x(n)(4330)为由矢量

30、x(n)，zm4x(n)张成的子空间x0,mJ1(n)所对应的矩阵。同样地，最佳后向线性预测矢量为x(n-m)=Po,(n)zx(n)(4.3.31)最佳后向线性预测误差矢量为e：(n)=Po,m(n)zx(n)(4.3.32)最佳现时后向线性预测误差为(标量)em(n)二匸(n),e：(n)二二(n),Po,mj(n)zx(n)(4.3.33)式(4.3.31)和式(4.3.32)中的投影矩阵为Pu,m/(n)=Xo,md(n)Xi,m4(n),X,m4(X)Xo,m/(n)(4.3.34a)P0,m4(n)=丨-P0,m4(n)(4.3.34b)线性预测误差剩余线性预测误差剩余即线性预测误

31、差功率，在自适应预测的分析和算法中有重要作用。其定义如下。前向线性预测误差剩余fn)定义为矢量e；(n)的范数；m(n)二em(n),fn).相应地，后向线性预测误差剩余；m(n)定义为矢量e；(n)的范数；m(n)=：em(n),e；(n)为了推导递推公式，我们还需要下列的对(n-1)时刻的误差剩余；(n一1)=；zem(n),ze；(n)；(n1)=.ze；(n),zJe；(n)式中)=e；(n-1)-b,e；(1),e；(n-1)zde；(n)=e；(n-1)=b,e；(1),e；(n-1)时间更新为了推导最小二乘算法的公式，我们还需要讨论一些有关数据空间由式。(4335a)(4335b

32、)(4.3.36a)(4.3.36b)(4.3.37a)(4.3.37b)(n-1)变到n时的等首先，根据式(4.3.2b)及式(4.3.3b)可看出zXb,z(n)-Xb,m(n1)=k(n1),x(nm)】=X1,m(n)(4.3.38)从而根据式(4.3.25)和式(4.3.34)有P,m(n-1)=P1,m(n)(4.3.39a)P1(n1)=R(n)(4.3.39b)0，m4严从而根据式(4.3.32)可得下列重要等式zem(n)二P,m4(门-1比跟(n-1)=賂(门比亠妆5)()根据空间投影概念，读者不难想象上式的几何意义。基次，我们来看式(4.2.53)所引入的角参量ru(n)

33、，它表征了当由子空间U(n-1)1变到子空间七(n)时的转角日。现在，若令子空间U(n)为X0,m_l(n)，且将此时的rU(n)表为rm(n)，则式(4.2.53)成为rm(n)=.(n),P,m4(n)：(n)其中0为当子空间k0,m_1(n-1)变成仪。,2(n)时的转角。我们还可证明(4.3.41)(4.3.42)rm(n-1)珂蔥(n),R,m4(n)：(n)4.4最小二乘格形(LSL)算法最小二乘格形滤波器根据上述讨论，不难导出最小二乘格形滤波器。下面就来进行推导。根据式(4324)，m+1阶前向线性预测误差为erm4i(n)=兀(n),R血(n)x(n(441)其中R,m4Jn)

34、为对子空间仪仙就n)的正交投影矩阵。因为咲伽i(n)zAx(n),zx(n),zx(n)匚-Xi,m(n),zx(n)f(4.4.2)所以利用投影矩阵展开式可将em.i(n)分解成e；(n)加一个校正项。实际上，利用公式(4.2.39b)，并在其中令m1z=n),U=Xi,m(n),二zx(n),y=x(n)(4.4.3)即可得所要的结果。因为在式(443)的假定下，式(4.2.39b)的有关项可表示如下。首先，根据式(4.3.23)，Piy二Pi,m1(n)x(n)工e；i(n)(4.4.4)乜丫=P,m(n)x(n)=e；(n)(4.4.5)U其次根据式(4.3.40)有P=P,m(n)z

35、sx(n)=zem(n)(4.4.6)U所以，将式(6)代入式)就得到em.i(n)=em(n)-zem(n)；zem(n),zem(n)zem(n),x(n)(447)emi(n)=em(n)-zem(n)m1(n)加-1)(4.4.8)其中，纯量；m(n-1)来源于(4.3.35b)z4em(n)总鷹(n)而纯量/m+i(n)定义为(4.4.9):m1(n)=zem(n),x(n)二z，em(n),em(n)称为前后向预测误差相关系数。式(4.4.9)最后一个等式的原因在于：根据xn二em(n)5?(n)对于最佳预测有x(n)=R,mnx(n)即？(n)在子空间仪伽(n)中。而根据式(43

36、40)z_Lem(n)=R,m(n)z，x(n)zem(n)垂直于子空间xL,m(n)，也就是说垂直于X(n)。所以我们就得到式(449)最后一个等式。式(4.4.8)还可写成e；i(n)=e；(n)Kml(n)em(nL)(4.4.L0)其中K；l(n):mi(n)-；m(n-L)(4.4.LL)称为后向预测反射系数。现在讨论对后向预测的递推公式。由式(4332)式可得第m+L阶最佳后向预测矢量为eml(n)二Po,m(n)zqx(n)(4.4.L2)我们将再次利用(4.2.39b)式进行推导。因为、Xo,m(n)；x(n),zx(n),zx(n)x(n),Xi,m(n)f=、XL,m(n)

37、,x(nY(4.4.L3)(a)(b).搭小二乘格妙(LSQ尬菠器所以在(4.2.39)中令Zh叭n),u=Xi,m(n),=x(n),y=z4x(n)(4.4.L4)我们有Ply=F0,m(n)zW(n)=emi(n)()-vPiy=R,m(n)z*x(n)=zJem(n)(4416)Pi。=P,m(n)x(n)=em(n)(4.4.17)进行与得到式(4.4.10)和式(4.4.11)的类似推导，可得em1(n)=em(n)K；勺(诃(n)(4.4.18)其中K；1(n)二(4.4.19)称为前向预测反射系数。根据递推式(4.4.10)和式(4.4.18)，可得最小二乘格形滤波器一个环节的

38、结构如图4.10(a)。并且，因为对最小二乘格形滤波器同样有(4.4.20)ef(n)扁(n)=x(n)所以可得整个滤波器结构如图4.10(b)所示。反射系数的更新从图4.10可知，最小二乘格形滤波器与最小均方误差格形滤波器很相似，不同仅在于LSL滤波器有两种反射系统K*(n)和Km(n)。LSL滤波器的各参数均按递推方式求出。对于有n个输入数据的M队部滤波器，其某参量的各个值m(n),m=1,M;n=1,2,可以是在已知各阶的起始时刻值m(0),m=1,，M，按时间更新方程求得；也可以是在已知各时刻的零阶值0(O),n=1,2-,按阶次更新方程求得。前已看到，预测误差e；(n)、em(n)可

39、按阶次更新(即阶次递推)方程(4.4.10)和(4.4.18)得到。现在来看反射系数K*(n)和Km(n)。根据式(4.4.11)和式(4.4.19)，为了更新反射系数，就应更新；m(n)、；m(n-1)和m+1(n)。预测误差剩余；m(n)、；m(n-1)可按阶次更新方程求得。实际上，根据其定义式以及投影矩阵展开式就可得它们的阶次更新公式。对于前向预测误差剩余，根据式(4.3.35a)有；m(n)h：em(n-1)(；(n)=x(n),R,mX(n)()从而在投影矩阵内积展开式(4.2.39b)中令z=y=x(n),U=X1,m(n),=z4x(n)(4.4.22)即可得(4.4.23)对于

40、后向预测误差剩余，根据式(4.3.35b)有；m(n)=zx(n),P,m(n)zx(n)同样利用式(4.2.39b)并令z=y=zQx(n),U=Xi,m(n),：=x(n)(4424)(4425)m1(n)爲(叭帥-0帥)(4.4.26)现在来看反射系数的分子一一前后向预测误差相关系数要想利用阶次更新公式，即由m+1(n)递推m+2(n),就遇到m+i(n)。根据其定义式(4.4.9)R,m(n)zx(n),但我们在前面并未定义此变量。然而，下面将看到它可采用时间更新，即由求各时刻值m+1(n)。为此，再次利用式(4.2.39b)并令z=x(n),U=X1,m(n),八(n),y=zx(n

41、)m+l(0)出发来(4.4.27)此时，根据式(4.3.23)、式(4.3.40)、式(4.3.42)和式(4.4.9)可得Pl二Pi,m(n)x(n),二(n)二(n)兀(n),P,m(njz*n=乙甘(门)P丄,P,=,P=(n),R,m(n)：(n)二“(n-1)UUz,Py=：x(n),R,m(nRxCn)二m1(n)u.而根据式(4.2.51b)此时的z,Peyj可表示为z,PvyUx(n),P丄zJx(n)；：=m-1(n-1)Ux(4.4.28)就得到将上述结构代入式(4.2.39b)即得(4.4.29)/m+1(n)=m+1(n-1)em(n)em(1)的-1)其中rm(n-

42、1)是由式(4.3.42)定义的角参量。为了实现m+1(n)的更新，我们还需要rmd(n)的更新公式。为此，又一次利用式(4.2.39b)并在其中令初始条件em(O)-：m(0)=0rm(0)=1；m(o)=；m(o)+对n=1,2,计算e0(n)(n)=x(n)；0(n)二身(n)=；0(n1)x2(n)r(n)=1对m=0,1,M-1计算二m1(n)二：m讣1(n-1)e：(n一1)e；(n)rm(n-1)即得em1(n)二e；(n)：m1(门虜(n1)_也-1)em“(n)二em(n1)-；m1（n）=；m（n）；m1(n)m1(n)e；(n)匚1(n)-*(n-1)；m(n-1)1(n

43、)讣(n)rm1(n-1)=rm(n-1)-em(n-1)f和n-1)z=y=：(n),U=X1,m(n),二zx(n)(4430)rm1(n一0二rm(n_1)-(4.4.31)由此，我们得到了最小二乘格菜（LSL）算法的全部递推公式。整个算法列于表4.2。4.5快速横式滤波（FTF）算法本节讨论最小二乘快速横式滤波（FTF）算法。这种算法能够实现对横式滤波器的快速更新。设已知输入x（i）,i=1,，n，我们要用具有权矢量为-M（n）的m阶横式滤波器来对d（i）,i=1,n或x（i）本身进行最小二乘估计。FTF算法的目的在于快速更新最佳（在最小二乘意义下）权矢量-m（n）。因为在m（n）的更

44、新公式中又包含其它参量，所以为实现其更新，FTF算法需要对四个横式滤波器一一基本滤波器、前向预测滤波器、后向预测滤波器和增益系数滤波器的更新。对这四种滤波器及其更新公式来说，本节引入的横式滤波算子起着重要的作用。FTF算法是19831984年间由Carayannis、Cioffi、Kailath等人提出来的3637,是目前自适应滤波领域的重要研究课题之一。横式滤波算子和FTF算法的四个横式滤波器(4.5.2)其中enni=d(n)-(?(n)enn&1n),e(nn)卩(4.5.3)(4.5.4)为误差矢量。我们采用记号e(in)及e(nn)表示误差及误差矢量是明显指出，这是根据n时刻的加权矢

45、量m(n)进行估计的误差。在式(4.5.3)中d(n)=X0,MJ(n)M(n)(4.5.5)为根据x(n),z1x(n)及-M(n)对d(n)的估计。其中Xo,m4(n)=k(n),zx(n),z“1x(n)丨(4.5.6)为由x(n),，z血1x(n)所组成的子空间、X,m4(n)；x(n),z1x(n)?(4.5.7)所对应的矩阵。而x(n)二x(1),x(n)】Tz亠x(n)二0,0,x(1),x(ni)(4.5.8a)(4.5.8b)根据式件1.24b),实现对d(n)进行最小二乘估计的最佳m(n)为0,m4(n)d(n)(4.5.9)相应的d(n)的最小二乘估计为M阶快速横式滤波(

46、FTF)算法涉及四个M阶横式滤波器：(1)基本横式滤波器，加权矢量为m(n);(FTF算法的目的就在于实现对.m(n)的更新。为了实现m(n)的更新，就必须涉及后面三个滤波器)。(2)前向线性预测滤波器，加权矢量为：M(n)；(3)后向线性预测滤波器，加权矢量为bM(n)；(4)增益滤波器，更确切地说是关于角参量的滤波器，加权矢量为gM(n)。这四个滤波器的加权矢量都与一个重要的算子一一横式滤波算子相联系。为了推导FTF算法，本段对上述四个滤波器进行讨论并引入横式滤波算子。一、基本横式滤波器和横式滤波算子当用x(1),x(n)来对d(1),，d(n)进行估计时，若加权矢量为m(n)二w,n),

47、Wm(n)T(4.5.1)则对于前加窗情况有下列n个估计误差e(1n)=d(1)x(1)w!(n)、e(2n)=d(2)-x(2)w1(n)-x(1)w2(n)enn=d(n)-x(n)w,n)-x(n-M-1)wM(n)上式写成矢量形式即为(?(n)=X,m(n).Xo,M(n)Xo,M(n)Xo,ma(n)d(n)0)或d(n)=Po,m(n)d(n)(4.5.11)最佳误差矢量e(nn)=d(n)-d(n)=P,m(n)d(n)n时刻之最佳估计误差enn戸：;恵(n),enn二.二(n),P0,m(n)d(n)(4.5.13)定义横式滤波算子Ku为Ku=U,UJUT(4.5.14)则由式

48、(4.5.9)可知最佳.M(n)可表为M(n)=K,m(n)d(n)()显然m(n)=Ko,m二(n1)d(n)(4.5.15b)式(4.5.15a)和式(4.5.15b)指出，将牌子K0,m_1(n)作用于需要信号矢量d(n)上即得横式滤波器的最佳加权矢量，并且只要能求出K0,m(n)的更新式就可求得我们需要的，m(n)的更新式。二、前向线性预测滤波器现在我们再次讨论前向线性预测问题(图4.8)。根据x(i)的前M个数据x(i1),x(iM)预测x(i)。对于前加窗情况，我们有下列n个前向线性预测误差ef(1n)=x-0ef(2n)=x(2)-a(n)x(1)(4.5.16)ef(nn)=x

49、(n)-印(n)x(n-1)一-aM(n)x(nM)或ef(nn)=x(n)-(n)=x(n)-X(n)：m(n)其中:m(n)=(n)：m(n)(4.5.18)为n时刻的前向预测系数矢量；ef(nn)=bf(1n),ef(nn)(4.5.19)为预测系数矢量为:m(n)时的前向预测误差矢量；5?(n)=X1,m(n)m(n)(4.5.20)为预测系数矢量为-M(n)时的x(n)的预测值；(4.5.21)Xi,m(n)工Zx(n),z川x(n)对x(n)的最小二乘预测为X(n)=R,m(n)x(n)二乂刑(n)0讪(n),X1JVI(n(n)x(n)(4.5.22)相应的最佳预测误差矢量为ef

50、(nn)二R,m(n)x(n)(4.5.23)n时刻的最佳预测误差ef(nn)=兀(n),R,m(n)x(n)n时刻最佳前向预测误差剩余J(n)=(ef(nn)ef(nn)=(x(n),R,m(n)x(n(4.5.25)对照式(4.5.20)和式(4.5.22)可知最佳预测系数矢量:-M(n)又可写成m(n)=xi,m(n),Xi,m(n).Xi,m(n)x(n)(4.5.26)再根据横式滤波算子KuR定义式(4.5.14)，最佳预测系数:M(n)又可写成:m(n)二Ki,m(n)x(n)(4.5.27a)显然有otM(n-1)=K1,m(n1)x(n1)(4.5.27b)这就是说，最佳前向预

51、测系数矢量是横式滤波算子K1JM(n)作用于输入x(n)的结果，而且只要能更新K1JM(n)就能更新gM(n)。三、后向线性预测滤波器对于后向线性预测(图4.9)，在前加窗情况，类似的有下列n个后向预测误差eb(1n)7(n)x(1)、eb(2n)=bM(n)x(2)bM(n)x(1)()eb(nn)=x(n-M)-bM(n)x(n)-b1(n)x(n-M+1)或eb(nn)=zx(n)%nM)=zx(n)X0,M丄(n)bM(n)(4.5.29)其中bM(n)=d(n),bM4(n),d(n)卩(4.5.30)为n时刻的后向预测系数矢量；5?(n-M)=Xo,m4(n)bM(n)(4.5.3

52、1)为后向预测系数bM(n)时的z川x(n)的预测值；X,m4(n)二x(n),zx(n),z“1x(n)丨(4.5.32)为由x(n),zx(n)，z1x(n)所组成的空间所对应的矩阵；(4.5.33)eb(nn)=feb(1n),eb(2n)，,eb(nn)J为后向预测系数是bM(n)时的后向预测误差矢量。z血x(n)的最小二乘后向预测为x(n-M)=Xo,m(n).Xo,Mj(n),xo,mj(n)Xo,mj(n)zx(n)(4.5.34)或X(nM)=P0,m(nlzx(n)最佳后向预测误差矢量eb(nn)=z“x(n)_X(n_M)=P0,ma(n)zx(n)n时刻在最佳后向预测误差eb(nn)=(兀(n),eb(nn)jn时刻的最佳后向预测误差剩余；b(n)二ebnn,ebnn=-zJMx(n),F0,m(n)x(n)比较式(4.5.31)和式(4.5.34)可知，最佳后向预测系数矢量为bM(n)二Xo,md(n),Xo,m(n)Xo,m(n)zx(n)再由横式滤波算子Ku的定义(4.5.14)，上式又可写成bM(n)=K,m4(n)z川x(n)(4.5.35)(4.5.36)(4.5.37)(4.5.38)(4.5.39)(4.5.40a)(4.5.40b)这就是说，最佳后向预测系数矢量为横式滤波算