时间序列分析-第二章-自回归模型PPT

《时间序列分析-第二章-自回归模型PPT》由会员分享，可在线阅读，更多相关《时间序列分析-第二章-自回归模型PPT（65页珍藏版）》请在装配图网上搜索。

1、2021/8/252021/8/251 1第二章 自回归模型本章目录本章目录推移算子和常系数差分方程自回归模型及其平稳性 序列的谱密度和Yule-Walker方程平稳序列的偏相关系数和Levinson递推公式 序列举例)(pAR)(pAR2021/8/252021/8/252 22.1推移算子和常系数差分方程一.推移算子 对任何时间序列 和无穷级数 只要级数 在某种意义下收敛，就定义并称B是时间t的后向推移算子，简称推移算子。推移算子有称为时滞算子或延迟算子，推移算子的性质：（1）对和t无关的随机变量Y有BY=Y，（2）（3）tX()jjjzb zjtjjb X()()jjjjtjtjtjjj

2、bXbXb X()nnttt nBaXaB XaX()n mnmttt n mBXBBXX 2021/8/252021/8/253 3（4）对多项式（5)对多项式 的乘积 有(6)对时间序列 ，,多项式 和随机变量U,V,W有 00()()ppjjtjtjjjzc zB Xc X有0()pjjjjjzc zz和(z)=d()()A zz(z)()()()tttA B XBXB X(z)(B)tX tY0()pjjjzc z()()()()(1)ttttB UXVYWUB XVB YW2021/8/252021/8/254 4二.常系数齐次线性差分方程 给定p个实数 ,我们称为p阶齐次常系数线性

3、差分方程，简称齐次差分方程。满足上式方程的实数列称为它的解，满足上式的实值（或复值）时间序列也成为它的解。上式的解可以由p个初值逐次递推得到若初值是随机变量则递推得到的是时间序列。12,0ppa aa a 11220,tttptpXa Xa Xa XtZ1122112211,1,0tttptptptttptppXa Xa Xa XtpXXa Xa XaXtpa 2021/8/252021/8/255 5用推移算子把差分方程写成 称为差分方程的特征多项式。解有线性性质：和Y t 是解，则 也是解。差分方程的基础解：设多项式A(z)是k个互不相同的零点 ，其中z j是r(j)重零点。可以证明对每个

4、z j有 1()0,()10,1pjtjjA B XtZA za zz 其中()A ztX+ttXY12,kz zz()0,0,1,2,()1tjA B t zlr j2021/8/252021/8/256 6证明:设A(z)有分解则有1()11()1()(1)()(1)kr jjjkr jjjA zz zA Bz B 2021/8/252021/8/257 7齐次线性差分方程的通解 定理1.1 设A(z)是k个互不相同的零点 其中z j 是r(j)重零点。则 是（1.2）的p个解，而且（1.2)的任何解都可以写成 这p个解的线性组合（1.7）其中的随机变量 可以由 的初值唯一决定，（1.7）

5、称为齐次线性差分方程（1.2）的通解。12,kz zz,0,1,2,()1,1,2,t ljz tlr jjk()1,10,r jkttl jjjlXU t zt Z,l jUtX2021/8/252021/8/258 8差分方程（1.2）的实值解可以表示为 可以由初始值唯一决定。通解的收敛性 如果差分方程的特征多项式A(Z)的根都在单位圆外：取于是方程的任意解满足 称Xt以负指数阶收敛到0.()1,10cos(),r jktl jjjjjlV ttt Z,l jl jV1,1,2,()0,1jzjkA zz 或1min:1,2,(/)()jllttjjzjkt ztzo则().,ttXoa

6、s t 2021/8/252021/8/259 9通解不收敛的情形 如果特征多项式有单位根，则方程有一个周期解 如果单位圆内有根，则方程有一个爆炸解cos(),tjXt tZ 1()cos(),tjjXt tZ 2021/8/252021/8/251010非齐次线性差分方程及其通解设Yt为实值时间序列（1.10）满足（1.10）的时间序列称为（1.10）的解。如果有（1.10）的某个解，则通解可以写成(),ttA B XY tZ()1(0),10,r jktttl jjjlXXU t zt Z 2021/8/252021/8/2511112.2 自回归模型及其平稳性例子：单摆的120个观测值(

7、a=-0.35)020406080100120-4-2024682021/8/252021/8/251212单摆的120个观测值(a=-0.85)：020406080100120-8-6-4-2024682021/8/252021/8/251313单摆的10000个观测值(a=1)：010002000300040005000600070008000900010000-80-60-40-200204060801002021/8/252021/8/251414单摆的120个观测值(a=-1.25)：020406080100120-4-3-2-10123x 10122021/8/252021/8/2

8、51515 模型 定义2.1（模型）如果 是白噪声WN(0，),实数 使得多项式A(z)的零点都在单位圆外 则称P阶差分方程是一个p阶自回归模型，简称为 模型 )(pAR)(pAR t212,0ppa aa a 1()10,1pjjjA za zz 1,ptjtjtjXa XtZ)(pAR2021/8/252021/8/251616 满足 模型(2.5)的平稳时间序列称为（2.5）的平稳解或序列 称 为 模型的自回归系数。称条件（2.4）是稳定性条件或最小相位条件。A（z）称为模型（2.5）的特征多项式。的平稳解 设多项式A(Z)的互异根是 取 从而有泰勒级数)(pAR)(pAR12(,)Tp

9、aa aa)(pAR)(pAR210t0,WN(0,xx生成）1minjz10tjtjjXA t（B)2021/8/252021/8/251717令如果Xt是（2.6）的平稳解，则由此可见平稳解如果存在必然为称为平稳序列的Wold系数。10)jjjAB（B11()()()tttXAB A B XAB10()ttjtjjXAB 2021/8/252021/8/251818 Wold系数的推导0()jjjA za z 0记a=-1则100()()()pmjmjmjA z Azaz 1=1=,1,2.0pmmjjam于是，m01=,1,2.pmmjjam于是2021/8/252021/8/25191

10、9AR(p)的平稳解及通解定理 定理2.1 （1）由（2.9）定义的时间序列是AR(p)模型 （2.5）的唯一平稳解。（2）AR(p)的模型的通解有如下的形式(-1,010,r jkttjtjl jjjjlYU t ztZ ）2021/8/252021/8/252020引理2 设实系数多项式 且满足最想相位条件则存在0使得1()10,1pjjjA zzz 101,1()jjjAzzA z（z)2021/8/252021/8/252121定理2.1的证明2021/8/252021/8/252222通解与平稳解的关系AR()的通解Yt与平稳解有如下关系可以用此事实作为模拟产生AR()序列的理论基础

11、。(-1,10(),.1minr jkttttl jjjljYXU t zoa stz ）其中2021/8/252021/8/252323AR序列的模拟取迭代得到取n0取50即可，但特征根接近单位圆是要取大的n0210t0,WN(0,xx生成）,1,2,tn0tt+ny=x2021/8/252021/8/252424AR(p)模拟(AR(4)01020304050607080-6-4-202462021/8/252021/8/25252501020304050607080-3-2-1012342021/8/252021/8/2526262.3 AR()序列的谱密度和Yule-Walker方程

12、AR()序列的谱密度 由线性平稳列的谱密度公式得到平稳解的谱密度 如果A(Z)有靠近单位圆的根 则 会接近于零，造成谱密度在 处有一个峰值。22022()21()2()ijjjifefA ejije()jiA ej2021/8/252021/8/25272722001011min,()()jjkjj kjljjl kkl kl kzocc设则）有即 为复指数衰减。Xt序列前后的相关减少很快，称为时间序列的短记忆性。k2021/8/252021/8/252828自协方差函数 因为AR()的平稳解为 由线性平稳性质知道Xt为零均值，自协方差函数为10tjtjjXA t（B)20(),0,1,2.k

13、t ktjj kjE XXk 2021/8/252021/8/252929谱密度的自协方差函数 谱函数的定义是满足 是非负可积函数。利用公式计算-=e()dikkfk-2l(l-j)-j=002l(l-j-k)j=0020=e()ded2ed2ikkjlljlljj kjf 2021/8/252021/8/253030 定理3.1 如果平稳序列Xt的自协方差函数k绝对可和：则 Xt有谱函数（3.4）由于谱函数是实值函数，所以（3.4）还可以写成 k 1()2ikkjfe0111()cos()2cos()22kkkkfkk2021/8/252021/8/2531312021/8/252021/8

14、/2532322021/8/252021/8/253333推论3.2 AR(）的平稳解序列Xt有谱密度Yule-Walker方程 对np,把 的递推时写成矩阵形式的 2211()22()jikkikfeA e11,ttt nXXX 12111112311,1,2,12(,.)(,.,0,.0)tttt ntttttntnt nt nt ntt nTTnnnn npXXXXXXXXaXXXXaaaaa aa 其中2021/8/252021/8/253434定义Xt的自协方差矩阵 在上式中两边同时乘上Xt-1后取得数学期望，利用Xt与未来输入的不相关性有01111022120=nnnnnnn 和n

15、1122=a,.,1()0,1nnkkkpkpknpaaakA Bk2021/8/252021/8/25353522012122()()ptjtjtjpjtjtjTnnnTnnEXEa XEa XEaaa对 有于是可以写成AR(）序列的自协方差函数Y Yule-Walker 方程定理3.3（Y Yule-Walker方程）AR(）序列的自协方差函数满足 02n0=a,=,Tnnnnanp2021/8/252021/8/253636自协方差函数的周期性 对k0,定义 推论3.4 AR(）序列的自协方差函数 满足和AR(）模型 相应的差分方程证明：0kk()ttA B X2011221 1.),n

16、nnnkYaaYa YaYkZ 1122t-k020(.)()()kkkpkpt ktjtjt kjtjkkaaaE XXa XE XE ptjj=1时即定理结论。k0,2021/8/252021/8/253737例子：AR(4）模型1 周期为2/(/3)=6和2/(2/3)=3 AR(4）模型2 AR(4）模型3 /32/31234,1.09,1.098iiz zez ze/32/31234,1.26,1.273iiz zez ze/32/31234,1.635,1.647iiz zez ze2021/8/252021/8/253838AR(4)模型1的谱密度00.511.522.533.5

17、00.511.522.5lamda=1.1lamda=2.072021/8/252021/8/2539390510152025-1.5-1-0.500.511.522.532021/8/252021/8/254040AR(4)模型1、2、3的谱密度00.511.522.533.500.511.522.52021/8/252021/8/2541410510152025-1.5-1-0.500.511.522.532021/8/252021/8/254242自协方差函数的正定性 AR(）平稳解唯一故自协方差函数自回归系数和白噪声唯一决定。反之，若 正定，则根据Yule-Walker方程可以从 解出

18、AR(）模型的自回归系数和白噪声的方差 其中 许多自协方差矩阵是正定的，特别AR(）序列的自协方差矩阵总是正定的。p12,p212,p 1210,pppppp 2021/8/252021/8/254343定理3.5 设 是平稳序列Xt的n阶自协方差矩阵，。（1）如果Xt的谱密度 存在，则对 正定；(2)如果 ，则对 正定。证明：（1）对 至多有n-1个零点。，于是 n00f（）1,nn 1,nn lim0kn1121(,),nTjnjjbb bbb z0()0fd1()0nTijnjjbbb efd2021/8/252021/8/2544442021/8/252021/8/2545452021

19、/8/252021/8/2546462021/8/252021/8/2547472021/8/252021/8/254848 推论3.6 线性平稳序列的自协方差矩阵总是正定的。定理3.7 设离散谱序列Xt在第一章的定义，如果它的谱函数 恰有n个跳跃点，则 正定，退化。如果 有无穷 个跳跃点，则对任何 正定。n1n1,nn()F2021/8/252021/8/254949时间序列的可完全预测性 对于方差有限的随机变量 ，如果有不全为零的常数 ,使得则称随机变量 是线性相关的，否则是线性无关的。线性相关时，存在常数b0使得 成立。Yn可由 线性表示称Yn可以由 完全线性预测。12,nXXXY12,

20、nY YY12,nb bb2010njjjEb Yb01,.njjjb Yb a s121,nY YY011221 1.nnnnYaaYa YaY121,nY YY2021/8/252021/8/255050nkn tX 定义4.1 设 和 分别是平稳序列 的自协方差函数和n阶自协方矩阵，由（3.8）定义，方程组称为 的n阶Yule-Walker方程，其中的 称为 的n阶Yule-Walker系数。下面的定理说明对于一般的平稳序列，p阶Yule-Walker系数是否满足最小相位条件。nnna,1,2,(,.)Tnnnn naaaakk2.4 平稳序列的偏相关系数和Levinson递推公式202

21、1/8/252021/8/255151定理4.1 如果实数 使得正定，则有定义4.1定定义的Yule-Walker系数满足最小相位条件,0,1,2,kkn0111021120nnnnn,110njn jjaz2021/8/252021/8/255252 最优线性预测 设 是随机变量。考虑估计问题称 为Y关于 的最优线性估计。是Y关于 上的投影。12,nXXXY212(|,)argmin()nL Y XXXE YY12(|,)nL Y XXX12,nXXX12(|,)nL Y XXX12(1,)nLXXX2021/8/252021/8/255353为了更快的计算Yule-Walker系数，通常采

22、用下面的递推公式。定理4.2（Levinson递推公式）如果 正定，对 有 1n1kn2001,1102221,1,11,2,1,101,12,2,1,1,1/(1)kkk kkkkkkkk kkkkkkk kkjk jkkaaaaaaaaaaaaa2021/8/252021/8/255454偏相关系数定义4.1 如果 正定，称 为 或 的n接偏相关系数。设Xt是AR(）序列。其自协方差函数正定。由Yule-Walker方程知其n阶Y-W系数为其偏相关系数满足称为偏相关系数P步截尾。n tXk,n na,1,2,12(,.)(,.,0,.0),TTnnnn npaaaaa aanp,0,0,p

23、n nanpanp2021/8/252021/8/255555 反之，如果一个零均值平均列偏相关系数p步截尾，则它必是AR(）序列。偏相关截尾隐含要求自协方差列正定。下面一个定理告诉我们这个平稳序列一定是AR(）序列。2021/8/252021/8/255656定理4.3 零均值平稳序列Xt是AR(）序列的充分必要条件是，它的偏相关系数 p步截尾。证明只要证明充分性。记 令 ，只要证明 是白噪声。最小相位由定理4.1给出。,n na,1,2,12(,.)(,.)TTpppp ppaaaaa aatjXa Xpttjj=1 t2021/8/252021/8/2557575.1 AR(1)序列举例

24、例：对|a|1,AR(1)模型，有平稳解 12,(0,)ttttXaXtZWN0jttjjXa2021/8/252021/8/255858自协方差函数自相关系数 谱密度 222020101,1jjkkkaaaak0kkka222211()21()12 cos ,2ifaefaa 2021/8/252021/8/255959)1,0(,85.01WNXXtttt050100150200250300350400450-6-4-202462021/8/252021/8/256060)1,0(,85.01WNXXtttt)5.0,0(,85.01WNXXtttt05010015020025030035

25、0400450-3-2-101232021/8/252021/8/256161051015202500.511.522.533.54gamma=3.60362002,11kkaka2021/8/252021/8/25626200.511.522.533.5012345678f(0)=7.0736221()12 cos ,2faa 2021/8/252021/8/256363)1,0(,85.01WNXXtttt050100150200250300350400450-6-4-202462021/8/252021/8/2564640510152025-4-3-2-101234gamma=3.60362002,11kkaka2021/8/252021/8/256565 上面是a=0.85和a=-0.85 时80个数据的观测图，从图中我们可以看到AR(1)表现的特征。