信号检测与估计理论-第五章-统计估计理论

《信号检测与估计理论-第五章-统计估计理论》由会员分享，可在线阅读，更多相关《信号检测与估计理论-第五章-统计估计理论（121页珍藏版）》请在装配图网上搜索。

1、2021/3/111估计理论与信号检测估计理论与信号检测第五章第五章 信号的统计估计理论信号的统计估计理论2021/3/112内容提要内容提要5.1 引言引言5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计5.3 最大似然估计最大似然估计5.4 估计量的性质估计量的性质5.5 矢量估计矢量估计5.7 线性最小均方误差估计线性最小均方误差估计5.8 最小二乘估计最小二乘估计2021/3/1135.1 引言引言l信号的参量估计信号的参量估计l若信号中被估计的量是若信号中被估计的量是随机参量随机参量或或非随机未知参非随机未知参量量，则称这种估计为信号的参量估计。，则称这种估计为信号的参量估计。l在观

2、测时间内一般不随时间变化在观测时间内一般不随时间变化静态估计静态估计l信号的波形估计或状态估计信号的波形估计或状态估计l若被估计的是随机过程或非随机的未知过程。若被估计的是随机过程或非随机的未知过程。l信号的波形、参量随时间变化信号的波形、参量随时间变化动态估计动态估计2021/3/1145.1 引言引言l研究内容：研究内容：l信号的参量估计信号的参量估计若信号中被估计的量是若信号中被估计的量是随机参量随机参量或或非随机未知参量非随机未知参量，则称这，则称这种估计为信号的参量估计。种估计为信号的参量估计。l理论基础：理论基础：l随机变量与数理统计随机变量与数理统计(2.2,P.8)l随机噪声理

3、论随机噪声理论(2.6,P.46)2021/3/1155.1 引言引言l基本思想基本思想 信号模型信号模型的差异；的差异；先验知识与数据之间的关系先验知识与数据之间的关系；估计准则估计准则与估计方法；与估计方法；估计的评价指标。估计的评价指标。数数据据模模型型复杂性：足以描述数据的基本特征复杂性：足以描述数据的基本特征简单：允许估计量是最佳的，且易于实现简单：允许估计量是最佳的，且易于实现2021/3/1165.1 引言引言-信号处理中的估计信号处理中的估计l在雷达、声呐、语音、图像分析、生物医学、通信、自动控在雷达、声呐、语音、图像分析、生物医学、通信、自动控制等领域，都涉及到参数估计的问题

4、。例如制等领域，都涉及到参数估计的问题。例如l雷达系统雷达系统l被动声呐系统被动声呐系统l语音识别系统语音识别系统由时域信号转换为线性预测编码语音模型，由时域信号转换为线性预测编码语音模型，模型的参数决定了谱包络。模型的参数决定了谱包络。2021/3/1175.1 引言引言-估计的数学问题估计的数学问题l确定估计量后，建立数据的数学模型确定估计量后，建立数据的数学模型 0,1,.1x nABnw nnN 222110;exp022p xx例1：实际问题中，未给出实际问题中，未给出PDF，要选择一个与问题的约束与先验知识，要选择一个与问题的约束与先验知识一致，且在数学上容易处理的一致，且在数学上

5、容易处理的PDF。例。例2-道琼斯指数：道琼斯指数：参数确定但未知参数确定但未知-经典估计经典估计参数为随机变量参数为随机变量-贝叶斯估计贝叶斯估计20世纪世纪90年代年代 21202211;exp22NNnpx nABnx,()pppxx2021/3/1185.1.2 数学模型和估计量构造数学模型和估计量构造()px12M 12Nxxxx四个组成部分：参量空间、概率映射、观测空间和估计准则。四个组成部分：参量空间、概率映射、观测空间和估计准则。概率映射函数概率映射函数 ，完整地描述了含有被估计矢量信息时观测，完整地描述了含有被估计矢量信息时观测矢量的统计特性。矢量的统计特性。()px 12,

6、.Ngg x xxxx2021/3/1195.1.3 估计量性能的评估估计量性能的评估l单次观测量为标量，被估计量为标量（单参量）单次观测量为标量，被估计量为标量（单参量）l单次观测量为矢量，被估计量为矢量（多参量）单次观测量为矢量，被估计量为矢量（多参量）,1,2,kkkxnkNh l最佳估计准则定义：充分利用先验知识，使构造的估计量具最佳估计准则定义：充分利用先验知识，使构造的估计量具有有最优性质最优性质的估计准则。的估计准则。l被估计参量（随机或非随机）的先验知识（被估计参量（随机或非随机）的先验知识（P.264）l被估计量及其均值、方差和均方误差的表示（被估计量及其均值、方差和均方误差

7、的表示（P.264）观测向量为长列向量观测向量为长列向量2222E(),Var()E(),E()2021/3/11105.1.3 估计量性能的评估估计量性能的评估11,1,2,;();NkkkkxnkNxNx例子：非随机未知单参量的估计例子：非随机未知单参量的估计1111E()EE()NNkkkkxnNNx2222211E()E()111E()ENNkknkknnNNNxx2nE()0,E()kjkjknn n 2021/3/11115.1.3 估计量性能的评估估计量性能的评估1,1,2,;()kkkxnkNxx例子：非随机未知单参量的估计例子：非随机未知单参量的估计122221E()E()E

8、();E()E()E()kkkknxnxnxx2021/3/1112经典估计与贝叶斯估计经典估计与贝叶斯估计lFrom Steven M.Key-page253-259上述估计假定参数取值范围：上述估计假定参数取值范围：(,)考虑到物理条件的限制：考虑到物理条件的限制：2021/3/1113经典估计与贝叶斯估计经典估计与贝叶斯估计lFrom Steven M.Key-page253-259贝叶斯最小均方误差估计：贝叶斯最小均方误差估计：令其为零令其为零后验概率均值后验概率均值=12021/3/1114经典估计与贝叶斯估计经典估计与贝叶斯估计lFrom Steven M.Key-page253-

9、259短数据记录对后验短数据记录对后验PDF的影响的影响大数据记录对后验大数据记录对后验PDF的影响的影响2021/3/1115经典估计与贝叶斯估计经典估计与贝叶斯估计lFrom Steven M.Key-page253-259后验概率均值：在后验概率均值：在先验知识先验知识和和由数据贡献的知识由数据贡献的知识之间进行折衷。之间进行折衷。例如，当例如，当N增加时，后验增加时，后验PDF变得更加集中，变得更加集中，MMSE估计量（最小均方误差）对先验知识的依估计量（最小均方误差）对先验知识的依赖越来越小，对数据的依赖越来越多，数据把先赖越来越小，对数据的依赖越来越多，数据把先验知识验知识“擦除擦

10、除”了。了。参数估计的贝叶斯方法：假设要估计的参数是随机变量参数估计的贝叶斯方法：假设要估计的参数是随机变量 的一个实现。的一个实现。(1)指定一个先验指定一个先验PDF ;(2)观测到数据后，后验观测到数据后，后验PDF 概括了对参数的了解。概括了对参数的了解。(3)利用先验知识通常能改善估计精度。利用先验知识通常能改善估计精度。()p()px2021/3/1116经典估计与贝叶斯估计经典估计与贝叶斯估计lFrom Steven M.Key-page253-259利用先验知识通常能改善估计精度；利用先验知识通常能改善估计精度；在贝叶斯估计中，先验在贝叶斯估计中，先验PDF的选择是很关键的。的

11、选择是很关键的。错误的选择将导致差的估计量，类似与在经典估计量问题中使用错误的选择将导致差的估计量，类似与在经典估计量问题中使用不正确的数据模型设计估计量。不正确的数据模型设计估计量。围绕贝叶斯估计量的使用上有许多争议，源于在实践中不能证明围绕贝叶斯估计量的使用上有许多争议，源于在实践中不能证明先验先验PDF。一般说来，除非先验概率是建立在物理约束的基础上，否则还是一般说来，除非先验概率是建立在物理约束的基础上，否则还是使用经典估计比较合适。使用经典估计比较合适。2021/3/1117贝叶斯准则：贝叶斯准则：l二元信号检测的贝叶斯准则（二元信号检测的贝叶斯准则（P.70）lM元信号检测的贝叶斯

12、准则（元信号检测的贝叶斯准则（P.93）5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计在信号参量的估计中，我们用类似的方法提出在信号参量的估计中，我们用类似的方法提出贝叶斯估计准则贝叶斯估计准则，即使估计的即使估计的平均代价最小平均代价最小。适用于随机参量情况。适用于随机参量情况。代价函数的一般形式：满足满足 （1）非负性；）非负性；（2）误差）误差 时最小。时最小。02021/3/11185.2 随机参量的贝叶斯估计随机参量的贝叶斯估计三种典型的代价函数：三种典型的代价函数：2021/3/11195.2.1 常用代价函数和贝叶斯估计概念常用代价函数和贝叶斯估计概念平均代价平均代价条件平均代

13、价条件平均代价贝叶斯公式贝叶斯公式上述条件平均代价函数上述条件平均代价函数 对对 求最小，求最小，即可以求得随机参量即可以求得随机参量 的贝叶斯估计量的贝叶斯估计量 。Cxb2021/3/11205.2.2 贝叶斯估计量的构造贝叶斯估计量的构造1、最小均方误差估计（条件均值，代价函数参见图、最小均方误差估计（条件均值，代价函数参见图(a)）(|)d1px对 求偏导，并令结果为零。2021/3/11215.2.2 贝叶斯估计量的构造贝叶斯估计量的构造1、最小均方误差估计（条件均值，代价函数参见图、最小均方误差估计（条件均值，代价函数参见图(a)）二阶偏导数 ，上式求得的估计量，可以使平均代价 C

14、 达到最小：220Cx最小平均代价最小平均代价是是条件方差条件方差对所有观测量的统计平均。对所有观测量的统计平均。2021/3/11225.2.2 贝叶斯估计量的构造贝叶斯估计量的构造1、最小均方误差估计（条件均值，代价函数参见图、最小均方误差估计（条件均值，代价函数参见图(a)）(|)(|)()()()(,)d(|)()dppppppppxxxxxx估计量估计量 是后验概率密度函数是后验概率密度函数 的均值的均值 。msepxEx将后验概率转化将后验概率转化为先验概率表达为先验概率表达2021/3/11235.2.2 贝叶斯估计量的构造贝叶斯估计量的构造2、条件中值估计（条件中值，代价函数参

15、见图、条件中值估计（条件中值，代价函数参见图(b)）称为条件中值估计，或条件中位数估计称为条件中值估计，或条件中位数估计（Conditional Median Estimation），），估计量估计量 是是 的点。的点。med12P0C令x2021/3/11243、最大后验估计（条件众数，最大后验，代价函数参见图、最大后验估计（条件众数，最大后验，代价函数参见图(c)）5.2.2 贝叶斯估计量的构造贝叶斯估计量的构造等效于使等效于使 最大最大(|)(|)()()ppppxxx估计量估计量 是后验概率密度函数是后验概率密度函数 取最大值的点。取最大值的点。mappx2021/3/11255.2.

16、2 贝叶斯估计量的构造贝叶斯估计量的构造例例5.2.1 单随机参量的贝叶斯估计（最佳估计的不变性）单随机参量的贝叶斯估计（最佳估计的不变性）con1mse1 222222221nn2221221n22n222221nn2(|)()(|)()111()exp()222212()exp21()exp22()expNkkNkkkNkkppppxpxxKNxKK Nxxxxxxx222n222221nn2232221mn112211()exp2NkkNkkNxNNKxNN x22221nn1()(|)exp22NkkxpNx2mse221n1NkkxNN222nmse22n2n22nmseEVar()

17、NN 贝叶斯公式贝叶斯公式2021/3/11265.2.3 最佳估计的不变性最佳估计的不变性如果被估计量的后验概率密度函数如果被估计量的后验概率密度函数 是高斯型的，则在三是高斯型的，则在三种典型代价函数下，使平均代价最小的估计量是一样的，都等于种典型代价函数下，使平均代价最小的估计量是一样的，都等于最小均方误差估计量，即最小均方误差估计量，即它们的均方误差都是最小的，这就是最佳估计的不变性。但是，它们的均方误差都是最小的，这就是最佳估计的不变性。但是，代价函数的选择常常带有代价函数的选择常常带有主观性主观性，而后验概率密度函数，而后验概率密度函数 也不一定能满足高斯型的要求。也不一定能满足高

18、斯型的要求。希望能够放宽条件，也能获得均方误差最小的估计。希望能够放宽条件，也能获得均方误差最小的估计。(|)pxmsemedmapb(|)px2021/3/11275.2.3 最佳估计的不变性最佳估计的不变性两种情况下最小均方误差估计所具有两种情况下最小均方误差估计所具有最佳估计不变性。最佳估计不变性。2021/3/11285.2.3 最佳估计的不变性最佳估计的不变性情况情况2021/3/1129最大似然估计常用来最大似然估计常用来估计未知的非随机参量估计未知的非随机参量。最大似然估计定义：使似然函数最大似然估计定义：使似然函数 最大的最大的 值作为估计量值作为估计量的参量估计方法的参量估计

19、方法(Maximum Likelihood Estimation)。5.3.1 最大似然估计原理最大似然估计原理最大似然函数的基本原理是：对于某个选定的最大似然函数的基本原理是：对于某个选定的 ，考虑，考虑 落在落在一个小区域内的概率一个小区域内的概率 ，取，取 最大的那个最大的那个 作为作为估计量估计量 。似然函数是在给定似然函数是在给定 后后得到的，可以画出它与被估得到的，可以画出它与被估计量计量 的关系曲线。的关系曲线。5.3 最大似然估计最大似然估计(|)px(|)dpxxx(|)dpxxml0 xxPDF作为未知参数的函数（固定），称之为似然函数。x2021/3/1130根据最大似然

20、估计原理，可得如下最大似然估计量根据最大似然估计原理，可得如下最大似然估计量 或或5.3.2 最大似然估计量的构造最大似然估计量的构造ml(|)0p xmlln(|)0p x对比（5.2.19）式，相当于最大似然估计用于相当于最大似然估计用于估计没有任何先验知识的随机参量估计没有任何先验知识的随机参量 ，假定假定 为均匀分布，上式第二项为零，最大后验概率估计转化为均匀分布，上式第二项为零，最大后验概率估计转化为最大似然估计。为最大似然估计。2021/3/1131例例5.3.1 同例同例5.2.1，但不利用被估计量的先验分布知识，而把其，但不利用被估计量的先验分布知识，而把其看成是未知非随机参量

21、看成是未知非随机参量观测矢量观测矢量 的似然函数为：的似然函数为：5.3.2 最大似然估计量的构造最大似然估计量的构造22221nn1()(|)exp22NkkxpNxxml2211nnml1ln(|)11()01NNkkkkNkkpNxxNxN x222mln111E()ENkkxNN2mse221n1NkkxNN2222nnmsemse2222nnEVar()NN 带先验知识的贝叶斯估计：22/nN2021/3/1132(1)最大似然估计没有利用被估计量的先验知识，其性能比贝叶斯估计差；最大似然估计没有利用被估计量的先验知识，其性能比贝叶斯估计差；(2)当当 为未知随机参量时，计算似然函数

22、为未知随机参量时，计算似然函数 相对容易；相对容易；(3)对于绝大多数实用的最大似然估计，观测数据足够多时，对于绝大多数实用的最大似然估计，观测数据足够多时，其性能是最优的；其性能是最优的；(4)最然似然估计具有不变性。最然似然估计具有不变性。5.3.2 最大似然估计量的构造最大似然估计量的构造2mse221n1NkkxNN2222nnmsemse2222nnEVar()NN 带先验知识的贝叶斯估计：(|)pxN N ml11NkkxN22mln1E()N2021/3/1133最大似然估计的不变性：最大似然估计的不变性：1、如果参量、如果参量 的最大似然估计量为的最大似然估计量为 ，那么函数，

23、那么函数 的的最大似然估计量最大似然估计量 ，在，在 是是 的的一对一变换一对一变换时有时有2、如果、如果 不是不是 的一对一变换，而是的一对一变换，而是一对多变换一对多变换，则首先应找，则首先应找出在出在 取值范围内所有变化参量的似然函数取值范围内所有变化参量的似然函数 中具有最大值的一个，记为中具有最大值的一个，记为 ，即，即然后，通过然后，通过 求出求出 的最大似然估计量的最大似然估计量 ，就是函数，就是函数 的最大似然估计量。的最大似然估计量。5.3.3 最大似然估计的不变性最大似然估计的不变性ml()gmlmlml()gm(|)px(|)(1,2,)ipijxm(|)Max(|),1

24、,2,ippijxxm(|)px()gml2021/3/1134估计量是随机变量估计量是随机变量主要性质主要性质无偏性无偏性有效性有效性一致性一致性充分性充分性克拉美克拉美-罗不等式罗不等式(Cramer-Rao)克拉美克拉美-罗界（均方误差下界）罗界（均方误差下界）5.4 估计量的性质估计量的性质2021/3/11352、估计量的有效性、估计量的有效性 则称估计量则称估计量 比比 有效。有效。克拉美克拉美-罗不等式罗不等式 克拉美克拉美-罗界（在罗界（在5.4.2小节讨论）小节讨论）无偏有效估计量无偏有效估计量的定义（的定义（P.277）5.4.1 估计量的主要性质估计量的主要性质1、估计量

25、的无偏性、估计量的无偏性210,unbiased()0,biasedb2Var()Var()E()估计量方差估计量方差估计误差方差估计误差方差均方误差均方误差2021/3/11365.4.1 估计量的主要性质估计量的主要性质3、估计量的一致性、估计量的一致性4、估计量的充分性、估计量的充分性 若被估参量的估计量为若被估参量的估计量为 。如果以。如果以 为参量的似然为参量的似然 函数函数 能够分解表示为能够分解表示为 则称则称 充分估计量，运用了观测量充分估计量，运用了观测量 中的全部关于中的全部关于 的信息。的信息。无偏有效估计量必然是充分估计量。无偏有效估计量必然是充分估计量。()x()x(

26、|)px一致估计量一致估计量均方一致估计量均方一致估计量x2021/3/1137均方误差准则（均方误差准则（MSE）：）：5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界度量估计量偏移真值的平方偏差的统计平均值。度量估计量偏移真值的平方偏差的统计平均值。约束约束偏差为零偏差为零 方差方差偏差偏差最小方差无偏估计最小方差无偏估计(MVU)：2021/3/1138Cramer-Rao下限下限5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界对无偏估计量确定一个下限：对无偏估计量确定一个下限：判断是否是判断是否是MVU估计量；估计量；为比较无偏估计量的性能提供标

27、准；为比较无偏估计量的性能提供标准；不可能求得方差小于下限的无偏估计量不可能求得方差小于下限的无偏估计量（用于信号处理的可行性研究）（用于信号处理的可行性研究）2021/3/1139引入：依赖于未知参数的引入：依赖于未知参数的PDF5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界 00XAw观测到上述单个样本，其中 。20(0,)wN显然有：，方差为 。0Ax21332,42330,6图图(b)的的PDF与与A的相关性较弱。直观的看：的相关性较弱。直观的看：似然函数的似然函数的”尖锐尖锐”性性，决定了，决定了估计未知参数的精度。估计未知参数的精度。PDF受未知参数的影响越大

28、，所得到的估计越好受未知参数的影响越大，所得到的估计越好。2021/3/1140考察由对数似然函数在其峰值处的负的二阶导数，考察由对数似然函数在其峰值处的负的二阶导数，来来度量度量“尖锐尖锐”性。性。5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界2221ln0;ln202p xAxA 一阶导数：2曲率更一般的度量：曲率更一般的度量：2ln0;10p xAxAA负的二阶导数：222ln0;1p xAA曲率随方差 的减少而增加。在本例中：221var()ln0;Ap xAA22ln0;p xAEA2021/3/1141假定假定PDF 满足满足“正则正则”条件：条件：5.4.2

29、 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界Page25 from Steven M.KeyCRLB定理（定理（Cramer-Rao 下限定理）：下限定理）：;px且对于某个函数且对于某个函数 g 和和 I，当且仅当，当且仅当则，任何无偏估计量则，任何无偏估计量 的方差必定满足：的方差必定满足：221var()ln;pExln;0pEx ln;pIgxx时，对所有时，对所有 达到下限的无偏估计量可以求得：达到下限的无偏估计量可以求得：gx 1var()I2021/3/11421、非随机参量情况、非随机参量情况5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界推论

30、推论最大似然估计公式最大似然估计公式推导：两边对推导：两边对theta求偏导求偏导2021/3/11435.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界1、非随机参量情况（续，克拉美、非随机参量情况（续，克拉美-罗不等式的推导罗不等式的推导P.364）()(|)ln(|)()()wppghxxxxx(|)d1pxxCauchy-Schwarz Inequality无偏估计无偏估计()()gkhxx不等式取等号条件：不等式取等号条件：2021/3/11441、非随机参量情况（续，另一种形式）、非随机参量情况（续，另一种形式）5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与

31、克拉美-罗界罗界另一种形式克拉美另一种形式克拉美-罗不等式的推导过程罗不等式的推导过程两边对两边对theta求二阶偏导求二阶偏导2021/3/11452、随机参量情况（第一种形式）、随机参量情况（第一种形式）5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界关系常数关系常数k与随机参量的二阶统计量有关与随机参量的二阶统计量有关推导：两边对推导：两边对theta求偏导求偏导2021/3/11462、随机参量情况（续，第二种形式）、随机参量情况（续，第二种形式）5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界推论推论最大后验估计公式最大后验估计公式2021/3

32、/11475.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界2、随机参量情况（续，第二种形式）、随机参量情况（续，第二种形式）map若随机参量若随机参量 的任意无偏估计量的任意无偏估计量 也是有效的，也是有效的，则该估计量一定是则该估计量一定是 的最大后验估计量的最大后验估计量 。无偏且达到无偏且达到CRLB的估计量可以有效地使用数据，称其为有效的。如左图所示。的估计量可以有效地使用数据，称其为有效的。如左图所示。MVU（最小方差无偏）估计量可能是也可能不是有效的，如图（最小方差无偏）估计量可能是也可能不是有效的，如图(b)所示，所示，没有没有达到达到CRLB，因此不是有效的

33、，但是它的方差一致地小于所有其它无偏估计量的，因此不是有效的，但是它的方差一致地小于所有其它无偏估计量的方差，因此方差，因此 是是MVU估计量。估计量。Page28-29 from Steven M.Key112021/3/11485.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界2、随机参量情况（续，第二种形式）、随机参量情况（续，第二种形式）当达到当达到CRLB时，时，方差是方差是Fisher信息的倒数，信息的倒数，即信息越多，下限越低，即信息越多，下限越低，具有信息测度的基本性质：具有信息测度的基本性质：非负性；非负性；(1)对独立观测的可加性。对独立观测的可加性。将下

34、限表达式中的分母称为数据将下限表达式中的分母称为数据 X 的的Fisher信息信息 ，即，即 22ln;pIE x I2021/3/11495.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界10ln;ln;Nnpp x nx212220ln;ln;Nnpp x nEE x关于对独立观测的可加性：关于对独立观测的可加性：N个个IID观测的观测的CRLB是单次观测的是单次观测的 1/N 倍。倍。对于独立观测对于独立观测对于同分布观测对于同分布观测 INi对于非独立的样本，可能有：对于非独立的样本，可能有：INi2021/3/1150例例5.4.1 非随机参量的最大似然估计量的性质

35、非随机参量的最大似然估计量的性质5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界ml11NkkxN222211()(|)exp22NkknnxpNxml1111E()EENNkkkkxnNNml2211ln(|)11()()NNkkkknnpNxxkNx222mlml22ln(|)Var()E()1E1E()nnp xNNml1111lim(|()|)limlim0NNNkkNNNkkPPxPnNNx22mllim E()lim0nNNNNx（1）无偏性）无偏性（2）有效性）有效性（3）一致性（随观测次数的增加，估计质量有所提高）一致性（随观测次数的增加，估计质量有所提高）

36、2021/3/1151例例5.4.1 非随机参量的最大似然估计量的性质（续）非随机参量的最大似然估计量的性质（续）5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界2222122222112222222111111(|)exp()22112exp2211211exp22NkknnNNkkkknnNNNNkkkkkkkknnpxNxxNNNxxxxNNNNNNNx12121 2222ml222211ml1111exp()exp2222(|)()NNNkkkknnnnNNNxxNNNgh x1 22mlml22(|)exp()22nnNNg（4）充分性估计量利用了观测量中所有有关

37、信息。）充分性估计量利用了观测量中所有有关信息。2021/3/1152例例5.4.2 随机参量的贝叶斯估计量的性质随机参量的贝叶斯估计量的性质5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界2b2211NkknxNN222211()(|)exp;22NkknnxpNx22b22221111E()E()E()0E()NNkkkknnxnNNNN2221222b22221ln(|)ln()11()NkknnNnkknnppNxNNxkNN x22222b222222ln(|)ln()1E()1E1Ennnp xpNN 1 22221()exp22p（1）无偏性）无偏性（2）有效

38、性）有效性先验知识先验知识之前求取的贝叶斯估计量之前求取的贝叶斯估计量2021/3/11532b221222111lim(|()|)lim11lim()lim0NNkNNknNNkkNNkknPPxNNPnPnNNNx例例5.4.2 随机参量的贝叶斯估计量的性质（续）随机参量的贝叶斯估计量的性质（续）222b22lim E()lim0nNNNnN x1 221 222b2222222b222211mn1112(,)(|)()exp2222111expexp(|)()22NmmmnNNkkkknpppxxghNN xxx5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界（3）一

39、致性）一致性（4）充分性）充分性2021/3/11545.4.3 有效估计量均方误差与有效估计量均方误差与 的关系的关系()k1、非随机参量情况、非随机参量情况2、随机参量情况、随机参量情况两边对两边对theta求偏导求偏导两边求均值两边求均值两边对两边对theta求偏导，并求均值求偏导，并求均值,2021/3/11555.4.4 非随机参量函数估计的克拉美非随机参量函数估计的克拉美-罗界罗界推导：两边对推导：两边对theta求偏导求偏导未知随机参量 的函数 ，其估计量 是 的任意无偏估计量，有：g2021/3/11565.4.4 非随机参量函数估计的克拉美非随机参量函数估计的克拉美-罗界罗界

40、()ln(|)(|)(-)d0gpp xxx()(|)(|)d(-)d0gpp xxxx(|)ln(|)(|)pppxxxln(|)()(|)(-)dpgp xxx222222222ln(|)()(|)d(-)(|)dln(|)()E(-)()ln(|)(-)EpgpppgEgpE xxxxxxx由柯西由柯西-施瓦兹不等式得（参见施瓦兹不等式得（参见(5B.6)式）式）其克拉美其克拉美-罗不等式推导过程罗不等式推导过程2021/3/11575.4.4 非随机参量函数估计的克拉美非随机参量函数估计的克拉美-罗界罗界例例5.4.3 非随机参量非随机参量线性线性函数的最大似然估计量的性质函数的最大似

41、然估计量的性质ml11NkkxNml2211ln(|)1()()()NNkkkknnp xbNxbxkNb232222mlml2ln(|)Var()=E()E()nbp xbkN22mlmlVar()=E()nNmlml1NkkbbxNml11E()E()E()NNkkkkbbxnbNN()gb2021/3/11585.4.4 非随机参量函数估计的克拉美非随机参量函数估计的克拉美-罗界罗界例例5.4.4 非随机参量非随机参量非线性非线性函数的最大似然估计量的性质函数的最大似然估计量的性质mlmlmlmlml1 222mlmlml221E()Eexp()exp()()d()exp()expdex

42、p()222NnknnpNNNml11NkkxN22mlmlVar()=E()nNmlml11exp()expNkkxN1 22mlml221()()exp22NknnNNpmlE()exp()()exp()g非线性函数的最大似然估计量非线性函数的最大似然估计量 是有偏估计，但是是有偏估计，但是渐进无偏的渐进无偏的。ml根据最大似然函数估计的不变性：根据最大似然函数估计的不变性：2021/3/11595.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界Page31 from Steven M.Key非线性变换破坏了估计量的有效性，线性变换能够保持估计量的有效性。非线性变换破坏了

43、估计量的有效性，线性变换能够保持估计量的有效性。如果数据记录足够大，非线性变换可以近似保持有效性。如果数据记录足够大，非线性变换可以近似保持有效性。gab要估计的参数是某个基本参数的函数，例如下述两个典型的情况：线性关系：例如 2g非线性关系：例如 g若：，CRLB：222varln;gpExSteven P31332021/3/11605.4.5 估计量性质的总结估计量性质的总结关于估计量性质的几个基本概念性问题关于估计量性质的几个基本概念性问题 有效估计量一定是建立在无偏的基础上的。因为克拉美有效估计量一定是建立在无偏的基础上的。因为克拉美-罗不罗不等式以及不等式取等号的条件，都是等式以及

44、不等式取等号的条件，都是在任意无偏估计量基础上推在任意无偏估计量基础上推导导的。所以检验一个估计量的性质，首先要检验它的无偏性，只的。所以检验一个估计量的性质，首先要检验它的无偏性，只有有在无偏性的基础上，才能进一步检验它的有效性在无偏性的基础上，才能进一步检验它的有效性。只有无偏的和有效的估计量，其估计的均方误差才能达到克只有无偏的和有效的估计量，其估计的均方误差才能达到克拉美拉美-罗界，并可通过计算克拉美罗界，并可通过计算克拉美-罗界求得该估计量的均方误差。罗界求得该估计量的均方误差。虽然，例虽然，例5.4.15.4.1中的最大似然估计量和例中的最大似然估计量和例5.4.25.4.2中的贝

45、叶斯估中的贝叶斯估计量都是无偏有效估计量。但是，计量都是无偏有效估计量。但是，非随机参量的最大似然估计量非随机参量的最大似然估计量或随机参量的贝叶斯估计量不一定都是无偏有效估计量或随机参量的贝叶斯估计量不一定都是无偏有效估计量。它可能。它可能是无偏的、有效的；也可能仅是无偏的，但不是有效的；也可能是无偏的、有效的；也可能仅是无偏的，但不是有效的；也可能是有偏的。是有偏的。2021/3/11615.5 矢量估计矢量估计在许多实际问题中，要求我们同时估计信号的多个参量，这就是在许多实际问题中，要求我们同时估计信号的多个参量，这就是矢量估计矢量估计。本节将把单参量估计的概念、方法和性能评估等推广。本

46、节将把单参量估计的概念、方法和性能评估等推广到信号参量的矢量估计中。到信号参量的矢量估计中。类似于单参量估计的情况，矢量估计也可分为类似于单参量估计的情况，矢量估计也可分为随机矢量和非随机矢量两种情况。随机矢量和非随机矢量两种情况。M维矢量维矢量估计矢量的的误差矢量：估计矢量的的误差矢量：2021/3/11625.5 矢量估计矢量估计矢量参数的矢量参数的CRLB对每个元素的方差设置下限：对每个元素的方差设置下限：其中其中 是是 的的Fisher 矩阵，有：矩阵，有：1variiiI I pp 2ln(;)E1,2,.,;1,2,.,ijijpip jp xI 关于直线拟合的一个例子：关于直线拟

47、合的一个例子：0,1,.,1x nABnw nnN其中，是WGN，参数矢量是 。w nTAB 222222ln ;ln ;EEln ;ln ;EEppAA BppB AB xxIxx 2ln(;)ln(;)ln(;)EEijijppp xxx 2021/3/11635.5 矢量估计矢量估计似然函数为：似然函数为：120()1Nnpx nABnA;x 12202211()exp22NNnpx nABn;x 120()1Nnpx nABn nB;x 1011222001112112126NnNNnnN NNnNN NN NNnnI 1222 2161161211NN NN NN NN NI 202

48、1/3/11645.5 矢量估计矢量估计由上式可得：由上式可得：2212var1BN N 22 21var;1NAN N总结：总结：（1）的的CRLB相对于相对于 B 是已知的情况有所增加；是已知的情况有所增加；B 已知时，有已知时，有（2）对于）对于 ，CRLB随着估计更多的参数而增加；随着估计更多的参数而增加；（3）对于）对于 ，B 更容易估计，其更容易估计，其CRLB随随 而减少；而减少；A 的的CRLB与与 有关；有关；（4）表明）表明 对对 B 的变化比对的变化比对 A 的变化敏感。的变化敏感。A 2221varln;ANpAEA x2N 3N 31 N1 N x n ;x nx n

49、AAA x nx nBn BA 2021/3/11655.5.1 随机矢量的贝叶斯估计随机矢量的贝叶斯估计1、最小均方误差估计、最小均方误差估计()(,)d dCcp xx条件平均代价条件平均代价(|)C x各个分量估计误差的平方和各个分量估计误差的平方和为使平均代价为使平均代价 最小，要求每个参量最小，要求每个参量 估计的均方误差最小。估计的均方误差最小。C1,2,.,jjM矢量形式：矢量形式：2021/3/11665.5.1 随机矢量的贝叶斯估计随机矢量的贝叶斯估计2、最大后验估计、最大后验估计最大后验估计最大后验估计的另一种形式的另一种形式mapln(|)ln(),1,2,jjppjM0

50、 x 2021/3/11675.5.2 非随机矢量的最大似然估计非随机矢量的最大似然估计mlml12ln(|)0ln(|)0ln(|)0ln(|)Mpppp 0 xxxx被估计的矢量是非随机矢量，被估计的矢量是非随机矢量，或者是完全缺少先验知识的随机矢量或者是完全缺少先验知识的随机矢量。2021/3/1168是 阶矩阵 的第 i 行第 j 列元素。5.5.3 矢量估计量的性质矢量估计量的性质1、非随机矢量情况、非随机矢量情况（1）无偏性）无偏性（2）有效性）有效性若对所有的若对所有的 ，估计的偏矢量，估计的偏矢量 的每一个分量都为零，则的每一个分量都为零，则 为无偏估计矢量。为无偏估计矢量。b

51、 -1 MM iiJ2021/3/11695.5.3 矢量估计量的性质矢量估计量的性质矩阵矩阵J通常称为通常称为费希尔信息矩阵费希尔信息矩阵，它表示从观测数据中获得的信息。，它表示从观测数据中获得的信息。当当M=1，矩阵，矩阵J 退化成标量。退化成标量。若对于若对于M维非随机矢量维非随机矢量 的任意无偏估计矢量的任意无偏估计矢量 中的每一个参量中的每一个参量都满足都满足 ，则该估计称为联合有效估计。，则该估计称为联合有效估计。是是 的均方误差下界，即克拉美的均方误差下界，即克拉美-罗界。罗界。1,2,.,iiMi2021/3/11705.5.3 矢量估计量的性质矢量估计量的性质例例5.5.1

52、非随机二维矢量的估计问题非随机二维矢量的估计问题1222212211221/21122121112112211221,|1()()JJJJ JJJJJ JJ JJ2211222212111222122122112ln(|)ln(|)E,E,ln(|)EppJJJJJJpJJ xxJx 1111222121212221111|JJJJJJJJJJ12222222221212121111,Eln(|)Eln(|)1(,)1(,)pp xx2021/3/11715.5.3 矢量估计量的性质矢量估计量的性质例例5.5.1 非随机二维矢量的估计问题非随机二维矢量的估计问题关于本例题的讨论和关于习题关于本

53、例题的讨论和关于习题5.17的讨论：的讨论：1222211211 Eln(|)1(,)p x（1）矢量估计的性能一般来说要低于单参量估计的性能；）矢量估计的性能一般来说要低于单参量估计的性能；（2）矢量估计中的参量）矢量估计中的参量 越多，估计量的性能越多，估计量的性能 可能会越低，除非各估计量之间是互不相关的。可能会越低，除非各估计量之间是互不相关的。1,2,.,iiM2222221211 Eln(|)1(,)p x2021/3/11725.5.3 矢量估计量的性质矢量估计量的性质2、随机矢量情况、随机矢量情况费希尔信息矩阵费希尔信息矩阵JT由两部分组成。由两部分组成。JD是是数据信息矩阵数

54、据信息矩阵，它表示从，它表示从观测数据中获得的信息；观测数据中获得的信息；JP是是先验信息矩阵先验信息矩阵，它表示从先验知识，它表示从先验知识中获得的信息。中获得的信息。22TDPDPln(|)ln(),E,EijijijijppJJJJJ x均方误差阵均方误差阵C-R不等式不等式（1）无偏性）无偏性（2）有效性）有效性2021/3/1173设有设有M维非随机矢量维非随机矢量 ，现在需要估计，现在需要估计M维矢量维矢量 的的L维函数维函数 。设。设L维估计矢量维估计矢量 是是L维矢量函数维矢量函数 的任意无偏估计矢量。则估计矢量的任意无偏估计矢量。则估计矢量 的均方误差阵的均方误差阵 满足不等

55、满足不等式式式式(5.5.23)是矢量函数估计的克拉美是矢量函数估计的克拉美-罗不等式，罗不等式，不等式的右边就是克拉美不等式的右边就是克拉美-罗界；罗界；式式(5.5.24)是克拉美是克拉美-罗不等式取等号的条件。罗不等式取等号的条件。其中，其中，J是费希尔信息矩阵。是费希尔信息矩阵。5.5.4 非随机矢量函数估计的克拉美非随机矢量函数估计的克拉美-罗界罗界T12(,)M ()g()g MLM,MM,MLLM,MM,M12021/3/11745.5.4 非随机矢量函数估计的克拉美非随机矢量函数估计的克拉美-罗界罗界例例5.5.3 高斯噪声背景中的信噪比估计问题（高斯噪声背景中的信噪比估计问题

56、（函数估计函数估计）22T2222221,1,2,;E()0,Var();(,)1()();(|)exp22kkkknnNNkknnnxankNnnaaxagpx 22T22T112222224222T11121221422122ln|(,)ln|(,)E;E20ln|(,)E0;02nnnnnnnnnnpaNpaNJJaJJNpaJJJJNa xxxJT22T24T24T2()2()();nnnnagaagga 22T22421424T242402()()2424202nnnnnnnnNaggaaaaJNaNNN 2021/3/1175线性函数线性函数估计性质的不变性：如果估计性质的不变性：

57、如果M维非随机矢量维非随机矢量 的任意无偏的任意无偏估计估计 是有效的；那么，其是有效的；那么，其L维线性矢量函数维线性矢量函数 的估计的估计矢量矢量 是无偏有效的。证明如下是无偏有效的。证明如下如果如果 是是非线性函数非线性函数，则对于有限的观测次数，则对于有限的观测次数N，不再保，不再保持这种不变性。持这种不变性。5.5.4 非随机矢量函数估计的克拉美非随机矢量函数估计的克拉美-罗界罗界 1E()MJAbA b()g2021/3/1176线性模型线性模型Steven M.Key page70-大量的信号处理问题都可以转化为线性模大量的信号处理问题都可以转化为线性模型构造解决。型构造解决。可

58、以通过构造线性模型，寻找最佳估计量。可以通过构造线性模型，寻找最佳估计量。xHw 对于之前提到的直线拟合的例子：对于之前提到的直线拟合的例子：0,1,.,1x nABnw nnN有：有：01.1Txxx Nx 01.1Twww NwTAB 1011,11NH2,wN0I2021/3/1177线性模型线性模型在在线性观测模型线性观测模型下下 和和 一般高斯噪声背景下一般高斯噪声背景下 研究：研究：非随机矢量非随机矢量 的最大似然估计；的最大似然估计；一般高斯随机矢量一般高斯随机矢量 的贝叶斯估计；的贝叶斯估计；已知随机矢量已知随机矢量 的均值矢量的均值矢量 和协方差矩阵和协方差矩阵 ：伪贝叶斯估

59、计估计伪贝叶斯估计估计指定指定 先验先验PDF 线性最小均方误差估计线性最小均方误差估计限定估计量是观测量的线性函数限定估计量是观测量的线性函数线性线性最小二乘估计：直接利用观测模型，不需要先验知识。最小二乘估计：直接利用观测模型，不需要先验知识。2021/3/1178线性模型线性模型（1）若）若 为非随机矢量：为非随机矢量：高斯随机噪声高斯随机噪声2021/3/1179线性模型线性模型（1）若）若 为非随机矢量：为非随机矢量：对照对照CRLB定理：定理：d(UV)/dX=(dU/dX)V+(dV/dX)U2021/3/1180线性模型线性模型（1）若）若 为非随机矢量：为非随机矢量：信息矩阵

60、：2021/3/1181线性模型线性模型（2）若）若 为随机矢量：为随机矢量：11 2211exp22TMpCC最小均方误差估计最小均方误差估计最大后验概率估计最大后验概率估计二者具有二者具有等同性等同性矩阵反演公式：矩阵反演公式：2021/3/1182线性模型线性模型（3）随机矢量的伪贝叶斯估计：）随机矢量的伪贝叶斯估计：若被估计量若被估计量 的均值矢量的均值矢量 与协方差矩阵与协方差矩阵 已知，已知，PDF函数未知。函数未知。假定随机矢量假定随机矢量 为高斯分布，则伪贝叶斯估计矢量：为高斯分布，则伪贝叶斯估计矢量：最大似然估计量的均方误差最大似然估计量的均方误差非负定非负定伪贝叶斯估计矢量

61、的均方误差阵伪贝叶斯估计矢量的均方误差阵 小于等于小于等于 不利用先验知识的最大似然估计矢量的均方误差阵。不利用先验知识的最大似然估计矢量的均方误差阵。2021/3/1183线性模型举例线性模型举例曲线拟合曲线拟合傅里叶分析傅里叶分析系统辨识系统辨识Page73-792021/3/11845.7 线性最小均方误差估计线性最小均方误差估计如果关于观测信号矢量和被估计矢量的如果关于观测信号矢量和被估计矢量的概率密度函数未知概率密度函数未知，（1）仅知道观测信号矢量和被估计随机矢量的）仅知道观测信号矢量和被估计随机矢量的前二阶矩知识前二阶矩知识（局部信息）（局部信息），即均值矢量、协方差矩阵和互协方

62、差矩阵；，即均值矢量、协方差矩阵和互协方差矩阵；（2）限定估计量是观测量的线性函数限定估计量是观测量的线性函数。上述情况下，要求估计量的均方误差达到最小。求得的估计量即上述情况下，要求估计量的均方误差达到最小。求得的估计量即为为线性最小均方误差估计量线性最小均方误差估计量。线性最小均方误差估计量所具有的重要性质线性最小均方误差估计量所具有的重要性质正交性：正交性：估计的误差矢量与观测矢量正交，常称为估计的误差矢量与观测矢量正交，常称为正交性原理正交性原理。2021/3/11855.7.1 线性最小均方误差估计准则线性最小均方误差估计准则单参量估计单参量估计线性最小均方误差估计的估计规则，就是线

63、性最小均方误差估计的估计规则，就是把估计量构造成观测量把估计量构造成观测量的线性函数，同时要求估计量的均方误差最小。的线性函数，同时要求估计量的均方误差最小。矢量估计矢量估计N M M1M1 MN N12021/3/11865.7.2 线性最小均方误差估计矢量的构造线性最小均方误差估计矢量的构造TTTE(),E()(),E(),E()(),E()()xxxxxxxxxCCxC 1xaB =0令令2021/3/11875.7.2 线性最小均方误差估计矢量的构造线性最小均方误差估计矢量的构造参见附录参见附录5G=011xaB TTTT1TTTT11E()E()E()E()E()E()E()E()M

64、 N000 xxxxxBxxxxxxBxxxBCC 参考协方差矩阵定参考协方差矩阵定义义（见（见P18）令2021/3/11885.7.2 线性最小均方误差估计矢量的构造线性最小均方误差估计矢量的构造2021/3/11891、估计矢量是观测矢量的线性函数、估计矢量是观测矢量的线性函数2、估计矢量的无偏性、估计矢量的无偏性3、估计矢量均方误差阵的最小性、估计矢量均方误差阵的最小性5.7.3 线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质TT,xxxxCCCC添项，配方添项，配方lmse21TTr()CC C Cxxx 2021/3/11905.7.3 线性最小均方误差估计矢量的性质

65、线性最小均方误差估计矢量的性质4、估计的误差矢量与观测矢量的、估计的误差矢量与观测矢量的正交性正交性 正交性原理表明，线性最小均方误差估计量是被估计矢量在正交性原理表明，线性最小均方误差估计量是被估计矢量在 观测矢量上的观测矢量上的正交投影正交投影。5、最小均方误差估计与线性最小均方误差估计的关系、最小均方误差估计与线性最小均方误差估计的关系 非线性非线性vs线性观测模型；线性模型且为联合高斯分布条件下等同。线性观测模型；线性模型且为联合高斯分布条件下等同。TlmseTlmse1T1E()E()()E()()M N 0 xxxxxxxxxxxC CxxCC C C TlmseE()0 x 20

66、21/3/1191线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质Setven M.Key page 311-312 -概念更清楚概念更清楚使使MSE最小最小 等价于等价于 使误差矢量使误差矢量 的长度平方最小。的长度平方最小。显然，当显然，当 与与 张成的子空间正交时，张成的子空间正交时，误差矢量的长度最小。误差矢量的长度最小。0,1,.,1xxx N 00,1,.,1Ex nnN 1xxxEE+C Cxx2021/3/11925.7.3 线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质例例5.7.1 线性最小均方误差估计线性最小均方误差估计TTTTTTE E()E()()E()()E()()E()()xxxxnxxxHnHCxxHnHHnHHC HCCxHnHC H lmseTT1lmseTlmselmseTT1()()E()()()nnC HHC HCxHMCC HHC HCHC TTE(),E(),E()00nxHnnnnCn 2021/3/11935.7.4 线性最小均方误差递推估计线性最小均方误差递推估计1、递推估计的基本思想、递推估计的基本思想新息