《参数估计理论PPT课件》由会员分享，可在线阅读，更多相关《参数估计理论PPT课件（18页珍藏版）》请在装配图网上搜索。
1、 N参数估计理论的主要研究内容：（1）估计子是如何接近真实参数 的?(接近度评价)（2）参数估计方法n估计子的定义11,()(,)NpNNxxNppNN 映射已知 个数据估计真实参数即 维样本空间维参数空间（维）小样本性能 个数据得到的估计子性能：计算机仿真大样本性能 渐近性能：理论分析*11*21()()()():1 ()()()1 ()()()()():xN knN knNNNNx nR kE x nk x nR kx nk x nNkR kx nk x nNbEE的自相关函数两个估计子 具有相关函数矩阵的 半正定性估计误差 随机变量，不便使用）偏差（固定量，有用）无偏估计0 NE 12N
2、 ()()()()():lim xxNE R kR xNkE R kR xNE两个估计子的性能：无偏估计有偏估计 渐近无偏估计渐近无偏估计无偏估计一定是渐近无偏估计，反之一般不成立“好”的估计：应该是渐近无偏估计n两个无偏估计(或其中一个渐进无偏估计)的性能比较：22222221212:()():()()()()()2()()()()()(),NNNNNNNNNNNNNNNNVarEEMEEEEEEEEEEEVarbVarVar估计方差 均方误差无偏估计的评价：若则称比好有偏221212()(),:MM估计的评价：若则称优于注 比较估计子性能时，用均方误差比只用方差或偏差更合理111,(|)(
3、)ln(|)(|)(|)()(|)(|)()0,(|)NNNxxf xV xf xf xf xE V xf xdxdxf xE V xf xdxdx中隐含真实参数 的信息估计子引入品质函数22222()()()ln(|)ln(|)1()()()ln(|)()()1 ()V xFisherJE VEf xEf xVarEJf xKCramerRaoJ 定义：品质函数的方差称为信息：定理：假设是 的无偏估计，则 取等号的充要条件：此时称为下界n损失函数(代价函数)n绝对损失函数n二次型损失函数(,)()()()NNNNCC,标量参数向量参数22(,)()()()CC,标量参数向量参数n均匀损失函数
4、0,(,)()1,0,()()1,NNNNNNCC ,标量参数向量参数n风险函数:损失函数的数学期望nBayes估计：使风险函数最小化的参数估计(,)(,)NNRE C2,(,)()min MMSE(minimum mean square error)NNRE若对二次型111,(,|),ln(,|)argmaxln(,|)NNNMLNxxf xxf xxf xx1给定,似然函数为但多用对数似然函数。的最大似然估计是对数似然函数最大化时的估计:缺点：必须知道似然函数的形式n线性均方LMS(linear mean square)11221221111,minmin 20 NNLMSnnnNnnnN
5、NnnnnknnkkNNiikkiikkiixxw xEw xE eE eEw xEw xxwwwE x xExwRg 准则：11221221111,minmin 20 NNLMSnnnNnnnNNnnnnknnkkNNiikkiikkiiN Niki kxxw xEw xE eE eEw xEw xxwwwE x xExwRgRR 准则：111 ,TTNNwwggwgRw=gw=R gn正交性原理n线性均方估计是典型的Bayes估计10 0 1,NnnkknEw xxE exkN即估计误差与已知数据正交2121 min LMSMMSEBayesNnnnNnnnx wEx w代价函数（二次型损
6、失函数）风险函数估计估计（估计）n问题(well-determined equation)(over-determined equation)()(under-determined e1Ax=bAbxAx=A bA矩阵方程，在 和 已知情况下估计 适定方程：方阵可逆，则 超定方程：非方阵且行数 列数 方程个数多于未知参数个数，无准确解，但有惟一的最小二乘解。在信号处理中多用超定方程。超定意味着使用更多的信息。欠定方程quation)：有无穷多个解，但有惟一的最小范数解。欠定意味着信息不够多。n超定方程Ax=b*1()()min()()0(0 (,)1()(identHHHHHHHHHHHHHH
7、HHLSAbAxbxbAxbAxbAxbxx A Axb bx A bb AxA AxA bxxxA AxA bIOxxA AxA AA bx没有误差，有误差，误差向量为误差平方和为标量共轭梯度）注意情况：可逆，称 是唯一可辨识的，可辨识性ificability)2HA Ax情况：奇异，称 是不可辨识的nGaussian-Markov定理n加权最小二乘估计eAxb若误差向量的每个元素都具有零均值和相同的方差，则最小二乘估计一定是最优估计（方差最小）*11minmin()()()()0 0 ()var()HHHHHHHHHHHHHHHHHoptQQEe ee weebAW bAb Wb A WAb WA A WbA WAA WbA WAA WbWA WAA WAA WbVee eWV最小二乘加权最小二乘若 各元素方差不同,则用加权最小二乘法)总可以选择，使可逆，则可以证明最佳的n评价参数估计好坏的问题：n采用均方误差来衡量参数估计的优劣n判断无偏估计是否最好：使用Fisher信息，满足Cramer-Rao下界n如何进行参数估计：nBayes估计（关键选什么风险函数）n最大似然估计（需知道似然函数形式）n线性均方估计（正交性原理）n最小二乘估计（若e零均值、同方差，则最小二乘法是最优的，否则要用加权最小二乘法）n习题n题，题，题，题
参数估计理论PPT课件
