多元正态分布的定义与性质.ppt

《多元正态分布的定义与性质.ppt》由会员分享，可在线阅读，更多相关《多元正态分布的定义与性质.ppt（22页珍藏版）》请在装配图网上搜索。

1、 第八章 多元分析初步 第 8.1节 多元正态分布参数估计与假 设检验 第 8.2节 判别分析 第 8.3节 主成分分析 前言 多元分析是研究多指标问题的统计理论与方法， 多元统计分析是统计学中讨论多维随机变量的 多元统计分析主要应用于地质、生物、医学、 气象、计算机模式识别等领域 . 它是一元统计分析的推广与发展 . 统计方法的总称 . 第 8.1节 多元正态分布参数的 估计与假设检验 一、多元正态分布参数估计 二、正态分布函数均值向量的假设检验 一、多元正态分布参数的估计 12( , , , ) ( , ) ,TnX X X F x 设 样 本 来 自 总 体 在前几章讲的统计问题，都可以

2、归结为一个统 计决策问题，也就是建立所谓的统计决策函数 .统 计决策问题由三个因素组成，首先来看第一个因素： 1、样本空间和分布族 样本空间 , . 未 知 ， 则 样 本 所 有 可 能 值 组 成 的 集 合 称 为 样 本 空 间 ， 记 为 分布族 12( , , , ) ( , ) ,TnX X X F x 设 样 本 来 自 总 体 12 1 , ( , , , , ) ( , ) n ni i F x x x F x 未 知 ， 其 联 合 分 布 为 1 1 2 * ( , ) , , ( , , , ) n i i T n F F x F X XX 若 记 则 称 为 样 本

3、 的 概 率 分 布 族 ， 简 称 分 布 族 . 例 1(p115例 4.1) 设总体 X服从两点分布 B(1,p),p为 1201 , ( , , , ) Tnp X X X X未 知 参 数 ， 是 取 自 总 体 .的 样 本 ， 试 求 其 样 本 空 间 以 及 分 布 族 解 由于是两点分布，因而样本的取值只有 0,1,则 样本空间为 12 0 1 1 2 ( , , , ) : , , , , , nix x x x i n 分布族为 11 1 1 0 1 2 0 1* ) , , , , , , , n n x ii ii x n iF p p x i n p （ 2、决策

4、空间 (或称判决空间 ) 决策 对每个统计问题的具体回答，就称为一个决策 . 例如，参数的点估计，每一个估计值就是一个决策 . 决策空间 一个统计问题中，可能选取得全部决策 组成的集合为决策空间，记为 R. 例如， 2( , ) ,N 设 总 体 分 布 服 从 对 未 知 参 数 进 行 ( , ) ( , ) . 估 计 ， 由 于 在 中 取 值 ， 因 而 其 决 策 空 间 为 3、损失函数 例 2(p116例 4.2) 某厂打算根据各年度市场的销售来 决定下一年度应该扩大生产还是缩减生产，或者维 持原状，这样其决策空间为 扩 大 生 产 ， 缩 减 生 产 ， 维 持 原 状 通常

5、情况下，做任何决策以后，总会有某种后果， 由此可以带来某种收益和损失 .为了以数量化的方式描 述这种收益和损失，为此需要引入损失函数 . 例 3(p116例 4.3) 1( , ) ,XN 设 总 体 服 从 正 态 分 布 为 未 知 ( , ) 参 数 ， 参 数 空 间 为 ， 决 策 空 间 可 以 设 ( , ) , 为 = 此 决 策 问 题 的 损 失 函 数 可 以 为 ： 2 1( ) ( , ) ( ) d L d d 设 为 的 点 估 计 值 ， 损 失 函 数 可 以 设 为 12 12 21 12 12 2 0 1 1 ( ) , ( , ) ( ) , ( , )

6、 ( ) , dd dd L d d d dd L d I dd 设 为 的 区 间 估 计 值 ， 损 失 函 数 可 以 设 为 也 可 以 设 为 常见的损失函数 (1) 线性损失函数 0 1 ( ) , , ( , ) ( ) , , k d d Ld k d d 01 01 ,kk kk 其 中 为 常 数 ， 它 们 可 以 反 映 大 于 或 小 于 参 数 时 带 来 不 同 的 损 失 . 当 时 ( , ) | - | . L d d （ ） 此 损 失 函 数 为 绝 对 损 失 函 数 (2) 平方损失函数 2 ( , ) ( )L d d (3) 凸损失函数 ( ,

7、) ( ) ( | | )L d W d 00 00 ( ) ( ) ( ) . W t t W 其 中 是 的 已 知 函 数 ， 且 有 限 ， 是 上 的 单 调 非 降 函 数 且 (4) 多元二次损失函数 当 参 数 以 及 决 策 的 d 为 多 维 向 量 时 ， 二 次 损 失 为 ( , ) ( ) ( )TL d d A d 1 2 1 2 1 ( , , , ) , ( , , , ) , . TT ppd d d d A p p pA 其 中 为 阶 正 定 矩 阵 ， 为 大 于 的 自 然 数 当 为 对 角 矩 阵 时 ， 12( , , , ) ,pA d ia

8、 g p 即 则 元 损 失 函 数 为 2 1 ( , ) ( ) p i i i i L d d 注 由于在统计问题中，进行的统计推断总是有误差， 因而损失一定存在，因而一般都会假设损失函数为非 负的 . 二次损失为参数点估计常用的损失函数 . 二、正态总体均值向量的假设检验 1. 统计决策函数 给 定 统 计 决 策 问 题 的 三 要 素 后 ， 在 损 失 小 的 前 提 下 ， 选 择 一 个 好 决 策 函 数 就 成 为 核 心 问 题 . 定义 4.1 ()dx 定 义 在 样 本 空 间 上 ， 取 值 于 决 策 空 间 内 的 函 数 ， 称 为 统 计 决 策 函 数

9、 ， 简 称 为 决 策 函 数 . 注 决策函数其实就是决策问题的一个 “ 行动方案 . 对于统计问题而言，决策函数为统计量 . 例 4(p118) 22( , ) ,XN 设 总 体 服 从 正 态 分 布 为 已 知 , 12( , , , . T nX X X X ) 取 自 的 样 本 ， 试 求 参 数 点 估 计 和 区 间 估 计 的 决 策 函 数 解 根 据 上 一 章 的 结 论 ， 参 数 点 估 计 的 决 策 函 数 为 1 1() n i i d x x xn 参 数 区 间 估 计 的 决 策 函 数 为 22 ( ) , d x x u x u nn 2. 风

10、险函数 由于损失函数 L与决策函数 d(x)有关 ,而决策函数 是随机变量，因而损失函数也为随机变量。这样损失函 数与样本 X的取值有关，因而需要构造一个更好的指标 来衡量决策函数的好坏 . 这就是风险函数 . 定义 4.2 * ,F 设 样 本 空 间 和 分 布 族 分 别 为 和 决 , ( , ) ( ) ,L d d X策 空 间 为 损 失 函 数 为 ， 决 策 函 数 为 ( ) ( , )d X R d则 参 数 的 决 策 函 数 引 起 的 风 险 函 数 为 定 义 为 12( , ) ( ( , ( ) ) ( ( , ( , , , ) )nR d E L d X

11、E L d X X X 注 由定义可以看到，风险函数是决策 d的平均损失 . 从定义可以看到，风险越小，决策越好 ,由此可以给出 判断决策函数优良性准则 . 定义 4.3 12( ) ( )d X d X 设 和 为 统 计 决 策 问 题 的 两 个 决 策 函 数 ， 若 其 风 险 函 数 满 足 不 等 式 12( , ) ( , ) , R d R d 1 2 1 2 12 ( , ) ( , ) ( , ) ( , ) , . Rd R d d d R d R d 且 存 在 一 些 使 得 不 等 式 严 格 成 立 ， 即 ， 则 称 决 策 函 数 一 致 优 于 ， 如 果

12、 等 式 成 立 即 ， 则 二 者 等 价 定义 4.4 ( ) D d X 设 是 一 切 定 义 在 样 本 空 间 *( ) ( ( ) ) , ( ) , d X d X D d X D 上 取 值 于 决 策 空 间 上 的 决 策 函 数 的 全 体 ， 若 存 在 一 个 决 策 函 数 使 得 对 任 意 一 个 都 有 *( , ) ( , ) , R d R d * ()dX则 称 决 策 函 数 为 一 致 最 小 风 险 决 策 函 数 ， 或 称 为 一 致 最 有 决 策 函 数 . 注 从上述定义可以看到，决策函数的优良性与损失 函数有关，因而优良性会因损失函数

13、而变化 . 例 5(p119例 4.4) 1( , ) ,XN 设 总 体 服 从 正 态 分 布 为 未 知 12( , ) ( , , , T nX X X X 参 数 ， 参 数 空 间 为 ， ) 取 自 的 样 本 ， 若 选 取 损 失 函 数 为 平 方 损 失 2( , ) ( )L d d ( ) ?dX试 求 参 数 任 一 估 计 的 风 险 函 数 解 根据风险函数的定义可知 2( , ) ( ( , ( ) ) ( )R d E L d X E d ( ( ) ) ,E d X 若 则 其 风 险 函 数 为 2( , ) ( ( ) ) ( ( ) )R d E d

14、 E d D d X 1( ) , ( , ) ( ) ,d X X R d D X n 若 则 11 1( ) , ( , ) ( ) ,d X X R d D X 若 则 1 1 . n XX 显 然 ， 当 时 ， 后 者 的 风 险 大 于 前 者 的 风 险 ， 因 而 在 平 方 损 失 的 条 件 下 优 于 例 6(p120例 4.5) 12 , xx 设 和 是 从 下 列 分 布 中 获 得 两 个 观 察 值 1 1 0 5 . , P X P X R 12( , ) ( , , , T nX X X X 决 策 空 间 为 ， ) 取 自 的 样 本 ， 若 选 取 损

15、 失 函 数 为 1 1 0 , , ( , ) ( ) , , d L d I d d 12 1 2 1 12 12 3 1 1 2 1 2 2 1 , - , , ? -, xx d d x xx xx d x x x 试 求 参 数 的 估 计 的 风 险 函 数 解 根据风险函数的定义可知 1 1 1 21 1 0 5( , ) .R d P d P x x 2 2 11 1 1 0 5( , ) .R d P d P x 33 1 2 1 1 1 1 0 2 5 ( , ) . R d P d P x x x 或 3 1 2d d d显 然 ， 一 致 优 于 和 ， 这 个 优 良 性 依 赖 于 损 失 函 数 以 及 决 策 函 数 的 范 围 . 作 业 P145 习题四 1, 2, 3, 4