实验优化设计多元线性回归模型

《实验优化设计多元线性回归模型》由会员分享，可在线阅读，更多相关《实验优化设计多元线性回归模型（46页珍藏版）》请在装配图网上搜索。

1、 多 元 线 性 回 归 模 型 多 元 线 性 回 归 模 型 的 参 数 估 计 多 元 线 性 回 归 模 型 的 假 设 检 验 实 例 一 、 多 元 线 性 回 归 模 型 二 、 多 元 线 性 回 归 模 型 的 基 本 假 定 多 元 线 性 回 归 模 型 :表 现 在 线 性 回 归 模 型 中 的解 释 变 量 有 多 个 。 一 般 表 现 形 式 ： ikikiii XXXY 22110 i=1,2,n其 中 :k为 解 释 变 量 的 数 目 ， j称 为 回 归 参 数（ regression coefficient） 。 ikikiii XXXY 22110

2、总 体 回 归 函 数 为 : kikiikiiii XXXXXXYE 2211021 ),|( 总 体 回 归 函 数 的 随 机 表 达 形 式 为可 以 看 到 是 对 应 于 一 元 线 形 回 归 模 型 的 ， 是 一 元 线 性 回 归 模 型 的自 然 引 申 与 扩 展 ！ j也 被 称 为 偏 回 归 系 数 ， 表 示 在 其 他 解 释 变量 保 持 不 变 的 情 况 下 ， X j每 变 化 1个 单 位 时 ， Y的均 值 E(Y)的 变 化 ; 或 者 说 j给 出 了 X j的 单 位 变 化 对 Y均 值 的“ 直 接 ” 或 “ 净 ” （ 不 含 其 他

3、 变 量 ） 影 响 。 kikiiii XXXY 22110 其 随 机 表 示 式 : ikikiiii eXXXY 22110 ei称 为 残 差 或 剩 余 项 (residuals)， 可 看 成 是总 体 回 归 函 数 中 随 机 扰 动 项 i的 近 似 替 代 。 用 于 估 计 总 体 回 归 函 数 的 样 本 回 归 函 数 是 假 设 1， 解 释 变 量 是 非 随 机 的 或 固 定 的 ， 且 各X之 间 互 不 相 关 （ 无 多 重 共 线 性 ） 。 假 设 2， 随 机 误 差 项 具 有 零 均 值 、 同 方 差 及 不序 列 相 关 性 。 0)(

4、 iE 22)()( ii EVar 0)(),( jiji ECov njiji ,2,1, 假 设 3， 解 释 变 量 与 随 机 项 不 相 关 0),( ijiXCov kj ,2,1 假 设 4， 随 机 项 满 足 正 态 分 布 ),0( 2 N i 一 、 普 通 最 小 二 乘 估 计 二 、 参 数 估 计 量 的 性 质 三 、 样 本 容 量 问 题 四 、 估 计 实 例 估 计 方 法 ： OLS（ 普 通 最 小 二 乘 法 ） 对 于 随 机 抽 取 的 n组 观 测 值 kjniXY jii ,2,1,0,2,1),( 如 果 样 本 函 数 的 参 数 估

5、 计 值 已 经 得 到 ， 则 有 ： Kikiiii XXXY 22110 i=1,2n 根 据 最小 二 乘 原理 ， 参 数估 计 值 应该 是 右 列方 程 组 的解 0 0 0 0 210 QQQQk 其中 211 2 )( ni iini i YYeQ 21 22110 )( ni kikiii XXXY 于 是 得 到 关 于 待 估 参 数 估 计 值 的 正 规 方 程 组 ： kiikikikii iiikikiii iiikikii ikikii XYXXXX XYXXXX XYXXXX YXXX )( )( )( )( 22110 2222110 1122110 22

6、110 解 该 （ k+1） 个 方 程 组 成 的 线 性 代 数 方 程 组 ， 即可 得 到 (k+1) 个 待 估 参 数 的 估 计 值 $, , , , ,j j 012 。k 随 机 误 差 项 的 方 差 的 无 偏 估 计 可 以 证 明 ， 随 机 误 差 项 的 方 差 的 无 偏 估计 量 为 ： 在 满 足 基 本 假 设 的 情 况 下 ， 其 结 构 参 数 的普 通 最 小 二 乘 估 计 具 有 ： 线 性 性 、 无 偏 性 、 有 效 性 。-也 就 是 满 足 高 斯 -马 尔 柯 夫 定 理 所 谓 “ 最 小 样 本 容 量 ” ， 即 从 最 小

7、二 乘 原 理和 最 大 或 然 原 理 出 发 ， 欲 得 到 参 数 估 计 量 ， 不 管其 质 量 如 何 ， 所 要 求 的 样 本 容 量 的 下 限 。 最 小 样 本 容 量 样 本 最 小 容 量 必 须 不 少 于 模 型 中 解 释 变 量的 数 目 （ 包 括 常 数 项 ） ,即 n k+1 2、 满 足 基 本 要 求 的 样 本 容 量 从 统 计 检 验 的 角 度 ：n-k8时 , t分 布 较 为 稳 定 一 般 经 验 认 为 : 当 n30或 者 至 少 n3(k+1)时 ， 才 能 说 满 足 模型 估 计 的 基 本 要 求 。 模 型 的 良 好

8、性 质 只 有 在 大 样 本 下 才 能 得 到 理论 上 的 证 明 一 、 拟 合 优 度 检 验 二 、 方 程 的 显 著 性 检 验 (F检 验 ) 三 、 变 量 的 显 著 性 检 验 （ t检 验 ） 四 、 参 数 的 置 信 区 间 1、 判 定 系 数 与 调 整 的 判 定 系 数则 22 22 )()(2)( )()( )( YYYYYYYY YYYY YYTSS iiiiii iiii 总 离 差 平 方 和 的 分 解 由 于 : )()( YYeYYYY iiii ikiikiii eYXeXee 110 =0所 以 有 ： ESSRSSYYYYTSS iii

9、 22 )()(注 意 ： 一 个 有 趣 的 现 象 222 222 YYYYYY YYYYYY YYYYYY iiii iiii iiii 判 定 系 数 TSSRSSTSSESSR 12该 统 计 量 越 接 近 于 1， 模 型 的 拟 合 优 度 越 高 。 问 题 ： 在 应 用 过 程 中 发 现 ， 如 果 在 模 型 中 增加 一 个 解 释 变 量 ， R2往 往 增 大 （ Why?) 这 就 给 人 一 个 错 觉 ： 要 使 得 模 型 拟 合 得 好 ，只 要 增 加 解 释 变 量 即 可 。 但 是 ， 现 实 情 况往 往 是 ， 由 增 加 解 释 变 量

10、个 数 引 起 的 R 2的 增 大与 拟 合 好 坏 无 关 ， R2需 调 整 。 调 整 的 判 定 系 数 （ adjusted coefficient of determination） 在 样 本 容 量 一 定 的 情 况 下 ， 增 加 解 释 变 量 必定 使 得 自 由 度 减 少 ， 所 以 调 整 的 思 路 是 :将 残 差 平方 和 与 总 离 差 平 方 和 分 别 除 以 各 自 的 自 由 度 ， 以剔 除 变 量 个 数 对 拟 合 优 度 的 影 响 :)1/( )1/(1 2 nTSS knRSSR其 中 ： n-k-1为 残 差 平 方 和 的 自 由

11、 度 ， n-1为 总体 平 方 和 的 自 由 度 。 为 了 比 较 所 含 解 释 变 量 个 数 不 同 的 多 元回 归 模 型 的 拟 合 优 度 ， 常 用 的 标 准 还 有 : 赤 池 信 息 准 则 （ Akaike information criterion, AIC） nknAIC )1(2ln ee施 瓦 茨 准 则 （ Schwarz criterion， SC） nnknAC lnln ee 这 两 准 则 均 要 求 仅 当 所 增 加 的 解 释 变 量 能 够减 少 AIC值 或 AC值 时 才 在 原 模 型 中 增 加 该 解 释 变 量 。 方 程 的

12、 显 著 性 检 验 ， 旨 在 对 模 型 中 被 解 释 变量 与 解 释 变 量 之 间 的 线 性 关 系 在 总 体 上 是 否 显 著成 立 作 出 推 断 。 1、 方 程 显 著 性 的 F检 验 即 检 验 模 型 Yi=0+1X1i+2X2i+ +kXki+i i=1,2, ,n中 的 参 数 j是 否 显 著 不 为 0。 可 提 出 如 下 原 假 设 与 备 择 假 设 ： H0： 0=1=2= =k=0 H1： j不 全 为 0 F检 验 的 思 想 来 自 于 总 离 差 平 方 和 的 分 解 式 ： TSS=ESS+RSS 由 于 回 归 平 方 和 2iyE

13、SS 是 解 释 变 量 X的 联 合 体 对 被 解 释 变 量 Y的 线 性 作 用 的 结 果 ， 考 虑 比 值 22/ ii eyRSSESS 如 果 这 个 比 值 较 大 ， 则 X的 联 合 体 对 Y的 解释 程 度 高 ， 可 认 为 总 体 存 在 线 性 关 系 ， 反 之 总 体上 可 能 不 存 在 线 性 关 系 。 因 此 ,可 通 过 该 比 值 的 大 小 对 总 体 线 性 关 系进 行 推 断 。 根 据 数 理 统 计 学 中 的 知 识 ， 在 原 假 设 H0成立 的 条 件 下 ， 统 计 量 （ 注 ： 这 里 的 k是 在 回 归 元 的 个

14、数 而 不 是 变 量 的 个 数 ， 要 注 意 k的 具 体 含 义 ） )1/( / knRSS kESSF 服 从 自 由 度 为 (k , n-k-1)的 F分 布 。 给 定 显 著 性 水 平 ， 可 得 到 临 界 值 F(k,n-k-1)， 由 样 本 求 出 统 计 量 F的 数 值 ， 通 过 F F(k,n-k-1) 或 F F(k,n-k-1)来 拒 绝 或 接 受 原 假 设 H0， 以 判 定 原 方 程 总 体 上的 线 性 关 系 是 否 显 著 成 立 。 对 于 中 国 居 民 人 均 消 费 支 出 的 例 子 ： 一 元 模 型 ： F=285.92

15、二 元 模 型 ： F=2057.3给 定 显 著 性 水 平 =0.05， 查 分 布 表 ， 得 到 临 界值 ： 一 元 例 ： F(1,21)=4.32 二 元 例 ： F(2,19)=3.52显 然 有 F F (k,n-k-1) ， 即 二 个 模 型 的 线 性 关 系在 5%的 显 著 性 水 平 下 显 著 成 立 。 由 )1/( )1/(12 nTSS knRSSR )1/( / knRSS kESSF可 推 出 ： kFkn nR 1112 与或 )1/()1( / 2 2 knR kRF 注 ： 课 本 上 是 F与 R2的 关 系 ， 因 为 判 定 系 数 和 校

16、 正的 判 定 系 数 之 间 的 关 系 ， 所 以 此 三 者 的 关 系 的 推 导 是 很显 然 的 。 方 程 的 总 体 线 性 关 系 显 著 每 个 解 释 变 量 对 被解 释 变 量 的 影 响 都 是 显 著 的 。 因 此 ， 必 须 对 每 个 解 释 变 量 进 行 显 著 性 检 验 ，以 决 定 是 否 作 为 解 释 变 量 被 保 留 在 模 型 中 。 这 一 检 验 是 由 对 变 量 的 t 检 验 完 成 的 。 1、 t统 计 量 ),( 2 iiii cN 因 此 ， 可 构 造 如 下 t统 计 量 2、 t检 验 设 计 原 假 设 与 备

17、择 假 设 ： H1： i0 给 定 显 著 性 水 平 ， 可 得 到 临 界 值 t/2(n-k-1)，由 样 本 求 出 统 计 量 t的 数 值 ， 通 过 |t| t/2(n-k-1) 或 |t|t/2(n-k-1)来 拒 绝 或 接 受 原 假 设 H 0， 从 而 判 定 对 应 的 解 释 变量 是 否 应 包 括 在 模 型 中 。 H0： i=0 （ i=1,2k） 注 意 ： 一 元 线 性 回 归 中 ， t检 验 与 F检 验 一 致 （ 不 过 多 元 的 就 没 那 么 简 单 的 关 系 了 ！ ） 一 方 面 ， t检 验 与 F检 验 都 是 对 相 同 的

18、 原 假 设H 0： 1=0 进 行 检 验 ; 另 一 方 面 ， 两 个 统 计 量 之 间 有 如 下 关 系 ： 在 中 国 居 民 人 均 收 入 -消 费 支 出 二 元 模 型 例 中 ，由 应 用 软 件 计 算 出 参 数 的 t值 ： 651.2630.3306.3 210 ttt 给 定 显 著 性 水 平 =0.05， 查 得 相 应 临 界值 ： t0.025(19) =2.093。 可 见 ， 计 算 的 所 有 t值 都 大 于 该 临 界 值 ，所 以 拒 绝 原 假 设 。 即 :包 括 常 数 项 在 内 的 3个 解 释 变 量 都 在 5%的 显 著性

19、水 平 下 显 著 ， 都 通 过 了 变 量 显 著 性 检 验 。 参 数 的 置 信 区 间 用 来 考 察 ： 在 一 次 抽 样 中 所估 计 的 参 数 值 离 参 数 的 真 实 值 有 多 “ 近 ” 。 在 变 量 的 显 著 性 检 验 中 已 经 知 道 ： 容 易 推 出 ： 在 (1-)的 置 信 水 平 下 i的 置 信 区 间 是 ( $ , $ )$ $ i it s t si i 2 2 其 中 ， t/2为 显 著 性 水 平 为 、 自 由 度 为 n-k-1的 临 界 值 。 如 何 才 能 缩 小 置 信 区 间 ？ 增 大 样 本 容 量 n， 因

20、为 在 同 样 的 样 本 容 量 下 ，n越 大 ， t分 布 表 中 的 临 界 值 越 小 ， 同 时 ， 增 大样 本 容 量 ， 还 可 使 样 本 参 数 估 计 量 的 标 准 差 减小 ； 提 高 模 型 的 拟 合 优 度 ， 因 为 样 本 参 数 估 计 量的 标 准 差 与 残 差 平 方 和 呈 正 比 ， 模 型 优 度 越 高 ，残 差 平 方 和 应 越 小 。 提 高 样 本 观 测 值 的 分 散 度 ， 也 就 是 说 变 量 必须 变 化 大 。 邹 氏 参 数 稳 定 性 检 验 建 立 模 型 时 往 往 希 望 模 型 的 参 数 是 稳 定 的

21、， 即所 谓 的 结 构 不 变 ， 这 将 提 高 模 型 的 预 测 与 分 析 功能 。 如 何 检 验 ？ 假 设 需 要 建 立 的 模 型 为 kk XXY 110在 两 个 连 续 的 时 间 序 列 （ 1,2,， n1） 与 （ n1+1,，n1+n2） 中 ， 相 应 的 模 型 分 别 为 ： 1110 kk XXY 2110 kkXXY 因 此 ， 检 验 的 F统 计 量 为 ： )1(2,)1(2/ /)( 2121 knnkFknnRSS kRSSRSSF U UR 记 RSS1与 RSS2为 在 两 时 间 段 上 分 别 回 归 后 所 得 的残 差 平 方

22、和 ， 容 易 验 证 ， 21 RSSRSSRSSU 于 是 )1(2,)1(2/)( /)( 212121 21 knnkFknnRSSRSS kRSSRSSRSSF R 参 数 稳 定 性 的 检 验 步 骤 ： （ 1） 分 别 以 两 连 续 时 间 序 列 作 为 两 个 样 本进 行 回 归 ， 得 到 相 应 的 残 差 平 方 ： RSS1与RSS2 （ 2） 将 两 序 列 并 为 一 个 大 样 本 后 进 行 回 归 ，得 到 大 样 本 下 的 残 差 平 方 和 RSSR （ 3） 计 算 F统 计 量 的 值 ， 与 临 界 值 比 较 ： 若 F值 大 于 临

23、界 值 ， 则 拒 绝 原 假 设 ， 认 为 发生 了 结 构 变 化 ， 参 数 是 非 稳 定 的 。 该 检 验 也 被 称 为 邹 氏 参 数 稳 定 性 检 验（ Chow test for parameter stability） 。 例 3.6.2 中 国 城 镇 居 民 食 品 人 均 消 费 需 求 的 邹氏 检 验 。 1、 参 数 稳 定 性 检 验19811994： )ln(92.0)ln(08.0)ln(05.163.3)ln( 01 PPXQ RSS1=0.003240 19952001： 01 ln71.0ln06.3ln55.078.13ln PPXQ (9.

24、96) (7.14) (-5.13) (1.81) 19812001: 01 ln39.1ln14.0ln21.100.5ln PPXQ (14.83) (27.26) (-3.24) (-11.17) 34.10)821/()000058.0003240.0( 4/)0000580.0003240.0(013789.0 F给 定 =5%， 查 表 得 临 界 值 F0.05(4, 13)=3.18 结 论 ： F值 临 界 值 ， 拒 绝 参 数 稳 定 的 原 假设 ， 表 明 中 国 城 镇 居 民 食 品 人 均 消 费 需 求 在 1994年 前 后 发 生 了 显 著 变 化 。