多重回归与自变量的筛选方法

《多重回归与自变量的筛选方法》由会员分享，可在线阅读，更多相关《多重回归与自变量的筛选方法（14页珍藏版）》请在装配图网上搜索。

1、 第 三 章 逐 步 回 归 与 自 变 量 筛 选 方 法一 、 问 题 的 提 出1. 多 元 线 性 回 归 需 对 系 数 作 检 验 ， 无 意 义 的 变 量 需 剔 除 ， 由于 变 量 间 相 关 性 ， 其 他 变 量 的 显 著 性 发 生 改 变2.从 应 用 和 分 析 目 的 角 度 ， 精 选 自 变 量 模 型 拟 合 要 优 、变 量 节 俭问 题 ： 如 何 选 择 自 变 量 进 入 模 型 ？1. 分 析 目 的 ； 2.建 立 模 型 的 统 计 准 则 是 什 么 ？ 3.结 合 专 业 和实 际 问 题 考 虑 二 、 自 变 量 筛 选 的 标 准

2、 与 原 则 1.残 差 平 方 和 、 残 差 均 方 准 则 当 残 差 平 方 和 （ SSE） 最 小 时 ， 决 定 系 数 （ R2） 达 到 最 大 。 n为 样 本 含 量 ， R 2 为 包 含 m个 自 变 量 的 回 归 方 程 的 决 定 系 数 。 R2是随 着 变 量 数 的 增 加 而 增 大 ， 而 不 受 变 量 数 的 影 响 ，2SS ( )Y Y 残 2 1 SSR SS 残总S SM S n m 1 残 差残 差 = 2adj n 11 (1-R ) 1n m 1 MSR MS 残总adjRadjR pm n 2n m 1P SSC SS （ ）剩剩

3、（ ）统 计 量 = （ p+1) 2. CP统 计 量 n为 样 本 含 量 ， p表 示 进 入 模 型 的 自 变 量 个 数 ， m表 示 所 有 自 变 量 个 数 ， 表 示 从 全 部 m个 自 变 量 的 回 归 模 型 中 得 到 的 残 差 均 方 。 在 模 型 变 量 个 数 减 少 的 过 程 中 第 一 次 值 接 近 p+1时 ， 模 型 最 佳 。 如 果 自 变 量 中 没 有 包 含 对 Y有 主 要 作 用 的 变 量 ， 则 不 宜 用 方 法 选 择 自 变 量 。准 则 由 Akaike在 极 大 似 然 基 础 上 提 出 的 ， Akaike信

4、息 量 准 则 AIC=n （ ssp） -2（ p+1） ssp表 示 选 入 模 型 p个 变 量 的 剩 余 平 方 和 。 AIC越 小 越 好 。mSS n m 1 （ ）剩 pC pC 模 型 中 变 量 数 调 整 R2 Cp 变 量 1 3.71 X1 1 5.83 X2 1 8.99 X3 2 2.69 X1 X2 2 4.70 X1 X3 2 4.81 X2 X3 3 4.00 X1 X2 X3 4.预 测 平 方 和 准 则 （ press统 计 量 ， 预 测 精 度 ） Press=di2 di2=Yi-XIXi 表 示 剔 除 了 所 要 预 测 的 第 i观 测

5、值 以 后 所 剩 余 观 测 值 所做 估 计 。5.逐 步 回 归 （ 统 计 显 著 性 准 则 ） 统 计 显 著 性 准 则 ： 把 有 统 计 学 意 义 的 变 量 选 入 模 型 ， 得 到的 回 归 模 型 不 一 定 是 最 佳 预 测 模 型 。三 . 逐 步 回 归 分 析 （ stepwise regression） 1. 概 述 简 单 地 对 回 归 系 数 作 检 验 ， 比 较 复 杂 ； 用 前 述 的 几 个 指 标 是 在 所 有 子 集 回 归 中 选 最 优 回 归 模 型 ，而 逐 步 回 归 是 每 一 步 引 入 或 剔 除 一 个 变 量 （

6、 其 标 准 是 F检验 ） ， 直 到 引 不 进 又 剔 不 出 为 止 ， 建 立 一 个 包 含 所 有 对 因 变量 有 影 响 的 自 变 量 。 不 是 最 优 回 归 i（ ） i（ ） 二 、 逐 步 回 归 法v 方 法 ： 向 前 法 （ forward ） 、 向 后 法（ backward） 、 逐 步 法 （ stepwise ）每 一 步 只 引 入 或 剔 除 一 个 自 变 量 准 则 ， 是 基 于 对 偏回 归 平 方 和 的 F检 验 1;1;)1( 21)( pnpnSS SSSSF jj 残 回回 v （ 1） 向 前 法 (forward)， 回

7、归 方 程 中 的 自 变 量是 一 个 个 进 入 的 ， 最 有 统 计 学 意 义 的 变 量 最 先进 入 ， 依 此 类 推 。 即 只 进 不 出 。v Y对 每 一 个 自 变 量 作 线 性 回 归 ， 计 算 各 自 变 量的 偏 回 归 平 方 和 ， 选 取 偏 回 归 平 方 和 最 大 者 作F检 验 ， 有 意 义 （ P小 ） 则 引 入 。 v 局 限 性 ： 即 后 续 变 量 的 引 入 可 能 会 使 进 入 方 程的 自 变 量 变 得 不 重 要 。v （ 2） 向 后 法 (backward)， 先 将 全 部 自 变 量 选入 方 程 ， 然 后

8、逐 步 剔 除 无 统 计 学 意 义 的 自 变 量 。即 只 出 不 进 。 偏 回 归 平 方 和 最 小 的 变 量 ， 作 F检 验 及 相 应 的 P值 ， 决 定 它 是 否 剔 除 （ P大 ） 。重 复 上 述 过 程 。 v 剔 除 自 变 量 的 方 法 是 在 方 程 中 选 一 个 偏 回 归平 方 和 最 小 的 变 量 ， 作 F检 验 决 定 它 是 否 剔 除 ，若 无 统 计 学 意 义 则 将 其 剔 除 ， 然 后 对 剩 余 的自 变 量 建 立 新 的 回 归 方 程 。 重 复 这 一 过 程 ，直 至 方 程 中 所 有 的 自 变 量 都 不

9、能 剔 除 为 止 。理 论 上 最 好 ， 建 议 使 用 采 用 此 法 。v （ 3） 逐 步 法 (stepwise)， 逐 步 回 归 法 是 在 前述 两 种 方 法 的 基 础 上 ， 进 行 双 向 筛 选 的 一 种方 法 。 逐 步 的 把 有 统 计 学 意 义 的 变 量 选 入 模型 ， 也 逐 步 剔 除 原 先 无 统 计 学 意 义 的 变 量 。即 有 进 有 出 。 该 方 法 本 质 上 是 前 进 法 。 v 3.计 算 方 法 与 步 骤v 首 先 确 定 引 入 与 剔 除 变 量 的 F统 计 量 标 准 ， 检 验 水 准 a定为 0.05 0.

10、30， 值 越 小 表 示 选 取 自 变 量 的 标 准 越 严 。v 注 意 ： 引 入 变 量 的 检 验 水 准 要 小 于 或 等 于 剔 除 变 量 的 检验 水 准 。v 四 .注 意 事 项v 1.选 择 恰 当 的 a和 F值 （ 选 择 不 同 的 a 多 做 几 次 ， 看 哪 个更 合 要 求 ） 。v 2.当 自 变 量 之 间 有 高 度 相 关 时 ， 很 难 建 立 模 型 。v 3.可 以 考 察 变 量 之 间 的 交 互 作 用 。 v 4.有 从 专 业 上 认 为 必 须 引 入 0 1 1 2 2 j j . ( )i jy b bx bx bx C

11、xx 五 . 回 归 系 数 反 常 分 析 回 归 系 数 的 反 常 现 象 1. 回归系数的正负符号与客观实际不一致。 2. 专 业 认 为 有 统 计 学 意 义 ， 但 结 果 无 统 计 学 意 义 。 回 归 系 数 正 常 ， 但标 准 误 很 大 ， 无 统 计 学 意 义 。 3. 稍 微 改 变 a， 引 入 的 变 量 差 别 较 大 ，回归方程不稳定。 4. 重要变量进不了模型。 主要原因 1. 自变量的多重共线性 2. 设计时某些重要的变量没有考虑进来。 3. 样本量太小 4. 变量的测量误差大有异常值。 5. 变量取值范围太窄。 六 .SAS程 序 vData A

12、;vInput x1-x3 y;vCards;v.vProc reg;vModel y=x1-x3/selection=stepwise(forward backward) sle sls;vRun; vProc reg;vModel y=x1-x3/ cp adjrsq ;vRun;vProc stepwise;vModel y=x1-x3/stepwise(forward backward) sle sls;vRun; 作 业 ： 课 本 P322例 20-3要 求 ：v 1.用 R2和 R2adj建 模 型v 2.用 Cp统 计 量 建 模 型v 3.用 逐 步 回 归 建 模 型v 4.对 以 上 模 型 用 press做 出 评 价