回归与路径分析

《回归与路径分析》由会员分享，可在线阅读，更多相关《回归与路径分析（42页珍藏版）》请在装配图网上搜索。

1、回归与路径分析 一回归分析Analyze/Regression/Linear 研究问题不 同 学 生 性 别 、 数 学 焦 虑 、 数 学态 度 与 数 学 投 入 动 机 等 变 量 对 数学 成 绩 是 否 有 显 著 预 测 作 用 ？其 预 测 力 如 何 ？统 计 方 法 回 归 分 析 第八章 回归分析bXaY kk XbXbXbbY 22110 xy ZZ kxkxxy ZZZZ 21 211、 一 元 线 性 回 归 方 程 与 标 准 回 归 方 程 ：2、 多 元 线 性 回 归 方 程 与 标 准 回 归 方 程 ： 第八章 回归分析3、回归分析的条件线 性 关 系自

2、变 量 无 测 量 误 差因 变 量 的 独 立 性正 态 性方 差 齐 性 第八章 回归分析4、多元回归中自变量的选择强 迫 进 入 法 (Enter)强 迫 删 除 法 (Move)向 前 选 择 (Forward)向 后 剔 除 (Backward)逐 步 选 择 (Stepwise) 第八章 回归分析5、结果的解释回 归 系 数方 差 分 析回 归 系 数 显 著 性 检 验测 定 系 数 R2 1适用条件n因变量连续变量n自变量连续变量类 别 变 量 最 好 不 要 导 入 回 归 方 程 ， 除 非 它 与 因变 量 关 系 很 密 切要 将 类 别 变 量 导 入 回 归 方 程

3、 ， 要 先 转 化 为 虚 拟变 量 2SPSS提供5种选取变量的方法强 迫 进 入 entern又称复回归分析法，层次式进入法。n强迫所有变量有顺序进入回归方程。n用于研究者有事先建立似，决定变量重要性层次。逐 步 回 归 stepwisen应用最多，最广泛的复回归分析方法，它结合顺向选择与瓜向剔除二种方法的优点向 前 法 （ 顺 向 选 择 法 ） forwardn即自变量一个一个进入回归方程向 后 法 （ 反 向 剔 除 法 ） backward n先将所有自变量均纳入回归模型中，再逐一将贡献最小的移出，直到所有自变量均达到标准为止。删 除 (移 出 )法 remove 3应该注意的问

4、题 优 先 使 用 强 迫 进 入 或 逐 步 回 归 法 要 根 据 相 关 理 论 选 择 所 需 要 的 变 量 要 注 意 “ 共 线 性 ” 问 题 （ 诊 断 ）判别标准： 容 忍 度 （ 1 R2） R2为 此 自 变 量 与 其 他 自 变 量 间 的 多 元 相 关 系数 的 平 方 ， 若 变 量 间 相 关 明 显 则 R2较 大 ， 则 1 R2越 小 ， 共 线 性越 明 显 。 方 差 膨 胀 因 素 （ VIF） 1 （ 1 R 2 ） 即 容 忍 度 的 倒 数 其 值 越 大 ， 容 忍 度 （ 1 R2 ） 越 小 ， R2越 大 ， 共 线 性 越 明 显

5、 。 条 件 指 针 （ CI） CI值 愈 大 ， 愈 有 共 线 性 问 题 。为避免共线性问题，进行多元回归前，应对自变量进行相关分析，如果相关系数在0.75以上，就要选择其中比较重要的变量导入回归分析。 4虚拟变量当 自 变 量 不 是 连 续 变 量 时 ， 确 需 要 导 入 时 ， 要 先转 化 为 虚 拟 变 量 ， 其 数 量 为 N 1个 。如 ： 我 们 用 1表 示 完 整 家 庭 ； 2表 示 单 亲 家 庭 ； 3表 示 他 人 照 顾 家 庭 ； 4隔 代 教 养 家 庭 ；转 成 虚 拟 变 量 为 ：ID原始答案虚拟变量var1 var2 var3 var40

6、01 1 1 0 0 0002 2 0 1 0 0003 3 0 0 1 0 004 4 0 0 0 1 5操作程序及选项程序（数据文件：吴Cha-7）Analyze/Regression/Linearn选择因变量（成绩）Dependentn选择自变量（性别及另10个分量表）Independentn选择自变量的进入方法Method（stepwise）n Block-next选择区： 如 果 对 所 选 择 的 自 变 量 有 特 殊 要 求 ， 如 有 些 必 须 包 括即 强 迫 进 入 ， 而 另 一 些 则 要 用 逐 步 回 归 法 ， 可 以 使 用该 区 。1. 即 选 择 需 要

7、 强 制 进 入 的 变 量 ， 使 用 强 迫 进 入 法 ， 按next再 选 择 另 一 些 变 量 使 用 逐 步 回 归 法 。 Statistics选项2个默认选项：回归系数估计值模型适合度检验常选用： R squared change （ R的平 方 的 改 变 量 ） Collinearity diagnostics（ 共线 性 诊 断 ）输 出 回 归 系 数 B及 其 标准 误 、 t值 和 P值 ， 还 有标 准 化 的 回 归 系 数 Beta；输 出 回 归 系 数 B的95 置 信 区 间输 出 各 个 自 变 量 的 相 关矩 阵 和 方 差 、 协 方 差 矩阵

8、 模 型 拟 合 过 程 中 进 入 、 退 出的 变 量 列 表 ， 以 及 一 些 有 关拟 合 优 度 的 检 验 ：复 相 关 系 数 R、决 定 系 数 R 2和 调 整 的 R2，标 准 误 及 方 差 分 析 表 。 显 示 模 型 拟 合 过 程 中 R2、 F值 和 P值 的 改 变 情 况提 供 一 些 变 量 描 述 ， 如有 效 例 数 ， 均 值 、 标 准差 等 。显 示 自 变 量 间 的 相 关 、部 分 相 关 和 偏 相 关 系 数给 出 一 些 用 于 共 线 性 诊断 的 统 计 量 。 特 征 根(Eigenvalues)、 方 差 膨胀 因 素 (V

9、IF)等 。用 于 选 择 输 出 残 差 诊 断信 息 ， 有 两 个 可 选 项 。如 果 残 差 间 相 互 独 立 ，则 Durbin-Watson的 取值 在 2附 近 。 作图对话框用 于 选 择 需 要 绘 制 的 回归 分 析 诊 断 或 预 测 图 ，左 侧 为 可 用 的 中 间 变 量列 表 。对 每 一 个 自 变 量 绘 出 它 与 应变 量 残 差 的 散 点 图 ， 用 于 回归 诊 断 。 绘 制 标 准 化 残 差 图 ， 可代 选 择 的 有 直 方 图 和 正态 P P图 。 Save 对话框预 测 值 ： 原 始 预 测 值 标 准 化 后 的 预 测

10、值 去 掉 当 前 记 录 时 ， 当前 模 型 对 该 记 录 应 变量 的 预 测 值1. 预 测 值 的 标 准 差 。给 出 一 系 列 用 于 测 量 数据 点 离 拟 合 模 型 距 离 的指 标 。存 储 各 种 残 差 原 始 残 差 标 准 化 后 的 残 差 学 生 化 残 差 去 掉 当 前 记 录 时 ，当 前 模 型 对 该 应 变量 的 预 测 值 对 应 变量 观 测 值 的 原 始 残差 。1. 上 一 个 预 测 值 进 行t变 换 后 的 结 果 。提 供 用 于 判 断 强 影 响 点 的 统计 量 去 除 该 观 察 值 后 回 归 系 数的 变 化 值

11、 当 它 大 于 2 Sqrt(N)时 ，该 点 可 能 为 强 影 响 点 表 示 去 除 该 观 测 值 后 预 测值 的 变 化 值 当 它 大 于 2 Sqrt(N)时 ，该 点 可 能 为 强 影 响 点1. 去 除 该 观 察 值 后 协 方 差 阵与 含 全 部 观 察 值 的 协 方 差阵 的 比 率 。 若 绝 对 值 大 于 3*P/N时 ， 观 察 值 可 能 为强 影 响 点 给 出 均 数 的 可 信 区 间 或个 体 参 考 值 范 围 的 上 下界 限 。 建立回归方程时“元”的选择在多元线性回归分析中，有时候自变量的数目是一个令人头痛的问题，自变量的个数的增加或

12、多或少总能减少残差，提高模型的拟合精度，但势必导致模型的复杂性。如果将它们删除又有些舍不得，说不定系数还有统计学意义。那么，有没有什么徇标准可用呢？答案是肯定的。在建立回归方程时，要遵循一个原则，即“少而精”。具体地说：既要尽可能地提高拟合的精度，又要尽可能地使模型简单。为了保证这一原则，常用的量化指标有：1复相关系数R与校正复相关系数R ad2剩余标准差Syx1x2 Xn 1复相关系数R与校正复相关系数Rad复相关系数R的含义有点类似于相关系数r，只不过用于反映所有自变量和应变量关系的密切程度。其值在01之间，越大越好。它的平方也称决定系数，用R2表示。反映回归的SS占总SS的比重。实际上，

13、R反映的是y与y的估计值的相关关系。但是，直接使用复相关系数有一个缺点：当方程中变量增加时，复相关系数总是增加的，即使增加的变量无统计学意义也是如此。当根据R2的大小判断方程的优劣时，结论总是变量最多的方程最好，显然存在缺陷。为此人们又提出了校正复相关系数，它也反映模型的拟合优度，但同时考虑了方程中自变量的个数。校正复相关系数是衡量方程优劣的常用指标之一。 2剩余标准差Syx1x2 Xn剩余标准差，即残差的标准差，用于反映回归方程的估计精度，它的平方是残差的方差，又称为均方误差（MSE），其值越小越好。一般它随回归方程中自变量的增加而减少，但当增加一些无统计意义的自变量后，剩余标准差反而会增大

14、。这一性质与校正复相关系数相似。因此，剩余标准差也是衡量方程好坏的重要指标之一。 对强影响点的处理对策如果确认存在强影响点，首先应当做的工作是检查原始记录，看看是不是数据录入错误。如果确认数据无误，则分析中可能采取的策略有：去 除 ： 如 果 只 有 一 两 个 强 影 响 点 ， 可 以 考 虑 将 其 不 纳 入分 析 ， 以 确 保 分 析 结 果 能 够 代 表 大 多 数 数 据 的 特 征 。 毕竞 统 计 分 析 是 一 个 少 数 服 从 多 数 的 民 主 过 程 ， 可 以 在 分析 报 告 后 对 这 几 个 强 影 响 点 进 行 单 独 描 述 ， 以 全 面 概 括

15、样 本 信 息 。变 量 变 换 ： 采 用 适 当 的 变 量 变 换 方 法 可 能 会 消 除 强 影 响点 的 存 在 ， 如 倒 数 变 换 、 对 数 变 换 等 。 这 些 方 法 的 实 质就 是 弱 化 极 端 值 的 离 群 趋 势 ， 把 这 些 异 已 分 子 拉 回 到 集体 中 来 。非 参 数 分 析 ： 可 以 考 虑 对 存 在 强 影 响 点 的 变 量 求 秩 次 ，然 后 采 用 秩 次 代 替 原 变 量 进 行 回 归 分 析 ， 这 是 秩 分 析 思想 的 一 种 应 用 ， 在 样 本 量 较 大 时 非 常 有 效 。 详 情 看 非 参 数

16、 分 析 一 章 。 对强影响点的处理对策最 小 一 乘 法 ： 顾 名 思 义 ， 最 小 一 乘 法 就 是 保 证各 实 测 点 至 直 线 纵 向 距 离 绝 对 值 之 和 为 最 小 ，显 然 比 最 小 二 乘 法 对 强 影 响 点 有 更 强 的 耐 受 力 。该 方 法 在 SPSS中 采 用 Nonlinear过 程 实 现 。采 用 加 权 最 小 二 乘 法 ： 利 用 Weight Estimation过 程 对 强 影 响 点 赋 予 较 小 的 权 重 ， 从 而 削 弱 对回 归 方 程 的 影 响 。 这 实 际 上 是 稳 健 回 归（ Robust Re

17、gression） 思 想 的 一 种 应 用 。 由 于加 权 最 小 最 小 二 乘 法 中 需 要 找 到 能 够 准 确 预 测变 异 程 度 的 指 标 ， 此 处 可 以 先 进 行 普 通 的 回 归分 析 ， 将 残 差 存 为 新 变 量 ， 然 后 将 它 指 定 为 分析 中 的 加 权 变 量 ， 这 样 就 可 能 较 准 确 的 预 测 残差 ， 从 而 得 到 较 满 意 的 方 程 。 多重共线性的确认除了依据以上现象来判断是否可能存在多重共线性外，在SPSS中还可以使用如下指标来辅助判断：做 出 自 变 量 间 或 系 数 间 的 相 关 系 数 阵 ， 观

18、察 是 否 有 某 些自 变 量 的 相 关 系 数 非 常 高 。 一 般 来 说 ， 相 关 系 数 超 过0.9的 变 量 在 分 析 时 将 会 存 在 共 线 性 的 问 题 ， 在 0.8以 上时 可 能 会 有 问 题 。 但 这 种 方 法 只 能 对 共 线 性 作 初 步 的 判断 ， 并 不 全 面 。容 忍 度 （ Tolerance） ： 由 Nonusis等 提 出 ， 容 忍 度 即 以每 个 自 变 量 作 为 应 变 量 对 其 他 自 变 量 进 行 回 归 分 析 时 得到 的 残 差 比 例 ， 大 小 用 1 R2来 表 示 。 该 指 标 越 小 ，

19、 则说 明 该 自 变 量 被 其 余 自 变 量 预 测 的 越 精 确 ， 共 线 性 可 能就 越 严 重 。 陈 希 孺 等 根 据 经 验 得 出 ： 如 果 某 个 自 变 量 的 容 忍 度 小 于 0.1则 可 能 共 线 性 问 题 严 重 。 多重共线性的确认方 差 膨 胀 因 子 （ Variance inflation factor,VIF） ： 由 Marquardt于 1960年 提 出 ， 实 际 上 就是 容 忍 度 的 倒 数 ， VIF越 大 ， 说 明 共 线 性 问 题 可能 越 严 重 。特 征 根 （ Eigenvalue） ： 该 方 法 实 际

20、上 就 是 对 自变 量 进 行 主 成 分 分 析 ， 如 果 相 当 多 维 度 的 特 征根 等 于 0， 则 可 能 有 比 较 严 重 的 共 线 性 。条 件 指 数 （ Condition Index） ： 由 Stewart等 提出 ， 当 某 些 维 度 的 该 指 标 数 值 大 于 30时 ， 则 可能 存 在 共 线 性 。 多重共线性问题的对策如果确定自变量间存在多重共线性，直接使用多元回归是肯定不行的，此时可以采用的解决办法有：增 大 样 本 量 ， 这 有 时 候 可 能 部 分 解 决 共 线 性 问 题 。采 用 多 种 自 变 量 筛 选 方 法 相 结 合

21、 的 方 式 ， 建 立 一 个 最 优的 逐 步 回 归 方 程 。从 专 业 的 角 度 加 以 ， 人 为 去 除 在 专 业 上 比 较 次 要 的 ， 或者 缺 失 值 较 多 、 测 量 误 差 较 大 的 共 线 性 因 子 。进 行 主 成 分 分 析 ， 用 提 取 出 的 因 子 代 替 原 变 量 进 行 回 归分 析 。进 行 岭 回 归 分 析 ， 它 可 以 有 效 地 解 决 多 重 共 线 性 问 题 。进 行 通 径 分 析 （ Path Analysis） ， 它 可 以 对 应 自 变 量间 复 杂 的 加 以 精 细 刻 画 。 SPSS可 以 进 行

22、比 较 基 本 的 通 径分 析 ， 但 复 杂 的 模 型 需 要 使 用 SPSS公 司 的 另 一 个 专 用 软件 AMOS来 进 行 。 6结果输出及解释FtB（未标准化系数）Beta（标准化系数）RVIF（方差膨胀因素）回归方程的建立：y=c+Beta 1X1+Beta2X2+ 强影响点的诊断方法有：做 出 散 点 图 ， 观 察 有 无 离 群 值 ， 它 们 往 往 就 是 强 影 响 点 。需 要 注 意 的 是 有 些 观 察 值 在 各 个 变 量 单 独 描 述 时 处 在 正常 范 围 内 ， 但 几 个 变 量 联 合 描 述 则 为 异 常 ， 例 如 ， 年 龄

23、10岁 和 体 重 70公 斤 单 独 存 在 时 都 不 奇 怪 ， 但 如 果 同 一 个人 年 龄 10岁 并 且 体 重 70公 斤 显 然 就 不 正 常 了 。使 用 Statistic子 对 话 框 中 的 残 差 诊 断 指 标 ， 如 果 残 差 非常 大 ， 则 相 应 数 据 离 回 归 直 线 较 远 ， 可 能 为 强 影 响 点 。使 用 Save子 对 话 框 中 的 距 离 指 标 和 专 门 的 影 响 力 统 计 量 。相 应 的 指 标 和 标 准 参 见 Linear过 程 的 界 面 说 明 。采 用 稳 健 回 归 方 法 。 对 线 性 回 归 模

24、 型 进 行 诊 断 时 ， 如 果存 在 多 个 异 常 点 ， 使 用 以 上 方 法 容 易 发 生 掩 盖 现 象 ， 即未 能 识 别 真 正 的 异 常 点 。 此 时 ， 我 们 应 该 考 虑 采 用 基 于稳 健 估 计 的 诊 断 方 法 。 稳 健 回 归 方 法 本 身 是 为 了 减 少 异常 值 对 估 计 值 的 干 扰 ， 属 于 诊 断 后 的 治 疗 措 施 。 但 同 时 它 也 可 以 作 为 识 别 异 常 点 的 工 具 。 选取变量的顺序，最右边为进入与移除的标准，进入的标准是F的概率值要小于或等于0.05，而移除的标准是F的概率值大于或等于0.1

25、0 Model Summary .344a .119 .116 9.952 .119 40.120 1 298 .000 .412b .170 .164 9.676 .051 18.252 1 297 .000 .459c .211 .203 9.448 .041 15.523 1 296 .000 .476d .226 .216 9.372 .015 5.784 1 295 .017 .489e .239 .226 9.312 .012 4.814 1 294 .029 .509f .259 .244 9.204 .020 7.956 1 293 .005 .521g .271 .254 9

26、.142 .012 5.004 1 292 .026 .530h .281 .261 9.095 .010 4.005 1 291 .046 Model 1 2 3 4 5 6 7 8 R多 元 相 关 系 数 R Square 解 释 量 Adjusted R Square 调 整 后 的 R2 Std. Error of the Estimate 估 计 标 准 误 R Square Change R2改 变 量 F Change F改 变 量 df1 df2 Sig. F Change显 著 性 检 验 Change Statistics Predictors: (Constant),

27、工 作 投 入a. Predictors: (Constant), 工 作 投 入 , 成 功 态 度b. Predictors: (Constant), 工 作 投 入 , 成 功 态 度 , 自 我 投 入c. Predictors: (Constant), 工 作 投 入 , 成 功 态 度 , 自 我 投 入 , 学 生 性 别d. Predictors: (Constant), 工 作 投 入 , 成 功 态 度 , 自 我 投 入 , 学 生 性 别 , 压 力 惧 怕e. Predictors: (Constant), 工 作 投 入 , 成 功 态 度 , 自 我 投 入 ,

28、学 生 性 别 , 压 力 惧 怕 , 课 堂 焦 虑f. Predictors: (Constant), 工 作 投 入 , 成 功 态 度 , 自 我 投 入 , 学 生 性 别 , 压 力 惧 怕 , 课 堂 焦 虑 , 自 信 心g. Predictors: (Constant), 工 作 投 入 , 成 功 态 度 , 自 我 投 入 , 学 生 性 别 , 压 力 惧 怕 , 课 堂 焦 虑 , 自 信 心 , 有 用 性 h. 综合以上相关数据，逐步多元回归分析摘要表整理如下：11个观测变量预测效标变量（学生数学成绩）时，进入回归方程式的变量共有8个，多元相关系数为0.530，其

29、联合解释变异量为0.281，亦即表中8个变量能联合预测数学成绩28.1的变异量。 就个别变量的解释量来看，以“工作投入”层面的预测力最佳，其解释量为11.9，其余依次为“成功态度”、“自我投入”层面，其解释量分别为5.1和4.1，这三个变量的联合预测力达21.1。标准化回归方程式为：数学成绩0.174工作投入0.201成功态度0.174自我投入 0.146学生性别0.212压力惧怕0.286课堂焦虑 0.171学习信心0.121有用性. 二路径分析Analyze/Regression/Linear 研究问题 多 重 线 性 回 归 只 是 基 于 一 个 方 程 建 立 模 型 ， 反 映 的

30、 是因 变 量 和 自 变 量 的 直 接 作 用 ， 而 不 能 反 映 因 素 间 的 间 接关 系 。显 然 ， 采 用 一 个 简 单 的 多 元 回 归 方 程 是 完 全 无 法 正 确反 映 这 种 错 综 复 杂 的 关 系 的 。年 龄 住 院 天 数 入 院 时 情 况 住 院 费 用 1920年，遗传学家Wright提出用路径分析解决上述问题，其基本思想是从假设变量间的直线关系出发，通过估计变量间的相关系数和它们的函数，来评价这些变量的作用及相互间的关系。此后，经济、社会及心理领域的递推模型、结构方程模型等都是基于这一思想建立起来的。 路径分析的模型框架 实际上，路径分析

31、就是多重线性回归模型的扩展，它的主要特征是根据专业知识，假设出模型中各变量的具体联系方式，这种联系一般会被绘制为一张路径分析图。随后按照相应的因变量数分别拟合各自的多重线性回归方程。也就是说，路径分析是由一组线性方程构成，它所描述的变量间的相互关系不仅包括直接的，还包括间接的和全部的关联。如本例中：住院费用=常数+住院天数+年龄+入院情况； 住院天数=常数+年龄+入院时情况； 基本概念递归模型和非递归模型（1）A B ； (2) A B ；（3）A B ；AB之间存在双向的影响关系，即直 接反馈作用。（4）AB之间的具体影响方式不明确，但是存在相 关。如果模型中只存在前面两种联系方式，则整个路

32、径分析模型全部为单向链条关系，不会出现循环嵌套的路径，从而可以被写成若干个标准的多重回归方程所构成的方程组。这种模型被称为递归模型。反之，如果模型中存在后两种关系，则 被称为非递归模型。 上面关于学习成绩的例子是一个典型的递归模型，所有变量间的联系不存在循环、自反馈、双向联系的复杂情况。非递归模型的求解方法比递归模型复杂得多。标准化与非标准化路径系数在前面给出的路径方程都包含常数项，也就是使用原始变量的普通回归方程，此时进行路径分析得到的是非标准化路径系数。若路径分析过程中使用标准化变量进行建模，此时所有的方程均无常数项，解出的系数均为标准化路径系数。在统计文献中，对于究竟采用何种最优尚无定论

33、。实际工作中，研究者往往会分别报告这两种情况，以使得问题的研究更为彻底。 基本步骤1、根据相关理论与文献资料，建立一个可以检验的初始模型，并绘出一个没有路径系数的路径图（如上图）。 路 径 图 中 的 因 果 关 系n用箭头表示n箭头指向的是“果”（响应变量、结果变量、因变量）n箭头起始处是“因”（预测变量、自变量）。 基本步骤2、选择适当的回归模型（通常选择Enter），以估计路径系数并检验其是否显著，进而估计残差系数。作为自变量无法解释因变量方差的部分。路径系数即标准化回归系数残差系数（1R Square）1/2t值用以判断B值的影响是否显著，以回归系数的显著性检验。 基本步骤3、评估理论

34、模型，可再删除不显著的路径系数，按新理论模式重新计算路径系数。重复上述操作，直到满意为止。理 论 上 可 行实 际 中 有 意 义数 据 结 构 合 理 例现 收 集 了 某 种 疾 病 病 人 的 住 院 数 据 ， 包 括 如 下变 量 ： 年 龄 、 入 院 情 况 、 住 院 天 数 和 住 院 总 费用 。 数 据 见 path.sav 操作程序及选项程序（数据文件：吴Cha-7）Analyze/Regression/Linearn选择因变量进入Dependentn选择自变量进入Independentn选择自变量的进入方法Methodn点击Statistics弹出一对话框：除2个默认选项（回归系数估计值模型适合度检验）外；常选用： R squared change （ R的 平 方 的 改 变 量 ）1. Collinearity diagnostics（ 共 线 性 诊 断 ） 结束