《spss线性回归》PPT课件.ppt

《《spss线性回归》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《spss线性回归》PPT课件.ppt（21页珍藏版）》请在装配图网上搜索。

1、第 10章 回 归 分 析介 绍 ： 1、 回 归 分 析 的 概 念 和 模 型 2、 回 归 分 析 的 过 程 回 归 分 析 的 概 念寻 求 有 关 联 （ 相 关 ） 的 变 量 之 间 的 关 系主 要 内 容 ：n 从 一 组 样 本 数 据 出 发 ， 确 定 这 些 变 量 间 的 定量 关 系 式n 对 这 些 关 系 式 的 可 信 度 进 行 各 种 统 计 检 验n 从 影 响 某 一 变 量 的 诸 多 变 量 中 ， 判 断 哪 些 变量 的 影 响 显 著 ， 哪 些 不 显 著 n 利 用 求 得 的 关 系 式 进 行 预 测 和 控 制 回 归 分 析

2、的 模 型按 是 否 线 性 分 ： 线 性 回 归 模 型 和 非 线 性 回 归 模 型按 自 变 量 个 数 分 ： 简 单 的 一 元 回 归 ， 多 元 回 归基 本 的 步 骤 ： 利 用 SPSS得 到 模 型 关 系 式 ， 是 否是 我 们 所 要 的 ， 要 看 回 归 方 程 的 显 著 性 检 验 （ F检 验 ） 和 回 归 系 数 b的 显 著 性 检 验 (T检 验 )， 还 要看 拟 合 程 度 R2 (相 关 系 数 的 平 方 ,一 元 回 归 用 R Square， 多 元 回 归 用 Adjusted R Square) 回 归 分 析 的 过 程在 回

3、 归 过 程 中 包 括 ：n Liner： 线 性 回 归n Curve Estimation： 曲 线 估 计n Binary Logistic： 二 分 变 量 逻 辑 回 归n Multinomial Logistic： 多 分 变 量 逻 辑 回 归n Ordinal 序 回 归 n Probit： 概 率 单 位 回 归n Nonlinear： 非 线 性 回 归n Weight Estimation： 加 权 估 计n 2-Stage Least squares： 二 段 最 小 平 方 法n Optimal Scaling 最 优 编 码 回 归我 们 只 讲 前 面 3个 简

4、 单 的 （ 一 般 教 科 书 的 讲 法 ） 10.1 线 性 回 归 (Liner)一 元 线 性 回 归 方 程 : y=a+bxn a称 为 截 距n b为 回 归 直 线 的 斜 率n 用 R2判 定 系 数 判 定 一 个 线 性 回 归 直 线 的 拟 合 程 度 ： 用 来 说 明 用 自 变量 解 释 因 变 量 变 异 的 程 度 （ 所 占 比 例 ）多 元 线 性 回 归 方 程 : y=b0+b1x1+b2x2+bnxn n b0为 常 数 项n b1、 b2、 、 bn称 为 y对 应 于 x1、 x2、 、 xn的 偏 回 归 系 数n 用 Adjusted R

5、2调 整 判 定 系 数 判 定 一 个 多 元 线 性 回 归 方 程 的 拟 合 程 度 ：用 来 说 明 用 自 变 量 解 释 因 变 量 变 异 的 程 度 （ 所 占 比 例 ）一 元 线 性 回 归 模 型 的 确 定 :一 般 先 做 散 点 图 (Graphs -Scatter-Simple),以 便 进 行 简 单 地 观 测 （ 如 ： Salary与 Salbegin的 关 系 )若 散 点 图 的 趋 势 大 概 呈 线 性 关 系 ， 可 以 建 立 线 性 方 程 ， 若 不 呈 线性 分 布 ， 可 建 立 其 它 方 程 模 型 ， 并 比 较 R2 (-1)

6、来 确 定 一 种 最 佳方 程 式 （ 曲 线 估 计 ）多 元 线 性 回 归 一 般 采 用 逐 步 回 归 方 法 -Stepwise 逐 步 回 归 方 法 的 基 本 思 想对 全 部 的 自 变 量 x1,x2,.,xp,按 它 们 对 Y贡 献 的 大 小 进 行比 较 ， 并 通 过 F检 验 法 ， 选 择 偏 回 归 平 方 和 显 著 的 变 量进 入 回 归 方 程 ， 每 一 步 只 引 入 一 个 变 量 ， 同 时 建 立 一个 偏 回 归 方 程 。 当 一 个 变 量 被 引 入 后 ， 对 原 已 引 入 回归 方 程 的 变 量 ， 逐 个 检 验 他

7、们 的 偏 回 归 平 方 和 。 如 果由 于 引 入 新 的 变 量 而 使 得 已 进 入 方 程 的 变 量 变 为 不 显著 时 ， 则 及 时 从 偏 回 归 方 程 中 剔 除 。 在 引 入 了 两 个 自变 量 以 后 ， 便 开 始 考 虑 是 否 有 需 要 剔 除 的 变 量 。 只 有当 回 归 方 程 中 的 所 有 自 变 量 对 Y都 有 显 著 影 响 而 不 需 要剔 除 时 ， 在 考 虑 从 未 选 入 方 程 的 自 变 量 中 ， 挑 选 对 Y有显 著 影 响 的 新 的 变 量 进 入 方 程 。 不 论 引 入 还 是 剔 除 一个 变 量 都

8、 称 为 一 步 。 不 断 重 复 这 一 过 程 ， 直 至 无 法 剔除 已 引 入 的 变 量 ， 也 无 法 再 引 入 新 的 自 变 量 时 ， 逐 步回 归 过 程 结 束 。 10.1.6 线 性 回 归 分 析 实 例 p240实 例 ： P240Data07-03 建 立 一 个 以 初 始 工 资 Salbegin 、 工 作经 验 prevexp 、 工 作 时 间 jobtime 、 工 作 种 类 jobcat 、 受 教 育年 限 edcu等 为 自 变 量 ， 当 前 工 资 Salary为 因 变 量 的 回 归 模 型 。1. 先 做 数 据 散 点 图

9、,观 测 因 变 量 Salary与 自 变 量 Salbegin之 间关 系 是 否 有 线 性 特 点n Graphs -Scatter-Simplen X Axis： Salbeginn Y Axis： Salary 2. 若 散 点 图 的 趋 势 大 概 呈 线 性 关 系 ， 可 以 建 立 线 性 回 归 模 型w Analyze-Regression-Linearw Dependent: Salaryw Independents: Salbegin,prevexp,jobtime,jobcat,edcu等 变 量w Method: Stepwisew 比 较 有 用 的 结 果

10、 ：n 拟 合 程 度 Adjusted R2： 越 接 近 1拟 合 程 度 越 好n 回 归 方 程 的 显 著 性 检 验 Sig n 回 归 系 数 表 Coefficients的 Model最 后 一 个 中 的 回 归 系 数 B和 显 著 性 检 验 Sign 得 模 型 ： Salary=-15038.6+1.37Salbegin+5859.59jobcat- 19.55prevexp+154.698jobtime+539.64edcu 10.2 曲 线 估 计 (Curve Estimation)对 于 一 元 回 归 ，若 散 点 图 的 趋势 不 呈 线 性 分布 ， 可

11、 以 利 用曲 线 估 计 方 便地 进 行 线 性 拟合 (liner)、 二次 拟 合(Quadratic)、三 次 拟 合(Cubic)等 。采 用 哪 种 拟 合方 式 主 要 取 决于 各 种 拟 合 模 型 对 数 据 的 充分 描 述 (看 修正 Adjusted R2 -1) 不 同 模 型 的 表 示模 型 名 称 回 归 方 程 相 应 的 线 性 回 归 方 程Linear(线 性 ) Y=b0+b1tQuadratic(二 次 ) Y=b0+b1t+b2t2Compound(复 合 ) Y=b0(b1t) Ln(Y)=ln(b0)+ln(b1)tGrowth(生 长 )

12、 Y=eb0+b1t Ln(Y)=b0+b1tLogarithmic(对 数 ) Y=b0+b1ln(t)Cubic(三 次 ) Y=b0+b1t+b2t2+b3t3S Y=eb0+b1/t Ln(Y)=b0+b1 / tExponential(指 数 ) Y=b0 * eb1*t Ln(Y)=ln(b0)+b1tInverse(逆 ) Y=b0+b1/tPower(幂 ) Y=b0(tb1 ) Ln(Y)=ln(b0)+b1ln(t)Logistic(逻 辑 ) Y=1/(1/u+b0b1t) Ln(1/Y-1/u)=ln(b0+ln(b1)t) 10.2.3 曲 线 估 计 (Curve

13、Estimation)分 析 实 例实 例 P247 Data11-01 ： 有 关 汽 车 数 据 ， 看 mpg(每 加仑 汽 油 行 驶 里 程 )与 weight(车 重 )的 关 系n 先 做 散 点 图 (Graphs -Scatter-Simple)： weight(X)、mpg(Y)， 看 每 加 仑 汽 油 行 驶 里 程 数 mpg(Y)随 着 汽 车 自 重weight(X)的 增 加 而 减 少 的 关 系 ， 也 发 现 是 曲 线 关 系n 建 立 若 干 曲 线 模 型 （ 可 试 着 选 用 所 有 模 型 Models)w Analyze-Regression

14、- Curve Estimationw Dependent: mpgw Independent: weightw Models: 全 选 (除 了 最 后 一 个 逻 辑 回 归 ) w 选 Plot models： 输 出 模 型 图 形w 比 较 有 用 的 结 果 ： 各 种 模 型 的 Adjusted R2， 并 比 较 哪 个 大 ， 结 果是 指 数 模 型 Compound的 Adjusted R2=0.70678最 好 （ 拟 合 情 况可 见 图 形 窗 口 ） , 结 果 方 程 为 ： mpg=60.15*0.999664weightw 说 明 ： Growth和 Ex

15、ponential的 结 果 也 相 同 ， 也 一 样 。 10.3二 项 逻 辑 回 归 (Binary Logistic)在 现 实 中 ， 经 常 需 要 判 断 一 些 事 情 是 否 将 要 发 生 ， 候 选 人 是 否 会 当 选 ？为 什 么 一 些 人 易 患 冠 心 病 ？ 为 什 么 一 些 人 的 生 意 会 获 得 成 功 ？ 此 问 题的 特 点 是 因 变 量 只 有 两 个 值 ， 不 发 生 (0)和 发 生 (1)。 这 就 要 求 建 立 的模 型 必 须 因 变 量 的 取 值 范 围 在 0 1之 间 。Logistic回 归 模 型 n Logis

16、tic模 型 ： 在 逻 辑 回 归 中 ， 可 以 直 接 预 测 观 测 量 相 对 于 某 一 事 件 的 发 生 概 率 。包 含 一 个 自 变 量 的 回 归 模 型 和 多 个 自 变 量 的 回 归 模 型 公 式 ： 其 中 ： z=B0+B1X1+BpXp(P为 自 变 量 个 数 ） 。 某 一 事 件 不 发 生 的 概 率 为 Prob(no event) 1-Prob(event) 。 因 此 最 主 要 的 是 求 B0,B1,Bp(常 数 和 系 数 )n 数 据 要 求 ： 因 变 量 应 具 有 二 分 特 点 。 自 变 量 可 以 是 分 类 变 量 和

17、 定 距 变 量 。 如 果 自 变量 是 分 类 变 量 应 为 二 分 变 量 或 被 重 新 编 码 为 指 示 变 量 。 指 示 变 量 有 两 种 编 码 方 式 。 n 回 归 系 数 ： 几 率 和 概 率 的 区 别 。 几 率 =发 生 的 概 率 /不 发 生 的 概 率 。 如 从 52张 桥 牌中 抽 出 一 张 A的 几 率 为 (4/52)/(48/52)=1/12， 而 其 概 率 值 为 4/52=1/13 根 据 回 归 系 数 表 ， 可 以 写 出 回 归 模 型 公 式 中 的 z。 然 后 根 据 回 归 模 型 公 式Prob(event) 进 行

18、 预 测 。 zeeventprob 1 1)( 10.3.3二 项 逻 辑 回 归 (Binary Logistic)实 例实 例 P255 Data11-02 ： 乳 腺 癌 患 者 的 数 据 进 行 分 析 ，变 量 为 ： 年 龄 age,患 病 时 间 time,肿 瘤 扩 散 等 级pathscat（ 3种 ） , 肿 瘤 大 小 pathsize, 肿 瘤 史 histgrad（ 3种 ） 和 癌 变 部 位 的 淋 巴 结 是 否 含 有 癌 细 胞 ln_yesno，建 立 一 个 模 型 ， 对 癌 变 部 位 的 淋 巴 结 是 否 含 有 癌 细 胞ln_yesno的

19、 情 况 进 行 预 测 。 n Analyze-Regression- Binary Logisticn Dependent: ln_yesnon Covariates: age, time,pathscat,pathsize, histgradn 比 较 有 用 的 结 果 ： 在 Variables in Equation表 中 的 各 变 量 的 系 数 （ B） ， 可 以 写出 z=-0.86-0.331pathscat+0.415pathsize 0.023age+0.311histgrad。 根 据 回 归 模 型 公 式 Prob(event)=1/(1+e-z)， 就 可

20、以 计 算 一 名 年 龄 为 60岁 、pathsize为 1、 histgrad为 1、 pathscat为 1的 患 者 ， 其 淋 巴 结 中 发 现 癌 细 胞 的概 率 为 1/(1+e-(-1.845)=0.136(Prob(event) 0.5 预 测 事 件 将 会 发 生 ） 补 充 ： 回 归 分 析以 下 的 讲 义 是 吴 喜 之 教 授 有关 回 归 分 析 的 讲 义 ， 很 简 单 ，但 很 实 用 定 量 变 量 的 线 性 回 归 分 析 对 例 1(highschoo.sav)的 两 个 变 量 的 数 据 进 行 线 性 回 归 ，就 是 要 找 到 一

21、 条 直 线 来 最 好 地 代 表 散 点 图 中 的 那 些 点 。 40 50 60 70 80 90 100 40 50 60 70 80 90 100 J3 S1 0 1y x 26.44 0.65y x 检 验 问 题 等对 于 系 数 1=0的 检 验对 于 拟 合 的 F检 验R2(决 定 系 数 )及 修 正 的R2. 多 个 自 变 量 的 回 归0 1 1 2 2 k ky x x x 如 何 解 释 拟 合 直 线 ?什 么 是 逐 步 回 归 方 法 ? 自 变 量 中 有 定 性 变 量 的 回 归 例 1(highschoo.sav)的 数 据 中 ,还 有 一

22、个 自 变量 是 定 性 变 量 “ 收 入 ” ,以 虚 拟 变 量 或 哑 元(dummy variable)的 方 式 出 现 ;这 里 收 入 的“ 低 ” ,“中 ” ,“高 ” ， 用 1,2,3来 代 表 .所 以 ,如 果 要 用 这 种 哑 元 进 行 前 面 回 归 就 没 有 道理 了 . 以 例 1数 据 为 例 ,可 以 用 下 面 的 模 型 来 描 述 : 0 1 10 1 20 1 3 , 1, 2, 3y xxx 代 表 家 庭 收 入 的 哑 元 时 ， 代 表 家 庭 收 入 的 哑 元 时 ， 代 表 家 庭 收 入 的 哑 元 时 。 自 变 量 中

23、有 定 性 变 量 的 回 归 现 在 只 要 估 计 0, 1,和 1, 2, 3即 可 。哑 元 的 各 个 参 数 1, 2, 3本 身 只 有 相 对 意 义 ， 无 法 三 个都 估 计 ， 只 能 够 在 有 约 束 条 件 下 才 能 够 得 到 估 计 。约 束 条 件 可 以 有 很 多 选 择 ， 一 种 默 认 的 条 件 是 把 一 个 参数 设 为 0， 比 如 3=0， 这 样 和 它 有 相 对 意 义 的 1和 2就可 以 估 计 出 来 了 。对 于 例 1， 对 0, 1, 1, 2, 3的 估 计 分 别 为 28.708, 0.688, -11.066,

24、 -4.679, 0。 这 时 的 拟 合 直 线 有 三 条 ， 对三 种 家 庭 收 入 各 有 一 条 : 28.708 0.688 11.066,28.708 0.688 4 679,28.708 0.688 ,y xy xy x （ 低 收 入 家 庭 ） ，. （ 中 等 收 入 家 庭 ） ，（ 高 收 入 家 庭 ） 。 SPSS实 现 (hischool.sav)Analize General linear model Univariate，在 Options中 选 择 Parameter Estimates，再 在 主 对 话 框 中 把 因 变 量 （ s1） 选 入 D

25、ependent Variable， 把 定 量 自 变 量 (j3)选 入 Covariate， 把定 量 因 变 量 （ income） 选 入 Factor中 。然 后 再 点 击 Model， 在 Specify Model中 选 Custom，再 把 两 个 有 关 的 自 变 量 选 入 右 边 ， 再 在 下 面Building Term中 选 Main effect。Continue-OK， 就 得 到 结 果 了 。 输 出 的 结 果 有 回归 系 数 和 一 些 检 验 结 果 。 注 意 这 里 进 行 的 线 性 回 归 ， 仅 仅 是 回 归 的一 种 ， 也 是

26、历 史 最 悠 久 的 一 种 。但 是 ， 任 何 模 型 都 是 某 种 近 似 ；线 性 回 归 当 然 也 不 另 外 。它 被 长 期 广 泛 深 入 地 研 究 主 要 是 因 为数 学 上 相 对 简 单 。它 已 经 成 为 其 他 回 归 的 一 个 基 础 。总 应 该 用 批 判 的 眼 光 看 这 些 模 型 。 SPSS的 回 归 分 析自 变 量 和 因 变 量 都 是 定 量 变 量 时的 线 性 回 归 分 析 ：n 菜 单 ： Analize RegressionLinearn 把 有 关 的 自 变 量 选 入 Independent，把 因 变 量 选 入

27、 Dependent， 然 后 OK即 可 。 如 果 自 变 量 有 多 个 （ 多 元 回归 模 型 ， 选 Method: Stepwise ） ， 只 要都 选 入 就 行 。 SPSS的 回 归 分 析自 变 量 中 有 定 性 变 量 （ 哑 元 ） 和 定 量 变 量 而 因 变量 为 定 量 变 量 时 的 线 性 回 归 分 析 (hischool.sav) n 菜 单 ： Analize General linear model Univariate，n 在 Options中 选 择 Parameter Estimates，n 再 在 主 对 话 框 中 把 因 变 量 （ s1） 选 入 Dependent Variable， 把 定 量 自 变 量 (j3)选 入 Covariate， 把 定 性 因变 量 （ income） 选 入 Factor中 。 n 点 击 Model， 在 Specify Model中 选 Custom， 再 把 两 个有 关 的 自 变 量 选 入 右 边 ， 再 在 下 面 Building Term中 选Main effect。 然 后 就 Continue-OK。