主成分分析和因子分析

《主成分分析和因子分析》由会员分享，可在线阅读，更多相关《主成分分析和因子分析（21页珍藏版）》请在装配图网上搜索。

1、STATA 从入门到精通第 13章 主 成 分 分 析 和 因 子 分 析 Page 2 STATA从入门到精通 13.1 主 成 分 分 析n 13.1.1 主 成 分 分 析 的 基 本 原 理n 13.1.2 主 成 分 分 析 的 数 学 模 型n 13.1.3 主 成 分 分 析 的 步 骤n 13.1.4 主 成 分 分 析 的 Stata命 令 Page 3 STATA从入门到精通 n 主 成 分 的 概 念 由 Karl Pearson在 1901年 提 出n 考 察 多 个 变 量 间 相 关 性 一 种 多 元 统 计 方 法n 研 究 如 何 通 过 少 数 几 个 主

2、成 分 (principal component)来解 释 多 个 变 量 间 的 内 部 结 构 。 即 从 原 始 变 量 中 导 出 少 数几 个 主 分 量 ， 使 它 们 尽 可 能 多 地 保 留 原 始 变 量 的 信 息 ，且 彼 此 间 互 不 相 关n 主 成 分 分 析 的 目 的 ： 数 据 的 压 缩 ； 数 据 的 解 释l 常 被 用 来 寻 找 判 断 事 物 或 现 象 的 综 合 指 标 ， 并 对 综合 指 标 所 包 含 的 信 息 进 行 适 当 的 解 释什 么 是 主 成 分 分 析 ？(principal component analysis)

3、Page 4 STATA从入门到精通 n 对 这 两 个 相 关 变 量 所 携 带 的 信 息 (在 统 计 上 信 息 往 往 是 指数 据 的 变 异 )进 行 浓 缩 处 理n 假 定 只 有 两 个 变 量 x1和 x2， 从 散 点 图 可 见 两 个 变 量 存 在 相关 关 系 ， 这 意 味 着 两 个 变 量 提 供 的 信 息 有 重 叠主 成 分 分 析 的 基 本 思 想 (以 两 个 变 量 为 例 )n 如 果 把 两 个 变 量 用 一个 变 量 来 表 示 ， 同 时这 一 个 新 的 变 量 又 尽可 能 包 含 原 来 的 两 个变 量 的 信 息 ， 这

4、 就 是降 维 的 过 程 Page 5 STATA从入门到精通 n 数 学 上 的 处 理 是 将 原 始 的 p个 变 量 作 线 性 组 合 ， 作 为 新 的变 量n 设 p个 原 始 变 量 为 ， 新 的 变 量 (即 主 成 分 )为 ， 主 成 分 和 原 始 变 量 之 间 的 关 系 表 示 为主 成 分 分 析 的 数 学 模 型 pppppp pp pp xaxaxay xaxaxay xaxaxay 2211 22221212 12121111主成分分析的数学模型aij为第i个主成分yi和原来的第j个变量xj之间的线性相关系数，称为载荷(loading)。比如，a11

5、表示第1主成分和原来的第1个变量之间的相关系数，a21表示第2主成分和原来的第1个变量之间的相关系数 Page 6 STATA从入门到精通 n 对 原 来 的 p个 指 标 进 行 标 准 化 ， 以 消 除 变 量 在 水 平 和 量 纲上 的 影 响n 根 据 标 准 化 后 的 数 据 矩 阵 求 出 相 关 系 数 矩 阵n 求 出 协 方 差 矩 阵 的 特 征 根 和 特 征 向 量n 确 定 主 成 分 ， 并 对 各 主 成 分 所 包 含 的 信 息 给 予 适 当 的 解释 主 成 分 分 析 的 步 骤 Page 7 STATA从入门到精通 Stata命 令n pca、p

6、camatn estatn screeplotn scoreplot、loadingplotn rotaten predict Page 8 STATA从入门到精通 【 例 】 根 据 2008年 一 季 度 沪 深 两 市 农 业 板 上 市 公 司 的 9项 主 要 指 标 数 据 ，进 行 主 成 分 分 析 ， 找 出 主 成 分 并 进 行 适 当 的 解 释主 成 分 分 析 (实 例 分 析 )基本情况公司成长性指标公司盈利能力性指标公司股本扩张能力指标公司名称ROA主营收入增长率净利润增长率主营业务利润率ROE EPS每股净资产每股公积金总资产增长率禾嘉股份0.063 0.23

7、2 0.822 0.258 0.009 0.01 1.11 0.05 0亚盛集团-0.008 0.161 0.709 0.143 0.006 0.006 1.144 0.006 0.047冠农股份0.438 0.755 0.284 0.107 0.003 0.004 1.621 0.421 0.096 St中农-0.02 -0.421 0.983 0.209 0 0 1.565 0.757 -0.206敦煌种业0.112 -0.158 7.144 0.367 0.025 0.077 3.096 1.988 -0.057新农开发0.277 0.041 -2.376 0.251 -0.005 -0

8、.016 3.46 1.86 0.392香梨股份0.107 -0.054 2.101 -0.148 0.012 0.03 2.51 1.516 -0.234新赛股份0.82 0.194 0.058 0.113 0.02 0.101 3.83 2.285 0.392 Page 9 STATA从入门到精通 Stata的 输 出 结 果estat smc 变 量 之 间 的 存 在 较 强 的 相 关 关 系 ， 适 合 作 主 成 分 分 析 Page 10 STATA从入门到精通 Stata的 输 出 结 果(选 择 主 成 分 )该 表 是 选 则 主 成 分 的 主 要 依 据 Page 1

9、1 STATA从入门到精通 n “ Initial Eigenvalues” (初 始 特 征 根 ) l 实 际 上 就 是 本 例 中 的 9个 主 轴 的 长 度l 特 征 根 反 映 了 主 成 分 对 原 始 变 量 的 影 响 程 度 ， 表 示引 入 该 主 成 分 后 可 以 解 释 原 始 变 量 的 信 息l 特 征 根 又 叫 方 差 ， 某 个 特 征 根 占 总 特 征 根 的 比 例 称为 主 成 分 方 差 贡 献 率l 设 特 征 根 为 ， 则 第 i个 主 成 分 的 方 差 贡 献 率 为l 比 如 ， 第 一 个 主 成 分 的 特 征 根 为 3.54

10、354， 占 总 特 征根 的 的 比 例 (方 差 贡 献 率 )为 39.37%， 这 表 示 第 一 个主 成 分 解 释 了 原 始 9个 变 量 39.37%的 信 息 ， 可 见 第 一个 主 成 分 对 原 来 的 9个 变 量 解 释 的 还 不 是 很 充 分根 据 什 么 选 择 主 成 分 ？ Page 12 STATA从入门到精通 n 根 据 主 成 分 贡 献 率l 一 般 来 说 ， 主 成 分 的 累 计 方 差 贡 献 率 达 到 80%以 上 的前 几 个 主 成 分 ， 都 可 以 选 作 最 后 的 主 成 分l 比 如 表 中 前 3个 主 成 分 的

11、累 计 方 差 贡 献 率 为 78.13%n 根 据 特 特 征 根 的 大 小l 一 般 情 况 下 ， 当 特 征 根 小 于 1时 ， 就 不 再 选 作 主 成 分了 ， 因 为 该 主 成 分 的 解 释 力 度 还 不 如 直 接 用 原 始 变量 解 的 释 力 度 大l 比 如 表 中 除 前 3个 外 ， 其 他 主 成 分 的 特 征 根 都 小 于 1。 所 以 只 选 择 了 3个 主 成 分根 据 什 么 选 择 主 成 分 ？ Page 13 STATA从入门到精通 n Stata还 提 供 了 一 个 更 为直 观 的 图 形 工 具 来 帮 助 选择 主 成

12、分 ， 即 碎 石 图(Scree Plot)n 从 碎 石 图 可 以 看 到 9个 主轴 长 度 变 化 的 趋 势n 实 践 中 ， 通 常 结 合 具 体 情况 ， 选 择 碎 石 图 中 变 化 趋势 出 现 拐 点 的 前 几 个 主 成分 作 为 原 先 变 量 的 代 表 ，该 例 中 选 择 前 3个 主 成 分即 可 根 据 什 么 选 择 主 成 分 ？ (Scree Plot) Page 14 STATA从入门到精通 怎 样 解 释 主 成 分 ？主成分的因子载荷矩阵 l表1中的每一列表示一个主成分作为原来变量线性组合的系数，也就是主成分分析模型中的系数aijl比如，第

13、一主成分所在列的系数-0.0364表示第1个主成分和原来的第一个变量(ROA)之间的线性相关系数。这个系数越大，说明主成分对该变量的代表性就越大 Page 15 STATA从入门到精通 n 载 荷 图 (Loading Plot)直 观 显 示 主成 分 对 原 始 9变 量 的 解 释 情 况n 图 中 横 轴 表 示 第 一 个 主 成 分 与 原 始变 量 间 的 相 关 系 数 ； 纵 轴 表 示 第 二个 主 成 分 与 原 始 变 量 之 间 的 相 关 系数n 每 一 个 变 量 对 应 的 主 成 分 载 荷 就 对应 坐 标 系 中 的 一 个 点n 第 一 个 主 成 分

14、很 充 分 地 解 释 了 原 始的 后 4个 变 量 (与 每 个 原 始 变 量 都 有较 强 的 正 相 关 关 系 )， 第 二 个 主 成分 则 较 好 地 var2,var3,var5,var6这 2个 变 量 (与 它 们 的 相 关 关 系 较 高)， 而 与 其 他 变 量 的 关 系 则 较 弱 (相关 系 数 的 点 靠 近 坐 标 轴 )怎 样 解 释 主 成 分 ？ (Loading Plot) Page 16 STATA从入门到精通 13.2 因 子 分 析n 13.2.1 因 子 分 析 的 基 本 原 理n 13.2.2 因子分 析 的 数 学 模 型n 13.

15、2.3 因 子 分 析 的 步 骤n 13.2.4 因 子 分 析 的 Stata命 令 Page 17 STATA从入门到精通 n 因 子 分 析 可 以 看 作 是 主 成 分 分 析 的 推 广 和 扩 展 ， 但 它 对问 题 的 研 究 更 深 入 、 更 细 致 一 些 。 实 际 上 ， 主 成 分 分 析可 以 看 作 是 因 子 分 析 的 一 个 特 例n 简 言 之 ， 因 子 分 析 是 通 过 对 变 量 之 间 关 系 的 研 究 ， 找 出能 综 合 原 始 变 量 的 少 数 几 个 因 子 ， 使 得 少 数 因 子 能 够 反映 原 始 变 量 的 绝 大

16、部 分 信 息 ， 然 后 根 据 相 关 性 的 大 小 将原 始 变 量 分 组 ， 使 得 组 内 的 变 量 之 间 相 关 性 较 高 ， 而 不同 组 的 变 量 之 间 相 关 性 较 低 。 因 此 ， 因 子 分 析 属 于 多 元统 计 中 处 理 降 维 的 一 种 统 计 方 法 ， 其 目 的 就 是 要 减 少 变量 的 个 数 ， 用 少 数 因 子 代 表 多 个 原 始 变 量什 么 是 因 子 分 析 ？ (factor analysis) Page 18 STATA从入门到精通 n原始的p个变量表达为k个因子的线性组合变量n设p个原始变量为 ，要寻找的k个

17、因子(kp)为 ，主成分和原始变量之间的关系表示为因 子 分 析 的 数 学 模 型因子分析的数学模型系数aij为第个i变量与第k个因子之间的线性相关系数，反映变量与因子之间的相关程度，也称为载荷(loading)。由于因子出现在每个原始变量与因子的线性组合中，因此也称为公因子。为特殊因子，代表公因子以外的因素影响 pkpkppp kk kk fafafax fafafax fafafax 2211 222221212 112121111 Page 19 STATA从入门到精通 n 共 同 度 量 (Communality)n 因 子 的 方 差 贡 献 率 因 子 分 析 的 数 学 模 型(共 同 度 量 Communality和 公 因 子 的 方 差 贡 献 率 )21(1 22 kjah pi iji ， )21( 1 22 piag kj ijj ， 变量xi的信息能够被k个公因子解释的程度，用 k个公因子对第i个变量xi的方差贡献率表示第j个公因子对变量xi的提供的方差总和，反映第j个公因子的相对重要程度 Page 20 STATA从入门到精通 Stata命 令n factorn estatn screeplotn scoreplot、loadingplotn rotaten predict 21本 章 结 束 ， 谢 谢 观 看 ！