《Hopfield网络》PPT课件

《《Hopfield网络》PPT课件》由会员分享，可在线阅读，更多相关《《Hopfield网络》PPT课件（74页珍藏版）》请在装配图网上搜索。

1、第 五 章霍 普 菲 尔 德 （ Hopfield）神 经 网 络 1985年 ， J.J.Hopfield和 D.W.Tank建 立 了 相 互 连 接 型 的 神 经网 络 模 型 ， 简 称 HNN(Hopfield Neural Network)， 并 用 它 成功 地 探 讨 了 旅 行 商 问 题 (TSP)的 求 解 方 法 。 前 几 章 介 绍 的 神 经网 络 模 型 属 于 前 向 神 经 网 络 ， 从 学 习 的 观 点 上 看 ， 它 们 是 强有 力 的 学 习 系 统 ， 结 构 简 单 ， 易 于 编 程 。 从 系 统 的 观 点 看 ，它 们 属 于 一

2、种 静 态 的 非 线 性 映 射 ， 通 过 简 单 非 线 性 处 理 单 元的 复 合 映 射 可 获 得 复 杂 的 非 线 性 处 理 能 力 ， 但 它 们 因 缺 乏 反馈 ， 所 以 并 不 是 一 个 强 有 力 的 动 力 学 系 统 。Hopfield模 型 属 于 反 馈 型 神 经 网 络 ， 从 计 算 的 角 度 上 讲 ， 它具 有 很 强 的 计 算 能 力 。 这 样 的 系 统 着 重 关 心 的 是 系 统 的 稳 定性 问 题 。 稳 定 性 是 这 类 具 有 联 想 记 忆 功 能 神 经 网 络 模 型 的 核心 ， 学 习 记 忆 的 过 程

3、就 是 系 统 向 稳 定 状 态 发 展 的 过 程 。Hopfield网 络 可 用 于 解 决 联 想 记 忆 和 约 束 优 化 问 题 的 求 解 。 反 馈 型 神 经 网 络 作 为 非 线 性 动 力 学 系 统 ， 可 表 现 出 丰 富 多 样的 动 态 特 性 ， 如 稳 定 性 、 极 限 环 、 奇 怪 吸 引 子 (混 沌 )等 。 这 些特 性 是 神 经 网 络 引 起 研 究 人 员 极 大 兴 趣 的 原 因 之 一 。 研 究 表明 ， 由 简 单 非 线 性 神 经 元 互 连 而 成 的 反 馈 动 力 学 神 经 网 络 系统 具 有 两 个 重 要

4、 特 征 ：1. 系 统 有 若 干 个 稳 定 状 态 ， 如 果 从 某 一 个 初 始 状 态 开 始 运 动 ，系 统 总 可 以 进 入 其 中 某 一 个 稳 定 状 态 ；2. 系 统 的 稳 定 状 态 可 以 通 过 改 变 各 个 神 经 元 间 的 连 接 权 值 而得 到 。 Hopfield神 经 网 络 设 计 与 应 用 的 关 键 是 对 其 动 力 学 特 性 的 正确 理 解 ： 网 络 的 稳 定 性 是 其 重 要 性 质 ， 而 能 量 函 数 是 判 定 网络 稳 定 性 的 基 本 概 念 。 网 络 结 构 形 式 Hopfield网 络 是 单

5、 层 对 称 全 反 馈 网 络 ， 根 据 激 励 函 数 选 取的 不 同 ， 可 分 为 离 散 型 和 连 续 性 两 种 （ DHNN,CHNN） 。 DHNN： 作 用 函 数 为 函 数 ， 主 要 用 于 联 想 记 忆 。 CHNN： 作 用 函 数 为 S型 函 数 ， 主 要 用 于 优 化 计 算 非 线 性 系 统 状 态 演 变 的 形 式 在 Hopfield网 络 中 ， 由 于 反 馈 的 存 在 ， 其 加权 输 入 和 ui， i=1n为 网 络 状 态 ， 网 络 的 输 出 为y1yn， 则 u,y的 变 化 过 程 为 一 个 非 线 性 动 力 学

6、 系统 。 可 用 非 线 性 差 （ 微 ） 分 方 程 来 描 述 。 一 般有 如 下 的 几 种 状 态 演 变 形 式 ： （ 1） 渐 进 稳 定 （ 2） 极 限 环 （ 3） 混 沌 现 象 （ 4） 状 态 轨 迹 发 散 网 络 结 构 及 I/O关 系对 于 以 符 号 函 数 为 激 励 函 数 的 网 络 ， 网 络 的 方 程 可写 为 ： 图 2.8.2 ni tutx txwtu ii nj ijiji ,2,1 )1(sgn)1( )1( 1 离 散 型 Hopfield神 经 网 络Hopfield网 络 为 对 称 网 络 ， w ij=wji。 当 wi

7、i 0时 为 无自 反 馈 型 ， 反 之 为 全 自 反 馈 型 两 种 工 作 方 式 （ 1） 串 行 工 作 方 式 在 某 一 时 刻 只 有 一 个 神 经 元改 变 状 态 ， 而 其 它 神 经 元 的 输 出 不 变 。 这 一 变 化的 神 经 元 可 以 按 照 随 机 的 方 式 或 预 定 的 顺 序 来 选择 。 （ 2） 并 行 工 作 方 式 在 某 一 时 刻 有 N个 神 经 元 改变 状 态 ， 而 其 它 的 神 经 元 的 输 出 不 变 。 变 化 的 这一 组 神 经 元 可 以 按 照 随 机 方 式 或 某 种 规 则 来 选 择 。当 N=n

8、时 ， 称 为 全 并 行 方 式 。DHNN的 稳 定 工 作 点 1( 1) ( ) sgn( ( ) )ni i ij i ijX t X t w x t DHNN的 状 态 变 换从 Hopfield网 络 的 模 型 定 义 中 可 以 看 到 对 于 n节 点 的HNN有 2n个 可 能 的 状 态 ， 即 网 络 状 态 可 以 用 一 个 包 含0和 1的 矢 量 表 示每 一 个 时 刻 整 个 网 络 处 于 一 个 状 态 ， 状 态 的 变 化 采用 随 机 异 步 更 新 方 式 ， 即 随 机 地 选 择 下 一 个 要 更 新 的神 经 元 ， 且 允 许 所 有

9、 神 经 元 具 有 相 同 的 平 均 变 化 概 率 。节 点 状 态 更 新 包 括 三 种 情 况 ： 由 0变 为 1、 由 1变 为 0和 状 态 保 持 不 变 。按 照 单 元 异 步 更 新 工 作 方 式 ， 某 一 时 刻 网 络 中 只 有一 个 节 点 被 选 择 进 行 状 态 更 新 ， 当 该 节 点 状 态 变 化 时 ，网 络 状 态 就 以 一 概 率 转 移 到 另 一 状 态 ； 当 该 节 点 状 态保 持 时 ， 网 络 状 态 更 新 的 结 果 保 持 前 一 时 刻 的 状 态 。 DHNN的 状 态 变 换通 常 网 络 从 某 一 初 始

10、 状 态 开 始 经 过 多 次 更 新 后 才 可能 达 到 某 一 稳 态 。 使 用 异 步 状 态 更 新 策 略 有 以 下 优 点 ：（ 1） 算 法 实 现 容 易 ， 每 个 神 经 元 节 点 有 自 己 的 状 态更 新 时 刻 不 需 要 同 步 机 制 ；（ 2） 以 串 行 方 式 更 新 网 络 的 状 态 可 以 限 制 网 络 的 输出 状 态 ， 避 免 不 同 稳 态 以 等 概 率 出 现 。一 旦 给 出 HNN的 权 值 和 神 经 元 的 阈 值 ， 网 络 的 状 态 转移 序 列 就 确 定 了 。 DHNN的 状 态 变 换例 计 算 如 图

11、所 示 3节 点 HNN的 状 态 转 移 关 系 。 该 网 络 的 参 数 为 ： 现 在 以 初 态 (可 任 意 选 定 )v1v2v3 (000)为 例 ， 以 异 步 方 式 运 行网 络 ， 考 察 各 个 节 点 的 状 态 转 移 情 况 。 现 在 考 虑 每 个 节 点v 1v2v3以 等 概 率 (1 3)被 选 择 。 假 定 首 先 选 择 节 点 v1， 则 节 点 状态 为 ：网 络 状 态 由 (000)变 化 到 (100)， 转 移 概 率 为 I 3假 定 首 先 选 择 节 点 v2， 则 节 点 状 态 为 ：12 2113 3123 321 2 3

12、1235, 0, 3w ww ww w 31 1 11sgn( ) sgn(0 0 1 0 2 0 ( 5) sgn(5) 1j jjv w v 2 sgn(1 0 ( 3) 0 0) sgn( 3) 0v DHNN的 状 态 变 换3 sgn(2 0 ( 3) 0 3) sgn( 3) 0v 网 络 状 态 由 (000)变 化 到 (000)(也 可 以 称 为 网 络 状 态 保 持 不 变 )， 转移 概 率 为 1 3。假 定 首 先 选 择 节 点 v3， 则 节 点 状 态 为 ：网 络 状 态 由 (000)变 化 到 (000)， 转 移 概 率 为 1 3。从 上 面 网

13、络 的 运 行 看 出 ， 网 络 状 态 (000)不 会 转 移 到 (010)和 (001)，而 以 1 3的 概 率 转 移 到 (100)， 以 2 3的 概 率 保 持 不 变 同 理 ， 可 以 计 算 出 其 他 状 态 之 间的 转 移 关 系 如 图 所 示 。 图 中 标 出 了状 态 保 持 不 变 的 转 移 概 率 ， 其 余 未标 注 的 均 为 1 3。 DHNN的 状 态 变 换 从 这 个 例 子 ， 可 以 看 出 两 个 显 著 的 特 征 ： (1)状 态 (110)是 一 个 满 足 前 面 定 义 的 稳 定 状 态 。 (2)从 任 意 初 始

14、状 态 开 始 ， 网 络 经 过 有 限 次 状 态 更 新 后 ， 都将 到 达 该 稳 定 状 态 。 Hopfield网 络 是 一 类 反 馈 动 力 学 系 统 ， 稳 定 性 是 这 类 系 统 的重 要 特 性 。 对 于 这 类 模 型 ， 有 如 下 稳 定 性 判 据 ： 当 网 络 工 作 在 串 行 方 式 下 时 ， 若 W为 对 称 阵 ， 且 其 对 角 元素 非 负 ， 则 其 能 量 函 数 单 调 下 降 ， 网 络 总 能 收 敛 到 一 个 稳 定 点 。 DHNN的 能 量 函 数上 例 的 状 态 转 移 关 系 有 这 样 的 规 律 ： 任 意

15、 一 个 状 态 要 么 在 同 一“ 高 度 ” 变 化 ， 要 么 从 上 向 下 转 移 。Hopfield网 络 模 型 是 一 个 多 输 入 、 多 输 出 、 带 阈 值 的 二 态 非 线性 动 力 学 系 统 。 在 满 足 一 定 的 参 数 条 件 下 ， 能 量 函 数 在 网 络 运行 过 程 中 是 不 断 降 低 、 最 后 趋 于 稳 定 平 衡 状 态 的 。这 种 以 能 量 函 数 作 为 网 络 计 算 的 求 解 工 具 ， 被 称 为 计 算 能 量 函数 。 Hopfield网 络 状 态 变 化 分 析 的 核 心 是 对 每 个 网 络 的 状

16、 态 定义 一 个 能 量 E， 任 意 一 个 神 经 元 节 点 状 态 发 生 变 化 时 ， 能 量 值都 将 减 小 。 假 设 第 i个 神 经 元 节 点 状 态 v i的 变 化 量 记 为 vi相 应 的 能 量 变 化量 记 为 Ei。 所 谓 能 量 Ei随 状 态 变 化 而 减 小 意 味 着 Ei总 是 负 值 。考 察 两 种 情 况 ：(1)当 状 态 vi由 0变 为 1时 ， vi 0。(2)当 状 态 vi由 1变 为 0时 ， vi 0。 DHNN的 能 量 函 数按 照 能 量 变 化 量 为 负 的 思 路 ， 可 将 能 量 的 变 化 量 Ei表

17、 示 为故 节 点 i的 能 量 可 定 义 为 ： 1( )ni ij j i ijE w v v 11 1 1( )12 ni ij j i ijj in n nij i j i ii j ij iE w v vE w vv v 显 然 E是 对 所 有 的 E i按 照 某 种 方 式 求 和 而 得 到 ， 即 式 中 出 现 的 1 2因 子 。 其 原 因 在 于 离 散 Hopfield网 络 模 型 中 ， wij=wji， 如 直接 计 算 E， 将 会 对 Ei中 的 每 一 项 计 算 两 次 。 如 上 例 中 对 于 3个 节点 的 网 络 ， 其 节 点 能 量 为

18、 ： DHNN的 能 量 函 数 DHNN的 能 量 函 数由 上 面 给 出 E定 义 ， 显 然 有 ：（ 1） 在 离 散 Hopfield模 型 状 态 更 新 过 程 中 ， 能 量 函 数 E随 状 态变 化 而 严 格 单 调 递 减 。（ 2） 离 散 Hopfield模 型 的 稳 定 状 态 与 能 量 函 数 E在 状 态 空 间 的局 部 极 小 点 是 一 一 对 应 的 。上 例 中 各 状 态 的 能 量 为 DHNN的 能 量 函 数显 然 ， 状 态 v1v2v3 (110)处 的 能 量 最 小 。 下 图 右 边 的 数 值 变 化说 明 了 能 量 单

19、调 下 降 的 对 应 状 态 。 从 任 意 初 态 开 始 ， 网 络 沿 能量 减 小 (包 括 同 一 级 能 量 )方 向 更 新 状 态 ， 最 终 能 达 到 对 应 能 量极 小 的 稳 态 。 DHNN的 能 量 函 数例 ： 运 行 图 所 示 4节 点 模 型 ， 并 计 算 其 各 状 态 的 能 量 。任 意 给 定 一 个 初 始 状 态 为 ：v(0) 1,0,1,0， 先 计 算 E(0)得 E(0) 1.0第 一 轮 迭 代 ：v1(1) sgn(2.8-6.3)=sgn (-3.5)=0v2(1) sgn(3.4+4.7-(-4.3)=sgn (12.4)=

20、 1v3(1) sgn(2.8-(-2.5)=sgn (5.3)= 1v4(1) sgn(-3.1-5.9-(-9.6)=sgn (0.6)= 1E(1) -14.0v1(2) sgn(3.4+2.8-3.1-6.3)=sgn (-3.2)=0v2(2) sgn(4.7-1.2-(-4.3)=sgn (7.8)= 1v3(2) sgn(4.7-5.9-(-2.5)=sgn (1.3)= 1v4(2) sgn(-1.2-5.9-(-9.6)=sgn (2.5)= 1 E(2) -14.0 DHNN的 能 量 函 数 因 此 ， v 0,1,1,1是 网 络 的 一 个 稳 定 状 态 。 实 际

21、 上 此 例 中 有4个 神 经 元 其 可 能 的 状 态 有 16个 ， 为 便 于 验 算 ， 将 其 各 状 态 的能 量 列 表 如 下 ：显 然 ， 网 络 稳 定 状 态 下 的 能 量 为 最 小 值 -14。网 络 能 量 极 小 状 态 即 为 网 络 的 一 个 稳 定 平 衡 状 态 。 能 量 极 小 点 的 存 在 为 信 息 的 分 布 式 存 储 记 忆 、 优 化 计 算 提 供 了 基 础 。 如 果 将 记忆 的 样 本 信 息 存 贮 于 不 同 的 能 量 极 小 点 ， 当 输 入 某 一 模 式 时 ， 网络 就 能 “ 联 想 记 忆 ” 与 其

22、 相 关 的 存 储 样 本 ， 实 现 联 想 记 忆 。 DHNN能 量 极 小 点 的 设 计只 有 当 网 络 的 能 量 极 小 点 可 被 选 择 和 设 定 时 ， 网 络 所具 有 的 能 力 才 能 发 挥 作 用 。能 量 极 小 点 的 分 布 是 由 网 络 的 连 接 权 值 和 阈 值 所 决 定的 。 因 此 设 计 能 量 极 小 点 的 核 心 就 是 如 何 获 取 一 组 合适 的 参 数 值 。有 两 种 方 法 供 选 择 ：(1)根 据 求 解 问 题 的 要 求 直 接 设 计 出 所 需 要 的 连 接 枚 值(2)通 过 提 供 的 附 加 机

23、 制 来 训 练 网 络 ， 使 其 自 动 调 整 连接 权 值 ， 产 生 期 望 的 能 量 极 小 点 。前 者 为 静 态 学 习 方 法 ， 对 于 一 个 具 体 应 用 而 言 ， 权 矩阵 为 定 常 矩 阵 、 如 TSP求 解 等 。 后 者 为 动 态 学 习 方 法 ，如 联 想 记 忆 等 。 DHNN能 量 极 小 点 的 设 计例 以 3节 点 Hopfield网 络 为 例 ， 假 定 要 求 设 计 的 能 量极 小 点 为 状 态 v1v2v3 (010)和 v1v2v3 (111)， 且 网 络参 数 (权 值 、 阂 值 )的 取 值 范 围 为 -1

24、,1试 确 定 满 足 条 件的 网 络 参 数 。记 v1v2v3 (010)为 状 态 A， v1v2v3 (111)为 状 态 B对 于 状 态 A， 节 点 激 励 函 数 必 须 满 足 下 列 不 等 式 ：对 于 状 态 B， 节 点 激 励 函 数 必 须 满 足 下 列 不 等 式 ： 12 1223 3( ) 0( ) 0( ) 0a wbc w 12 13 112 23 223 13 3( ) 0( ) 0( ) 0d w we w wf w w DHNN能 量 极 小 点 的 设 计用 上 面 的 不 等 式 组 ， 可 以 求 解 出 6个 未 知 量 的 允 许 取

25、值 范 围 。假 设 取 w12 0.5， 则 ：由 (a)式 ， 0.5 1 1， 取 1 0.7由 (d)式 ， 0.2 w13 1， 取 W13 0.4由 (b)式 ， -1 2 0， 取 2 -0.2由 (e)式 ， -0.7 w23 1， 取 w23 0.1由 (c)式 ， 0.1 3 1， 取 3 0.4； 3也 满 足 (f)式 。于 是 ， 确 定 了 一 组 权 值 和 阈 值 ：w 12 0.5， w13 0.4， w23 0.11 0.7， 2 -0.2， 3 0.4可 以 验 证 ， 利 用 这 组 参 数 构 成 的 Hopfield网 络 对 于 任何 起 始 状

26、态 ， 始 终 都 将 达 到 所 期 望 的 稳 态 A和 稳 态 B DHNN能 量 极 小 点 的 设 计 DHNN能 量 极 小 点 的 设 计按 照 上 述 方 法 在 设 计 能 量 极 小 点 时 ， 网 络 的 权 值 和 网值 可 在 某 个 允 许 区 间 内 取 值 。 因 而 所 选 择 的 一 组 参 数虽 然 满 足 了 能 量 极 小 点 设 计 的 要 求 ， 但 同 时 也 可 能 产生 设 计 所 不 期 望 的 能 量 极 小 点 。比 如 ， 如 果 选 择 的 权 值 和 阈 值 为 ： w12 -0.5， w13 0.5， w23 0.4； 1 -0

27、.1， 2 -0.2， 3 0.4，可 以 验 证 ， 这 组 值 也 满 足 (a)一 (f)不 等 式 组 ， 但 是 这组 参 数 构 成 的 Hopfield网 络 有 三 个 能 量 极 小 点 ， 包 括期 望 的 (010)和 (111)以 及 (100)。 DHNN能 量 极 小 点 的 设 计 DHNN的 学 习 和 联 想 记 忆Hopfield网 络 可 用 于 联 想 记 忆 。 当 它 用 于 计 算 时 ， 其权 矩 阵 给 定 为 W， 目 的 是 寻 找 具 有 最 小 能 量 E的 网 络稳 定 状 态 ； 而 作 为 记 忆 的 学 习 时 稳 定 状 态

28、是 给 定 的 ，通 过 网 络 的 学 习 求 合 适 的 权 矩 阵 W(对 称 阵 )。 一 旦 学习 完 成 后 ， 以 计 算 的 方 式 进 行 联 想 。前 面 设 计 能 量 极 小 点 是 根 据 问 题 的 要 求 用 手 工 计 算 得到 一 组 网 络 的 参 数 。 而 网 络 的 学 习 是 通 过 一 定 的 学 习算 法 ， 自 动 地 得 到 所 需 要 的 参 数 。 对 于 Hopfield网 络 ，可 以 采 用 Hebb学 习 规 则 和 误 差 型 学 习 算 法 。 DHNN的 学 习 和 联 想 记 忆 用 DHNN实 现 联 想 记 忆 需 要

29、 考 虑 两 个 重 要 的 问 题 ： 怎 样 按 记 忆 确 定 网 络 的 W和 ； 网 络 给 定 之 后 如 何 分 析 它 的 记 忆 容 量 。 下 面 将 分 别讨 论 ：1、 权 值 的 设 计 方 法2、 记 忆 容 量 分 析3、 权 值 修 正 的 其 它 方 法 权 值 的 设 计 方 法 权 值 设 计 的 方 法 有 外 积 法 、 伪 逆 法 、 正 交 设 计 法 等 。 外 积 法 （ Hebb学 习 规 则 ） ： 是 一 种 比 较 简 单 ， 在一 定 条 件 下 行 之 有 效 的 方 法 。 niw xxw IXXW nnIRXmKX ii mk

30、kjkiij mk TKK nK 1 0 ,1,11 单 位 阵 ， 则为给 定 输 入按 上 述 规 则 求 出 权 矩 阵 后 ， 网 络 已 经 将 模 式 存 入 网 络 的连 接 权 中 。 在 联 想 过 程 中 ， 先 给 出 一 个 原 始 模 式 ， 使 网络 处 于 某 种 初 始 状 态 下 ， 用 网 络 方 程 动 态 运 行 ， 最 后 达到 一 个 稳 定 状 态 。 如 果 此 稳 定 状 态 对 应 于 网 络 已 存 储 的某 个 模 式 ， 则 称 模 式 是 由 模 式 联 想 起 来 的 。 例 对 于 一 个 4神 经 元 的 网 络 ， 取 阈 值

31、 为 0。 给 定 两个 模 式 存 贮 于 网 络 之 中 m1： V(1) v1,v2,v3,v4 1,1,1,1 m2： V(2) v1,v2,v3,v4 -1,-1,-1,-1计 算 可 得 权 矩 阵 ： 11 12 13 1421 22 23 2431 32 33 3441 42 43 44 0 2 2 22 0 2 22 2 0 22 2 2 0w w w ww w w wW w w w ww w w w 给 出 用 于 联 想 的 原 始 模 式 ： mA ： V(A) 1,1,-1,1运 行 网 络 得 到 稳 定 状 态 V(1) 1,1,1,1， 这 个 稳 定 状 态正

32、 好 是 网 络 已 记 忆 的 模 式 m 1由 此 可 以 认 为 A是 由 模 式 mA联 想 起 来 的 。如 联 想 模 式 为 ： mB ： V(B) -1,-1,-1,1则 得 到 另 一 稳 定 状 态 :V(2) -1,-1,-1,-1， 即 模 式 m2 例 设 计 DHNN， 并 考 察 其 联 想 性 能 。 说 明 所 设 计 的 网 络 没 有 准 确 的 记 忆 所 有 期 望 的 模 式 。 因 此 ， Hopfield网 络 用 于 联 想 记 忆 受 其 记 忆 容 量 和 样 本 差 异制 约 。 当 记 忆 的 模 式 较 少 且 模 式 之 间 的 差

33、 异 较 大 ， 则 联 想 结果 正 确 ； 而 当 需 记 忆 的 模 式 较 多 就 容 易 引 起 混 淆 ， 网 络 到 达的 稳 定 状 态 往 往 不 是 已 记 忆 的 模 式 。 此 外 当 需 记 忆 的 模 式 之间 较 为 相 近 时 网 络 就 不 能 辨 别 出 正 确 的 模 式 ， 甚 至 连 自 身 都会 联 想 错 ， 即 使 用 已 记 忆 的 模 式 作 为 联 想 模 式 (自 联 想 )， 也 可 能 出 错 。 3233 222 !11 3 1sgn Y sgn Y sgn Y 031 301 110 111 111 111 TTWX TWX TW

34、X IXXW TX K TKK 验 证 ：解 ： 记 忆 容 量 分 析 当 网 络 只 记 忆 一 个 稳 定 的 模 式 时 ， 该 模 式肯 定 被 网 络 准 确 无 误 的 记 忆 住 。 但 当 所 要记 忆 的 模 式 增 加 时 ， 情 况 则 发 生 了 变 化 ，主 要 表 现 在 下 列 两 点 上 ：1、 权 值 移 动2、 交 叉 干 扰 权 值 移 动 在 网 络 的 学 习 过 程 中 ， 网 络 对 权 值 的 记 忆 实际 上 是 逐 个 实 现 的 。 即 对 权 值 W， 有 程 序 : 当 网 络 准 确 的 记 忆 X1时 ， 为 了 记 忆 X2,需

35、 要 在 记 忆 样 本X 1的 权 值 上 加 上 对 样 本 X2的 记 忆 项 X2 X2T-I， 将 权 值 在原 来 值 的 基 础 上 产 生 了 移 动 。 这 样 网 络 有 可 能 部 分 地遗 忘 了 以 前 已 记 忆 的 模 式 。 end IXXWW qkforW TKK ,1 0 从 动 力 学 的 角 度 来 看 ， k值 较 小 时 ， 网络 Hebb学 习 规 则 可 以 使 输 入 学 习 样 本 成为 其 吸 引 子 。 随 着 k值 的 增 加 ， 不 但 难 以使 后 来 的 样 本 成 为 网 络 的 吸 引 子 ， 而 且有 可 能 使 以 记 忆

36、 住 的 吸 引 子 的 吸 引 域 变小 ， 使 原 来 处 于 吸 引 子 位 置 上 的 样 本 从吸 引 子 的 位 置 移 动 。 对 一 记 忆 的 样 本 发生 遗 忘 ， 这 种 现 象 称 为 “ 疲 劳 ” 。 交 叉 干 扰 网 络 在 学 习 多 个 样 本 后 ， 在 回 忆 阶 段 ， 即 验 证 该 记忆 样 本 时 所 产 生 的 干 扰 ， 称 为 交 叉 干 扰 。 对 外 积 型 设 计 而 言 ， 如 果 输 入 样 本 是 彼 此 正 交 的 ，n个 神 经 元 的 网 络 其 记 忆 容 量 的 上 界 为 n。 但 是 在 大多 数 情 况 下 ，

37、 学 习 样 本 不 可 能 是 正 交 的 ， 因 而 网 络的 记 忆 容 量 要 比 n小 得 多 ， 一 般 为 (0.130.15)n。 权 值 修 正 的 其 它 方 法1、 学 习 规 则2、 伪 逆 法3、 正 交 化 权 值 设 计 学 习 规 则 学 习 规 则 基 本 公 式 是 ： 即 通 过 计 算 该 神 经 元 节 点 的 实 际 激 励 值A(t)， 与 期 望 状 态 T(t)进 行 比 较 ， 若 不 满足 要 求 ， 将 两 者 的 误 差 的 一 部 分 作 为 调整 量 ， 若 满 足 要 求 ， 则 相 应 的 权 值 保 持不 变 。 tPtAtT

38、twtw PW ijij 1 伪 逆 法 求 出 权 矩 阵满 秩 ， 其 逆 存 在 ， 则 可线 性 无 关 的 ， 则 如 果 样 本 之 间 是为 伪 逆 ， 有其 中由 此 可 得输 入 输 出 之 间 用 权 值 W来 映 射 ， 则 有设 输 入 样 本W XX XXXX XNW NYXWN XXXXT TT N, sgn, 121 * * * X用 伪 逆 法 求 出 的 权 W可 以 保 证 在 自 己 输 入 时 仍 能 收敛 到 样 本 自 己 。 如 果 N与 输 入 X完 全 相 同 ， 则 W也可 以 是 对 称 的 ， 因 而 满 足 稳 定 工 作 的 条 件

39、。 其 实 只要 满 足 Y矩 阵 中 每 一 个 元 与 WX矩 阵 中 的 每 个 元 有 相同 的 符 号 就 可 以 满 足 收 敛 到 本 身 。 正 交 化 权 值 设 计 这 一 方 法 是 由 Li和 Mechel提 出 来 的 ， 其 出 发 点 为 ： (1)要 保 证 系 统 在 异 步 工 作 时 的 稳 定 性 ， 则 它 的 权 是 对称 的 (2 )要 保 证 所 有 的 要 求 的 记 忆 样 本 都 能 收 敛 到 自 己 ， 不会 出 现 错 误 的 其 他 收 敛 值 (3)要 求 伪 稳 定 点 的 数 目 尽 可 能 地 少 。 (4)要 求 稳 定

40、点 吸 引 域 尽 可 能 地 大 。其 状 态 转 换 公 式 为sgn( ( ) ) ( 1), 0WV t I V t I 其 连 接 矩 阵 可 以 构 造 如 下 ： LL2211 XYXYXYW TT L表 示 模 式 向 量 为 L对 。BAM是 一 个 双 层 回 归 联 想 存 贮 器 ， 是 Hopfield网 络 的 扩 展 ，也 是 内 容 编 址 存 贮 器 ， 但 各 单 元 可 以 有 自 反 馈 。双 向 联 想 存 贮 器 （ BAM） 为 了 构 造 Y层 到 X层 的 权 值 矩 阵 ， 将 W取 成 WT即 可 。BAM是 双 向 的 ， 输 入 和 输

41、 出 取 决 于 转 播 方 向 。 inj iji xwnety 1YWnetX T mj ijii wynetx 11 0( 1) 01 0 ii i iinetxy t y netxnetx 000 11)1( iiiii netynetynetyxtx BAM数 学 上 处 理 如 下 ：netY 是 Y 层 总 输 入 ， 各 单 元 的 输 入 ：在 X层 ：netX 是 X 层 总 输 入 ， 各 单 元 的 输 入 ：计 算 如 下和时 刻 ，在 )1( )1(1 tytxt ii 举 例 ： T TT TYXYX )11,1,1,1,1( )1.1,1,1,1,1,1,1,1

42、,1( )1,1,1,1,1,1( )1,1,1,1,1,1,1,1,1,1( 2 211 ，令 ： 2020202220 0202020002 2020202220 2020202220 2020202220 0202020002 2211 TT XYXYW权 矩 阵 计 算 可 得 ： T TYX )1,1,1,1,1,1( )1,1,1,1,1,1,1,1,1,1( 00 选 练 样 本 。说 明 回 忆 起 第 一 个 的 训的 新 值 ：传 播 ，向 的 总 输 入传 播 ，向 Tnew Tnew TXXXY YnetYYYX )1,1,1,1,1,1,1,1,1,1( )1,1,1

43、,1,1,1( ,)12,4,12,12,12,4( T TYX )1,1,1,1,1,1( )1,1,1,1,1,1,1,1,1,1( 00 选 ),(),( )1,1,1,11,1( )1,1,1,1,1,1,1,1,1,1( 11 ccnewnew Tnew Tnew YXYXYX 结 果 ： mi nj iiji T xwyE WXYYXE BAMBAM 1 1 ),( 或 的 能 量 函 数 ：中 ， 可 以 找 到在 限 量 。变 化 时 ， 必 改 变 一 个 有下 限 有 界 ，） 减 少 ；的 任 何 变 化 ， 使和处 理 过 程 中 ，）具 有 以 下 性 质 ：E WE

44、E EYXBAME ij ij 3) ; 2 1 min 连 续 Hopfield网 络 CHNN是 在 DHNN的 基 础 上 提 出 的 ， 它 的 原 理和 DHNN相 似 。 由 于 CHNN是 以 模 拟 量 作 为 网 络 的输 入 输 出 量 ， 各 神 经 元 采 用 并 行 方 式 工 作 ， 所 以它 在 信 息 处 理 的 并 行 性 、 联 想 性 、 实 时 性 、 分 布存 储 、 协 同 性 等 方 面 比 DHNN更 接 近 于 生 物 神 经网 络 。1、 网 络 模 型2、 CHNN方 程 的 解 及 稳 定 性 分 析3、 关 于 Hopfield能 量

45、函 数 的 几 点 说 明4、 关 于 CHNN的 几 点 结 论 CHNN的 网 络 模 型对 于 神 经 元 ， 放 大 器 的 I/O关 系 可 用 如 下 的 方 程 来 描 述 ： xxex uv IuvRRudtduc x ii inj ijijiiii tanh 1 1 110 或 CHNN的 网 络 模 型 对 I/O方 程 变 形 得 ： iiiiijijnj iijiii inj jijiii cIcRwcRcR vwudtdu ,1 ,111 10 1 的 一 种 特 殊 情 况 。视 为 可 以此 可 见 ，模 型 有 相 同 的 形 式 。 由上 式 与 则 有如 果

46、 令 为 向 量矩 阵 形 式 ：CHNN DHNNDHNNWvuu Rvdiagww wwW Wvuu nnnnn n ,0 , , , 1211 111 1 该 动 态 方 程 描 述 了 神 经 元 i的 输 出 和 其 内 部 状 态 ui之 间 的 关 系 。CHNN实 质 上 是 连 续 的 非 线 性 动 力 学 系 统 ， 由 一 组 非 线 性 微 分方 程 来 描 述 。当 给 定 初 始 状 态 ， 通 过 求 解 非 线 性 微 分 方 程 组 即 可 求 得 网 络 状态 的 运 动 轨 迹 。若 系 统 是 稳 定 的 ， 则 它 最 终 可 收 敛 到 一 个 稳

47、 定 状 态 。若 用 模 拟 电 路 的 硬 件 来 实 现 该 模 型 ， 则 这 个 求 解 非 线 性 微 分 方程 的 过 程 将 由 该 电 路 自 动 完 成 ， 其 求 解 速 度 非 常 快 。CHNN有 如 下 一 些 特 性 ： (1)系 统 在 运 行 过 程 中 ， 其 能 量 函 数 将 会 逐 渐 减 小 到 某 一 极 小状 态 。 (2)系 统 的 极 小 状 态 一 般 不 止 一 个 ， 存 在 有 限 个 平 衡 点 (3)CHNN可 以 用 模 拟 电 路 实 现 。 电 路 中 的 放 大 器 和 电 阻 电 容等 器 件 的 电 气 特 性 在 物

48、 理 上 对 生 物 神 经 网 络 的 某 些 特 征 有 较 好的 模 拟 。 CHNN方 程 的 解 及 稳 定 性 分 析 对 于 CHNN来 说 ， 关 心 的 同 样 是 稳 定 性 问题 。 在 所 有 影 响 电 路 系 统 稳 定 的 参 数 中 ，一 个 比 较 特 殊 的 参 数 值 是 放 大 器 的 放 大 倍数 。 当 放 大 器 的 放 大 倍 数 足 够 大 时 ， 网 络由 连 续 性 转 化 成 离 散 型 ， 状 态 与 输 出 之 间的 关 系 表 现 了 建 立 函 数 的 形 状 ， 而 正 是 激励 函 数 代 表 了 一 个 网 络 的 特 点

49、， 所 以 着 重分 析 不 同 激 励 函 数 关 系 对 系 统 的 稳 定 性 的影 响 。 当 激 励 函 数 为 线 性 函 数 时不 同 的 系 统 解 的 情 况 。的 不 同 情 况 ， 可 以 得 到 ，解 出 的 特 征 值为 单 位 对 角 阵 。 通 过 对其 中此 系 统 的 特 征 方 程 为 ：。其 中 ：此 时 系 统 的 状 态 方 程 为 r iiI IA WBRA BAUU uv 21 0 1 对 于 非 线 性 系 统 进 行 稳 定 性 分 析 ， 方 法 之一 就 是 在 系 统 的 平 衡 点 附 近 对 系 统 进 行 线 性 化处 理 。 也

50、可 以 基 于 网 络 的 能 量 函 数 。 下 面 介 绍Hopfield能 量 函 数 法 。 nidtdEdtdvdtdEww cv ijiij ii 1 ,2,100,0 , ,0 ，时 ，当 且 仅 当 ， 有则 随 着 网 络 状 态 的 变 化 ， 且为 单 调 连 续 递 增 的 函 数定 理 ： 若 f : 121 : 1 0 111 1的 稳 定 性 有 如 下 的 定 理关 于 能 量 项 。入 状 态 和 输 出 值 关 系 的上 式 第 三 项 表 示 一 种 输能 量 函 数 定 义 为CHNN dvvRIvvvwE ni v iini iini nj jiij

51、i 此 定 理 表 明 ， 随 着 时 间 的 演 化 ， 网 络 的 状 态 总 是 朝 能 量 减 少的 方 向 运 动 ， 网 络 的 平 衡 点 就 是 E的 极 小 点 。 关 于 Hopfield能 量 函 数 的几 点 说 明 当 对 反 馈 网 络 应 用 能 量 函 数 后 ， 从 任 一 初 始 状 态开 始 ， 因 为 在 每 次 迭 代 后 都 能 满 足 E0， 所 以 网 络的 能 量 将 会 越 来 越 小 ， 最 后 趋 于 稳 定 点 E=0。 Hopfield能 量 函 数 的 物 理 意 义 是 ： 在 那 些 渐 进 稳 定点 的 吸 引 域 内 ， 离

52、 吸 引 点 越 远 的 状 态 ， 所 具 有 的 能 量越 大 ， 由 于 能 量 函 数 的 单 调 下 降 特 性 ， 保 证 状 态 的 运动 方 向 能 从 远 离 吸 引 点 处 ， 不 断 地 趋 于 吸 引 点 ， 直 到达 到 稳 定 点 。 几 点 说 明 ： 1 能 量 函 数 为 反 馈 网 络 的 重 要 概 念 。根 据 能 量 函 数 可 以 方 便 的 判 断 系 统 的 稳定 性 ； 2 Hopfield选 择 的 能 量 函 数 ， 只 是 保证 系 统 稳 定 和 渐 进 稳 定 的 充 分 条 件 ， 而不 是 必 要 条 件 ， 其 能 量 函 数

53、也 不 是 唯 一的 。 关 于 CHNN的 几 点 结 论 1） 具 有 良 好 的 收 敛 性 ； 2） 具 有 有 限 个 平 衡 点 ； 3） 如 果 平 衡 点 是 稳 定 的 ， 那 么 它 也 一 定 是 渐 进 稳定 的 ； 4） 渐 进 稳 定 平 衡 点 为 其 能 量 函 数 的 局 部 极 小 点 ； 5） 能 将 任 意 一 组 希 望 存 储 的 正 交 化 矢 量 综 合 为 网络 的 渐 进 平 衡 点 ； 6） 网 络 的 存 储 信 息 表 现 为 神 经 元 之 间 互 连 的 分 布式 动 态 存 储 ； 7） 网 络 以 大 规 模 、 非 线 性 、

54、 连 续 时 间 并 行 方 式 处理 信 息 ， 其 计 算 时 间 就 是 网 络 趋 于 平 衡 点 的 时 间 。 Hopfield网 络在 组 合 优 化 中 的 应 用 组 合 优 化 问 题 ， 就 是 在 给 定 约 束 条 件 下 ，求 出 使 目 标 函 数 极 小 （ 或 极 大 ） 的 变 量组 合 问 题 。 将 Hopfield网 络 应 用 于 求 解 组 合 优 化 问题 ， 就 是 把 目 标 函 数 转 化 为 网 络 的 能 量函 数 ， 把 问 题 的 变 量 对 应 于 网 络 的 状 态 。这 样 当 网 络 的 能 量 函 数 收 敛 于 极 小

55、值 时 ，问 题 的 最 优 解 也 随 之 求 出 。 旅 行 商 问 题 ， 简 称 TSP（ Traveling Salesman Problem） 。 问 题 的 提 法 是 ：设 有 N个 城 市 ， ,记 为 ： ,用 dij表 示 ci和 cj之 间 的 距离 ， dij0,(i,j=1,2,n) 。 有 一 旅 行 商 从 某 一 城 市 出 发 ， 访 问 各 城市 一 次 且 仅 一 次 后 再 回 到 原 出 发 城 市 。要 求 找 出 一 条 最 短 的 巡 回 路 线 。 Nccc , 21 NcccC , 21 N=5 TSP Probelm n=5， 并 用 字

56、 母 A、 B、 C、 D、 E、 分 别 代 表 这5个 城 市 。 当 任 选 一 条 路 径 如 B-D-E-A-C,，则 其 总 路 径 长 度 可 表 示 为 第 一 步 就 是 将 问 题 映 射 到 一 个 神 经 网 络 。 假 定每 个 神 经 元 的 放 大 器 有 很 高 的 放 大 倍 数 ， 神 经元 的 输 出 限 制 在 二 值 0和 1上 ， 则 映 射 问 题 可 以用 一 个 换 位 矩 阵 （ PM, Permutation Matrix）来 进 行 ， 换 位 矩 阵 可 如 下 图 所 示 。 CBACEADEBD dddddS 换 位 矩 阵次 序城

57、 市 1 2 3 4 5A 0 0 0 1 0B 1 0 0 0 0C 0 0 0 0 1D 0 1 0 0 0E 0 0 1 0 0 对 于 n个 城 市 需 用 由 n2个 神 经 元 构 成 的 n x n阶 PM来 表示 旅 行 路 线 。 在 该 换 位 矩 阵 中 每 一 列 只 有 一 个 元 素 为 1，其 余 为 0， 列 的 大 小 表 示 对 某 城 市 访 问 的 次 序 。 同 样 每一 行 也 只 有 一 个 元 素 为 1， 其 余 为 0。 通 过 这 样 的 PM，可 唯 一 地 确 定 一 条 旅 行 路 线 。对 于 n个 城 市 的 TSP， 存 在 n

58、!个 输 出 状 态 。 然 而 一 个 旅行 只 是 描 述 一 条 访 问 城 市 的 路 线 。 对 于 访 问 n个 城 市 ，这 是 一 个 n个 城 市 沿 闭 合 路 径 排 列 的 问 题 ， 它 共 有n!/n=(n-1)!种 方 案 。 如 果 将 沿 同 一 闭 合 路 径 但 方 向 相反 的 两 个 方 案 合 算 为 一 种 方 案 ， n个 城 市 的 TSP共 有 n! 2n条 城 市 旅 行 路 线 。 显 然 ， TSP的 计 算 时 间 随 城 市数 目 n呈 指 数 增 长 。 约 束 条 件 和 最 优 条 件 矩 阵 的 每 个 元 素 对 应 于

59、神 经 网 络 中 的 每 个 神 经 元 ，则 这 个 问 题 可 用 n2=52=25个 神 经 元 组 成 的Hopfield网 络 来 求 解 。 问 题 的 约 束 条 件 和 最 优 条 件 如 下 ： （ 1) 一 个 城 市 只 能 被 访 问 一 次 =换 位 矩 阵 每 行 只有 一 个 “ 1”。 （ 2） 一 次 只 能 访 问 一 个 城 市 =换 拉 矩 阵 每 列 只 有一 个 “ 1”。 （ 3） 总 共 有 n个 城 市 =换 位 矩 阵 元 素 之 和 为 n。 (4） 求 巡 回 路 径 最 短 =网 络 能 量 函 数 的 最 小 值 对应 于 TSP的

60、 最 短 路 径 。 用 vij表 示 换 位 矩 阵 第 i行 、 第 j列 的 元 素 ， 显 然 只 能取 1或 0。 同 时 vij也 是 网 络 神 经 元 的 状 态 。 结 论 : 构 成 最 短 路 径 的 换 位 矩 阵 一 定 是 形 成 网 络 能量 函 数 极 小 点 的 网 络 状 态 。 对 于 用 HNN来 求 解 TSP问 题 ， 就 是 要 恰 当 地 构 造一 个 能 量 函 数 ， 使 得 HNN网 络 中 的 n个 神 经 元 能够 求 得 问 题 的 解 ， 并 使 其 能 量 处 于 最 低 状 态 。 为此 ， 构 造 能 量 函 数 需 考 虑

61、以 下 两 个 问 题 ； (1)能 量 函 数 要 具 有 适 合 于 PM的 稳 定 状 态 (约 束条 件 )。 (2)能 量 函 数 要 有 利 于 表 达 在 TSP所 有 合 法 旅 行路 线 中 最 短 路 线 的 解 (目 标 函 数 )。 网 络 能 量 函 数 的 构 成 1） 第 x行 的 所 有 元 素 xiu 按 顺 序 两 两 相 乘 之 和 xjnx nij xiuu 11 1 应 为 0。 2） n 个 行 的 所 有 元 素 按 顺 序 两 两 相 乘 之 和 yinx ni nij xiuu 1 11 1 也 应 为0。 3） 将 第 2） 项 前 乘 系

62、数 A/2， 则 可 作 为 网 络 能 量 函 数 的 第 一 项 xjnx ni nij xiA uu 1 11 12 同 理 ， 对 应 于 第 （ 2） 个 约 束 条 件 ， 可 得 能 量 函 数 的 第 二 项 yini nx nxy xiB uu 1 11 12 式 中 ， B/2 为 系 数 。 第 （ 4） 项 为 优 化 目 标 ， 即 优 化 要 求 其 表 达 式 为 由 前 三 个 约 束 条 件 可 知 ， 这 两 项 至 少 有 一 项 为 0， 顺 序 访问 X、 Y 两 城 市 所 有 可 能 途 径 （ 长 度 ） 可 表 示 为 , 1 , 1xy xi

63、 y i xy xi y id v v d v v 和, 1 , 1 , 1 , 1( ) ( )xy xi y i xy xi y i xy xi y i y id v v d v v d v v v 能 量 函 数 表 达 式 网 络 加 权 及 阈 值 求 解 TSP网 络 的 迭 代 方 程 （ 1） 网 络 参 数 的 选 择网 络 参 数 A， B， C， D， u0等 对 网 络 的 变 化 相 当 敏 感 ， 原 则 上 不能 随 意 改 变 ，Hopfield和 Tank给 出 的 参 数 值 为 ： A B D 500， C 200，u0 0.02。 这 种 选 择 是 考

64、 虑 了 以 下 两 点 后 的 折 中 ： D值 较 小 时 ， 容 易 获 得 合 法 路 径 ； D值 较 大 时 ， 可 增 加 路 径长 度 的 权 重 ， 从 而 使 合 法 路 径 趋 于 最 优 ； u0是 放 大 器 的 增 益 ， 太 小 时 阈 值 函 数 接 近 于 符 号 函 数 ， 不能 获 得 较 好 的 解 ； 太 大 时 ， S型 阈 值 函 数 过 于 平 坦 ， 神 经 元 状 态不 易 于 收 敛 到 0和 1， 从 而 使 获 得 合 法 路 径 的 概 率 下 降 。 除 了 以 上 两 点 外 ， 考 虑 网 络 参 数 对 收 敛 速 度 的 影

65、 响 。 实 际 上 选择 为 A B D 0.5 C 0.2， u 0 0.02。 这 样 的 选 择 使 能 量 函数 数 量 级 差 异 减 小 ， 从 而 使 能 量 的 数 值 也 减 小 。 程 序 中 是 以 E为 收 敛 判 据 ， 因 而 这 种 选 择 加 快 了 程 序 收 敛 的 速 度 。 （ 2） 网 络 初 始 状 态 的 选 择 对 于 网 络 初 始 状 态 u0的 选 择 问 题 ， 常 采 用 随 机 扰 动 的 方 法 。即 给 初 始 值 u0增 加 一 个 小 的 扰 动 (3)阈 值 函 数 的 处 理双 曲 正 切 函 数 阈 值 函 数 的 计

66、 算 包 括 二 次 指 数 计 算 、 二 次 除 法 计算 、 三 次 加 法 计 算 ， 运 算 量 很 大 ， 并 且 在 每 次 迭 代 中 都 要 调 用N2次 ， 这 祥 的 运 算 严 重 彤 响 了 网 络 的 收 敛 速 度 。 为 此 把 该 函 数离 散 化 ， 即 在 函 数 值 变 化 敏 感 区 域 预 先 计 算 好 足 够 多 的 离 散 函数 值 ， 形 成 表 格 存 入 计 算 机 。 这 样 在 迭 代 过 程 中 就 无 需 经 常 计算 函 数 值 ， 而 代 之 以 查 表 值 (只 需 一 次 乘 法 和 一 次 加 法 )， 可 大大 提 高 计 算 速 度 。 (4)神 经 元 的 状 态 值 需 取 为 模 拟 量 由 于 在 迭 代 过 程 中 ， 城 市 位 置 的 选 取 可 能 有 很 多 种 选 择 ， 采用 模 拟 值 来 处 理 单 元 的 状 态 是 必 然 的 。 利 用 连 续 网 络 的 模 拟 特性 进 行 中 间 处 理 ， 可 以 在 一 次 处 理 中 同 时 考 虑 多 条 路 径 。 这 样可 大