信号和权值向量空间.ppt

《信号和权值向量空间.ppt》由会员分享，可在线阅读，更多相关《信号和权值向量空间.ppt（33页珍藏版）》请在装配图网上搜索。

1、2020/10/15 1 第 5章 信号和权值向量空间 5.1目标 从前面两章可以看出：将神经网络的输入， 输出以及权值矩阵的行作为向量看待是非常有好 处的。这一章将详细研究这些向量空间，并且复 习一些对分析神经网络十分有用的向量空间性质。 这里首先将从一般的定义开始，并将这些定义应 用于特定的神经网络问题中。 2020/10/15 2 5.2 理论和实例 线性代数是理解神经网络所必需的数学知 识的核心。 本章将复习在神经网络中有关向量空间的 一些基本概念（比如内积、正交性）。 2020/10/15 3 5.2.1线性向量空间 定义：一个线性向量空间 X是一组定义在标量域 F上且满足如下条件的

2、元素集合（向量）： 1. 一个称为向量加的操作定义为：如果 （ x 是 X的一个元素）和 那么 2. x+y=y+x 。 3. (x+y) +z= x+ (y+z) 4. 存在唯一一个称为零向量的向量 ，有： x+0=x xX yX x y X 0 X 2020/10/15 4 5. 对于每一个向量 ，在 X中只有唯一一 个被称为 -x的向量，满足 x+(-x)=0 。 6. 一个称为向量乘的操作定义为：对所有 的标量，以及所有的向量 ，有 。 7. 对于任意的 和标量 1，有 1x=x 8. 对于任意两个标量 和 ，以及任意 的 ，有 。 9. 10. xX aF xX ax X xX aF

3、 bF xX a b x a b x a b x a x b x a x y a x a y 2020/10/15 5 图 5 - 2 xyyxX 图 5 - 1 2x 1x 图 5 - 3 2x 1x 2020/10/15 6 二维欧基里德空间 及其子集 如图 5-1所示的二维欧 基 里德空间 ，全部满 足上述 10个条件。 的子集，如图 5-2方框内的区域 X，不属 于向量空间。 的子集，如图 5-3中的直线 X。可以证明 直线上所有的点均满足上述的 10个条件。但 是，如果直线不经过坐标轴的原点，那么至 少这种直线不能满足第 4个条件。 2 2 2 2020/10/15 7 例：请证明一

4、条经过原点的直线上点的集 合构成了一个向量空间。 2020/10/15 8 除了标准的欧基里德空间之外，还有许多 其他的集合同样满足向量空间的 10个条件。 例如最高阶数小于或者等于 2的多项式集合 P2。此集合的两个元素是： 224 15 x t t yt 2020/10/15 9 多项式集合 P2是否满足是向量空间呢？ 若将两个阶数小于或等于 2的多项式相加， 其结果仍然是一个阶数小于或等于 2的多项 式，集合 P2 满足条件 1。 将一个标量和一个多项式相乘，不会改变 其阶数，集合 P2 满足条件 6。 显然，验证集合 P2 满足上述的 10个条件并 不是一件难事。 2020/10/15

5、 10 5.2.2 线性无关 线性相关 如果对 n个向量 而言，存在 n个标量 这 n个标量中，至少有一个是非零的， 满足 （ 5.4） 那么 是线性相关的。 线性无关 如果对 n个向量 ，当且仅 当每个 等于零的情况下，上式才成立，那 么称 是线性无关的。 12, , , nx x x 1 2 , na a a 1 1 2 2 0nna x a x a x ix 1 1 2 2 0nna x a x a x ia ix 2020/10/15 11 线性无关的实例，比如第三章中的模式识别 问题。两个标准模式（橘子和苹果）由如下 两个向量表示： 1 1 1 1 P 2 1 1 1 p 1 1 2

6、 2 0,a p a p令 则 有 12 12 12 0 0 0 aa aa aa 5.6 5.5 2020/10/15 12 在式 （ 5.6） 只有当 时成立。所以 线性无关。 再考虑阶数小于等于 2的多项式空间 中的向 量。设该空间中的三个向量分别是： 如果令 ，那么 所以，这三个向量线性相关。 12 0aa 12pp和 2p 21 1x t t 22 22x t t 3 1xt 1 2 31 , 1 , 1a a a 1 1 2 2 3 3 0a x a x a x 5.7 5.8 2020/10/15 13 5.2.3生成空间 12 1 2 1 1 2 2 , , , , , , m

7、 m m m X u u u X X x X x x x x x u x u x u 假 设 是 一 个 线 性 空 间 ， 且 是 中 一 般 向 量 的 子 集 。 该 子 集 能 够 生 成 ， 当 且 仅 当 对 每 一 个 ， 都 存 在 一 组 标 量 ， 满 足 = 。 也 就 是 说 ， 如 果 空 间 中 的 每 个 向 量 都 能 写 成 该 子 集 中 向 量 的 线 性 组 合 ， 那 么 这 个 子 集 就 能 够 生 成 一 个 空 间 。 2020/10/15 14 维数：一个向量空间的维数是由生成该空间所需要的 最少向量个数决定的。 基集： X的基集是由生成 X

8、的线性无关的向量所组成 的集合。任何基集包含了生成空间所需要的最少个数 的向量。 以线性空间 P2为例，该空间的一个可能的基是 任何一个阶数小于或等于 2的多项式都可以通过这三 个向量的线性组合表示。但请注意， P2中的任意三个 线性无关的向量都可以组成该空间的一个基。比如该 空间的基也可以是： 21 2 31 , ,u u t u t 21 2 31 , 1 , 1u u t u t t 2020/10/15 15 5.2.4内积 内积是许多神经网络操作的基础。这里将给 出内积的一般定义。 1 2 2 1 1 2 2 0 , 0 n T nn xy xy x y y x x ay by a

9、x y b x y x x x x x x y x y x y x y 1 内 积 任 何 满 足 下 列 条 件 的 关 于 和 的 标 量 函 数 都 可 以 定 义 为 一 个 内 积 , ： 1 , , ； 2 , , , ； 3 , 当 且 仅 当 是 零 向 量 时 , 。 对 于 中 的 向 量 而 言 ， 其 标 准 内 积 为 5.11 2020/10/15 16 上述对于内积的定义并不是唯一的内积形式。 比如，对定义在 0， 1区间内所有连续函数的 集合 C 0， 1而言，下面给出的标量函数 （ 5.12） 就是它的一种内积形式。 1 0 ,x y x t y t dt 5

10、.12 2020/10/15 17 5.2.5 范数 范数是一个基于向量长度概念的操作。如果 一个标量函数 满足以下一些性质，则称其 为范数： x 1 0 ; 2 0 , 0 ; 3; 4 x xx a a x a x x y x y 当 且 仅 当 对 所 有 的 标 量 有 。 实际上，有很多函数都可以满足上述条件。 一个普通的范数是基于内积按如下方式定义 的： 2020/10/15 18 1 / 2,x x x 5.13 1 / 2 2 2 2 12 1 n T n x x x x x x i 对 于 欧 基 里 德 空 间 而 言 ， 其 内 积 的 定 义 为 ： 5.14 在 神

11、经 网 络 应 用 中 ， 通 常 要 将 输 入 向 量 归 一 化 ， 也 即 每 个 输 入 向 量 的 p 。 , c os xy xy xy 角 度 利 用 上 述 范 数 和 内 积 的 定 义 ， 可 以 对 维 数 大 于 2 的 向 量 空 间 的 角 度 概 念 进 行 推 广 。 这 里 可 以 将 向 量 和 之 间 的 角 度 定 义 为 ： 5.15 2020/10/15 19 5.2.6 正交性 , , , 0 x y X x y正 交 性 如 果 两 个 向 量 满 足 ， 那 么 说 这 两 个 向 量 是 正 交 的 。 1 1 11 21 2 1 2 x

12、X X xX x X X XX X X X 正 交 向 量 空 间 如 果 向 量 正 交 于 子 空 间 中 的 每 一 个 向 量 ， 则 正 交 于 子 空 间 ， 通 常 将 其 记 为 。 如 果 子 空 间 中 的 每 一 个 向 量 都 正 交 于 子 空 间 中 的 每 一 个 向 量 ， 则 子 空 间 正 交 于 子 空 间 ， 对 此 用 。 2020/10/15 20 Gram-Schmidt正交化方法 线性无关和正交性是相互联系的。 可以将线 性无关向量集合转换为一个正交向量集合， 而且两者所生成的向量空间是相同的。这个 标准的转换过程被称为 Gram-Schmidt

13、正交化 方法。 2020/10/15 21 12 12 11 21 2 2 1 , , , , , , n n n y y y n v v v vy yv v y v 假 设 有 个 线 性 无 关 的 向 量 如 果 希 望 通 过 这 些 向 量 得 到 个 正 交 向 量 那 么 可 以 首 先 选 择 第 一 个 线 性 无 关 向 量 作 为 第 一 个 正 交 向 量 ： 5.1 6 为 了 得 到 第 二 个 正 交 向 量 ， 可 以 将 减 去 处 于 方 向 上 的 分 量 。 据 此 ， 可 以 得 到 下 式 ： 12 1 2 1 2 1 1 2 1 1 12 11 0

14、 vv v v v y v v y v v vy vv 5.1 7 其 中 必 须 选 择 合 适 的 值 ， 使 正 交 于 ， 也 即 ： ， ， ， ， 5.1 8 或 ， 5.19 ， 2020/10/15 22 21 1 1 2 1 1 1 12 , , 21 12 k ik k k i i ii yv v v y v k vy v y v vv yy 2 投 影 因 此 ， 为 了 得 到 在 方 向 上 的 分 量 ， 需 要 求 这 两 个 向 量 的 内 积 。 也 称 是 在 向 量 上 的 投 影 。 如 果 继 续 这 一 过 程 ， 那 么 第 步 是 5.20 为

15、了 具 体 说 明 这 个 过 程 ， 请 考 虑 下 面 在 空 间 中 的 线 性 无 关 向 量 ： ， 5.2 1 2020/10/15 23 1 1 11 2 2 2 1 1 2 1 1 21 12 2 221 21 1 1 1.6 0.6 2 0.8 1.2 T T vy vy v y v vv 第 一 个 正 交 向 量 为 ： 5.22 第 二 个 正 交 向 量 的 计 算 如 下 所 示 ： 5.2 3 2020/10/15 24 5.2.7 向量展开式 12 1 1 2 2 12 , , , , n n i i n n i T n X v v v xX x x v x v

16、 x v x v x x x x xx =1 向 量 展 开 式 如 果 向 量 空 间 的 基 集 为 那 么 任 意 有 如 下 唯 一 的 向 量 展 开 式 ： = 5. 24 所 以 ， 有 限 维 向 量 空 间 中 的 任 意 向 量 都 可 以 用 一 列 数 来 表 示 ： = 5. 25 对 于 同 一 个 而 言 ， 如 果 基 集 发 生 变 化 ， 那 么 也 随 着 发 生 变 化 。 2020/10/15 25 , , , , , , , ij j nn j j i i i j i j j j ii j j jj v v i j v v x v x v x v v

17、 x v v vx x vv = 1 = 1 如 果 基 集 中 的 向 量 是 正 交 的 （ 即 =0, ） , 那 么 可 以 非 常 容 易 计 算 出 上 述 展 开 式 中 的 系 数 ， 只 要 在 式 5.24 两 边 求 与 的 内 积 即 可 ： 5. 26 上 述 展 开 式 系 数 可 以 由 下 式 给 出 ： 5.27 2020/10/15 26 1 2 1 2 0, , 1, , , , , , , , , ij nn T i j i j ij rv ij v v v r r r r v r v 互 逆 基 向 量 如 果 需 要 向 量 展 开 式 ， 而 基

18、集 又 不 是 正 交 的 ， 那 么 就 必 须 引 入 由 下 列 等 式 所 定 义 的 互 逆 基 底 ： 5.28 其 中 基 向 量 为 而 互 逆 基 向 量 为 。 如 果 互 逆 基 向 量 已 经 表 示 为 一 列 数 的 形 式 （ 通 过 向 量 展 开 式 ） ， 并 且 采 用 了 标 准 内 积 T 5.29 5.28 可 以 用 矩 阵 的 形 式 表 示 为 ： R B=I 5. 30 2020/10/15 27 12 12 1 1 2 2 1 : n n nn v v v r r r x x v x v x v r T -1 上 式 中 B= 5.31 R

19、= 5.32 所 以 ， 可 以 从 下 式 求 得 R R =B 5.33 最 后 可 根 据 R 的 列 求 得 互 逆 基 向 量 。 现 在 考 虑 向 量 展 开 式 5.34 求 式 5.34 的 两 边 和 之 间 的 内 1 1 1 1 2 1 2 1nn r x x r v x r v x r v 积 ： ， ， ， ， 5.35 2020/10/15 28 1 2 1 3 1 11 11 , , , 0 ,1 , , n jj r v r v r v rv x r x x r x 根 据 定 义 得 5.36 所 以 ， 上 述 展 开 式 中 的 第 一 个 系 数 是

20、5.37 一 般 情 况 下 ， 展 开 式 中 的 第 j 个 系 数 为 5.38 2020/10/15 29 12 2 2 12 21 , 12 0 3 2 ss s S ss 现 在 请 考 虑 如 下 实 例 ， 设 有 两 个 基 向 量 ： v v 5.39 其 中 ， 上 标 表 示 这 两 个 列 向 量 是 按 中 的 标 准 基 向 量 展 开 的 结 果 。 中 的 标 准 基 向 量 如 图 5-7 所 示 ， 分 别 为 图 中 的 向 量 和 。 现 假 设 要 用 这 两 个 基 向 量 对 下 面 的 向 量 进 行 展 开 ： x 5. 40 2020/10

21、/15 30 图 5 - 7 2v 1v2s 1s 2020/10/15 31 1 1 2 1 2 1 21 3 3 3 3 , 1 2 1 2 1 2 3 3 3 3 v x T 12 由 于 要 按 照 两 个 不 同 的 基 集 对 向 量 进 行 展 开 ， 所 以 这 里 必 须 要 注 意 各 个 数 学 符 号 都 要 明 确 地 标 注 。 展 开 该 向 量 的 第 一 步 是 找 到 互 逆 基 向 量 ： R r r 5.41 下 面 求 展 开 式 中 的 系 数 ： 1 22 0 2 1 1 3 3 3 2 2 0 21 1 3 33 2 TS v T S x rx

22、r x 5.4 2 2020/10/15 32 12 1 2 1 2 21 01 33 23 12 1 2 33 1 1 2 31 01 22 v T S S Sv x v v x x s s v v -1 或 按 矩 阵 形 式 写 成 x R x B x 5 . 4 3 于 是 有 （ 入 图 5-8 所 示 ） ： 5.44 注 意 现 在 有 两 种 的 展 式 ， 分 别 由 x 和 x 表 示 ， 即 是 5.45 由 此 可 以 看 出 ， 当 要 用 一 列 数 字 表 示 一 个 一 般 向 量 时 ， 必 须 知 道 其 向 量 展 开 式 所 采 用 的 基 集 是 什 么 。 2020/10/15 33 5 . 4 3 vS x -1 式 说 明 了 的 两 种 不 同 表 示 方 式 之 间 的 关 系 ： x B x 。 这 一 操 作 展 开 也 称 为 基 变 换 。 在 后 面 几 章 某 些 神 经 网 络 性 能 分 析 中 ， 基 变 换 非 常 重 要 。