多媒体信息处理

《多媒体信息处理》由会员分享，可在线阅读，更多相关《多媒体信息处理（34页珍藏版）》请在装配图网上搜索。

1、第 二 章 多 媒 体 信 息 处 理 技 术 2.1 多 媒 体 信 息 处 理 技 术 概 述一 、 多 媒 体 信 息 的 一 般 处 理 过 程 媒 体 数 字 化 变 换 与 编 码 存 储 传 输数 据 管 理各 种 应 用 处 理表 示 二 、 媒 体 、 数 据 与 信 息 之 间 的 关 系 媒 体 是 承 载 信 息 的 载 体 ， 是 信 息 的 表 示 形 式 。 不 同 的 媒 体 就 有 不 同 的 信 息 形 式 。 由 于 各种 媒 体 表 达 的 信 息 方 式 不 同 ， 所 能 承 载 的 信 息 量也 就 不 同 。 有 的 媒 体 可 以 直 接 表

2、达 信 息 ， 如 文 字 、 声 音 、 图 像 、动 画 等 ， 有 的 则 必 须 转 换 成 人 类 感 觉 器 官 可 以 接 受 的 形 式 ，如 物 理 定 理 、 股 票 升 跌 规 律 等 ， 即 要 转 换 成 文 字 、 符 号 或某 种 图 形 曲 线 等 形 式 ， 才 能 被 人 们 所 理 解 和 接 受 。 2.数 据 是 记 录 信 息 的 符 号 ， 信 息 是 对 数 据 的 解 释 ； 多 媒 体 数 据 是 以 不 同 媒 体 形 式 记 录 下 来 的 、 可以 解 释 的 格 式 化 符 号 。 它 有 各 种 不 同 的 形 式 ， 是 客观 的

3、 ， 而 且 总 是 具 体 为 某 种 媒 体 。 而 多 媒 体 信 息 是 对 多 媒 体 数 据 的 解 释 ， 是 主 观的 、 抽 象 的 ， 因 人 而 异 ， 以 增 加 知 识 为 目 的 。 3.知 识 是 高 层 次 的 信 息 ； 知 识 ， 是 对 客 观 规 律 的 认 识 ， 是 高 层 次 的 信 息 ，需 要 人 们 对 信 息 进 行 接 收 、 归 纳 和 总 结 等 能 动 思 维 ，才 能 获 取 对 客 观 规 律 的 认 识 。 而 且 这 种 认 识 还 与 个人 受 教 育 程 度 、 个 人 理 解 水 平 的 差 异 等 各 种 因 素 有

4、关 。 由 此 可 见 ， 媒 体 以 一 定 的 客 观 状 态 而 存 在 ， 不同 状 态 以 不 同 形 式 承 载 信 息 ； 数 据 经 过 处 理 解 释 过 程 形 成 信 息 ； 信 息 又 经 过 人 脑 的 思 维 处 理 过 程 形 成 知 识 ； 知 识 是 用 信 息 表 达 的 ， 信 息 则 是 用 数 据 表 达 的 。 这 种 层 次 ， 不 仅 反 映 了 数 据 、 信 息 和 知 识 的 因果 产 生 的 关 系 ， 而 且 也 反 映 了 它 们 之 间 不 同 的 抽 象程 度 。 媒 体 、 数 据 、 信 息 、 知 识 之 间 关 系 示 意

5、 图 ， 如 图 2.1所 示 知识信息 媒体数据数据解释、描述解释、描述分类、规格化分类、规格化记录、表达记录、表达联系、归纳、表达承载、表达图2.1 媒体、数据、信息、知识之间的关系示意图 三 、 信 息 量 的 度 量 信 息 论 的 创 始 人 香 农 (Shannon)以 概 率 论 的 观 点方 法 ， 提 供 了 一 种 度 量 信 息 量 的 方 法 。1、 信 息 函 数 定 义 为 ： I(ai)= log2Pi 或 简 写 I(ai)= logPi (i=1， 2， 3， ， r) 其 中 ， P i(i=1， 2， ,r) 表 示 随 机 消 息 集 X: a1，a2，

6、 ， ar 中 消 息 ai(i=1， 2， ， r)的 先 验 概 率 。I(ai) (i=1， 2， ， r)即 为 ai所 含 的 信 息 量 ， 其 基 本单 位 为 比 特 （ bit） 。 2、 信 息 熵 在 信 息 函 数 的 基 础 上 ， 信 息 熵 定 义 为 ： （ 比 特 /符 号 ） H（ x） 用 来 度 量 消 息 集 X中 每 一 种 消 息 所 含 的 平均 信 息 量 ， 是 信 息 函 数 I（ ai） ( i=1， 2， ， r )在X的 先 验 概 率 空 间 P： p1， p2， ， pr 中 的 统 计平 均 值 。 1 2 1 1( ) ( ,

7、 , , ) ( ) logr rr i i i ii iH x H p p p p I a p p 对 于 信 息 量 （ 或 信 息 熵 ） ， 应 有 如 下 理 解 ： 一 个 消 息 所 表 示 的 内 容 对 于 接 受 者 来 说 ， 应 该是 事 先 不 知 道 的 ， 这 样 的 消 息 才 是 信 息 ， 否 则 对 他 毫无 意 义 。 这 个 信 息 要 有 正 确 的 表 达 方 式 ， 否 则 接 收 者 无法 理 解 ， 当 然 也 就 无 法 接 收 。 该 信 息 对 使 用 者 来 说 是 有 意 义 的 ， 即 要 有 使 用价 值 。 我 们 可 以 利

8、 用 上 述 两 个 公 式 来 衡 量 某 种 媒 体 所 承载 的 信 息 量 ， 尽 量 使 得 媒 体 承 载 的 信 息 保 持 本 来 特 性 ，以 获 取 最 大 信 息 量 ， 便 于 使 用 者 理 解 和 接 受 。 四 、 媒 体 的 不 同 表 现 形 式 在 计 算 机 中 ， 常 按 人 的 感 觉 来 划 分 媒 体 ， 一 般 将媒 体 划 分 为 ： 视 觉 类 媒 体 、 听 觉 类 媒 体 、 触 觉 类 媒 体 、活 动 媒 体 、 抽 象 事 实 媒 体 和 混 合 媒 体 等 。 其 中 ， 视 觉类 媒 体 和 听 觉 类 媒 体 所 承 载 的

9、信 息 占 人 们 获 取 信 息 的绝 大 部 分 。 对 于 这 些 媒 体 ， 根 据 不 同 的 抽 象 程 度 可 分成 若 干 层 次 ， 每 一 层 次 对 应 不 同 的 表 现 形 式 。 计 算 机 中 常 见 的 媒 体 如 表 2.1所 示 。 下 面 简 单 介绍 这 几 类 媒 体 的 不 同 表 现 形 式 。 视 觉 类 媒 体 主 要 包 括 以 下 几 类 ： 位 图 图 像 （ Bitmap） 。 将 所 观 察 的 图 像（ Picture） 按 行 列 方 式 进 行 数 字 化 ， 对 图 像 的 每 一点 （ 称 为 像 素 点 ） 数 字 化 为

10、 一 个 值 （ 称 为 灰 度 值 ） ，所 有 这 些 值 就 组 成 了 位 图 图 像 。 这 是 一 种 对 视 觉 信 号 进 行 了 直 接 量 化 的 媒 体 形 式 ，反 映 了 信 号 的 原 始 形 式 。 根 据 量 化 的 颜 色 深 度 的 不 同 ， 又 可 分 为 二 值 和 灰度 （ 彩 色 ） 图 像 两 大 类 。 位 图 图 像 是 所 有 视 觉 表 示 方 法 的 基 础 。 矢 量 图 形 。 矢 量 图 形 一 般 也 称 为 图 形（ Graphics） ， 它 是 对 图 像 进 行 抽 象 化 的 结 果 ， 反映 了 图 像 中 实 体

11、最 重 要 的 特 征 ， 如 点 、 线 、 面 等 。 它 不 直 接 描 述 图 像 数 据 的 每 一 个 点 ， 而 是 描 述 产生 这 些 点 的 过 程 和 方 法 。 抽 象 化 （ 矢 量 化 ） 过 程 可 以由 计 算 机 自 动 进 行 ， 也 可 以 由 人 工 进 行 。 在 计 算 机 中 ，矢 量 图 形 以 一 组 指 令 的 形 式 存 在 ， 而 不 用 像 位 图 那 样对 图 像 的 每 一 个 点 进 行 量 化 存 放 。 因 此 ， 它 所 需 要 的存 储 量 很 小 。 在 计 算 机 图 形 学 上 ， 图 形 一 般 分 为 二 维 图

12、 形 和 三维 图 形 两 大 类 。 动 态 图 像 。 这 是 利 用 人 眼 的 视 觉 惰 性 ， 将 若 干连 续 的 静 态 图 像 或 图 形 在 时 间 轴 上 不 断 变 化 所 产 生 的结 果 。 如 果 单 帧 图 像 是 真 实 图 像 ， 则 为 动 态 影 像 视 频（ Video） ； 若 单 帧 图 像 是 由 计 算 机 生 成 的 真 实 感 图像 ， 则 为 三 维 真 实 感 动 画 (Animation)， 如 果 在 连续 过 程 中 变 化 的 是 图 形 ， 则 是 二 维 或 三 维 动 画 。 视 频 和 动 画 序 列 都 是 由 节 段

13、 构 成 的 ， 它 们 都 是 时基 类 媒 体 。 与 传 统 的 影 视 视 频 和 动 画 不 同 的 是 ， 在 多媒 体 计 算 机 中 ， 这 些 动 态 图 像 不 仅 要 存 储 和 播 放 ， 而且 要 能 进 行 变 换 、 压 缩 、 传 输 和 编 辑 等 处 理 。 符 号 。 符 号 是 人 类 对 信 息 进 行 抽 象 的 结 果 。符 号 可 以 表 示 数 值 ， 表 示 事 物 或 事 件 ， 也 可 以 表示 语 言 和 文 字 。 文 本 是 具 有 上 下 文 相 关 特 性 的 符 号 流 。 由 于符 号 是 人 类 创 造 出 来 表 示 某

14、 种 含 义 的 符 号 ， 所 以它 与 使 用 者 的 知 识 有 关 ， 是 比 图 形 更 高 一 级 的 抽象 。 必 须 具 备 特 定 的 知 识 ， 才 能 解 释 特 定 的 符 号 ，才 能 解 释 特 定 的 文 本 （ 如 语 言 ） 。 符 号 的 表 示 是 用 特 定 值 表 示 的 ， 例 如 ASCII码 、 中 文 图 标 码 等 。 (2) 听 觉 类 媒 体 凡 是 通 过 声 音 形 式 以 听 觉 传 递 信 息 的 媒 体 ， 都属 于 听 觉 类 媒 体 ， 这 类 媒 体 是 连 续 的 时 基 类 媒 体 ，具 有 过 程 性 和 时 间 性

15、 ， 它 的 范 围 比 视 觉 类 媒 体 要 小得 多 ， 主 要 有 以 下 几 类 ： 波 形 声 音 （ Wave Voice） 。 所 谓 波 形 声音 ， 实 际 上 已 经 包 含 了 所 有 的 声 音 形 式 ， 因 为 任 何声 音 都 可 以 进 行 采 样 量 化 ， 并 恰 当 恢 复 出 来 。 事 实上 ， 波 形 声 音 就 是 自 然 界 中 所 有 声 音 的 “ 数 字 化 声音 ” ， 它 的 获 取 是 通 过 声 音 的 数 字 化 接 口 进 行 的 。 一 般 来 说 ， 对 声 音 的 处 理 主 要 集 中 在 声 音 的 数据 压 缩 、

16、 数 据 编 辑 和 声 音 效 果 的 处 理 上 。 语 音 (Voice)。 语 音 主 要 是 指 人 类 说 话 的 各 种声 音 。 它 与 波 形 声 音 不 同 ， 因 为 人 的 说 话 声 不 仅 表现 为 一 种 波 形 ， 而 且 还 具 有 内 在 的 语 言 、 语 音 学 内涵 ， 可 以 经 由 特 殊 的 方 法 而 提 取 ， 即 进 行 一 次 抽 象 ，所 以 常 把 它 作 为 一 种 特 殊 的 媒 体 。 语 音 中 包 含 了 许 多 音 节 及 其 相 互 间 过 渡 过 程 的连 接 体 ， 而 且 语 音 也 与 具 体 的 语 言 有 关

17、 。 音 乐 (Music)。 音 乐 与 语 音 相 比 形 式 就 更 为规 范 一 些 。 事 实 上 ， 音 乐 就 是 符 号 化 了 的 声 音 ， 这种 符 号 就 是 乐 曲 ， 乐 谱 则 是 转 变 为 符 号 媒 体 形 式 的声 音 。 就 计 算 机 媒 体 而 言 ， 基 于 乐 器 数 字 接 口MIDI(Musical Instrument Digital Interface)的 音 乐 ， 就 是 十 分 规 范 的 一 种 形 式 。 与波 形 声 音 不 同 ， MIDI数 据 是 指 令 集 合 。 因 此 ，MIDI的 数 据 量 很 小 ， 对 其

18、进 行 编 辑 处 理 很 灵 活 方 便 ，在 音 序 器 的 帮 助 下 ， 用 户 可 自 由 地 改 变 音 调 、 音 色等 属 性 ， 直 到 理 想 的 效 果 。 （ 3） 其 他 类 媒 体 除 视 觉 类 、 听 觉 类 媒 体 之 外 ， 在 信 息 传 递 过 程中 还 有 许 多 其 他 种 类 的 信 息 媒 体 （ 如 触 觉 类 媒 体等 ） 。 有 的 使 用 其 他 感 觉 空 间 ， 如 触 觉 、 味 觉 或 嗅觉 等 ， 有 的 则 使 用 更 为 复 杂 的 形 式 ， 如 活 动 、 自 然规 律 、 抽 象 数 据 等 。 现 在 ， 在 多 媒

19、 体 系 统 中 ， 已 经 把 触 觉 媒 体 作 为一 种 重 要 的 媒 体 引 入 到 实 际 系 统 中 ， 有 的 甚 至 包 括了 嗅 觉 。 特 别 是 模 拟 类 应 用 ， 如 汽 车 驾 驶 训 练 系 统 、飞 机 驾 驶 训 练 系 统 、 数 据 手 套 、 数 据 衣 服 及 头 盔 式显 示 器 等 。 这 种 对 实 际 环 境 的 模 拟 ， 实 际 上 就 是 在信 息 交 互 的 通 道 上 更 进 了 一 步 ， 使 人 与 环 境 的 信 息交 流 更 充 分 。 1. 媒 体 的 性 质 从 信 息 表 达 的 角 度 看 ， 媒 体 具 有 如

20、下 四 个 方面 的 性 质 。 (1)有 格 式 的 数 据 才 能 表 达 信 息 的 含 义 。 (2)不 同 的 媒 体 所 表 达 的 信 息 的 程 度 不 同 。 (3)媒 体 之 间 的 关 系 也 代 表 着 信 息 ， 甚 至 代 表内 在 的 更 多 信 息 。 (4)媒 体 之 间 可 以 进 行 相 互 转 换 。 五 、 多 媒 体 信 息 的 特 点 2.多 媒 体 的 综 合 特 性 多 媒 体 信 息 是 多 种 媒 体 的 综 合 集 成 。 它 不 仅具 有 媒 体 单 独 特 性 ， 而 且 具 有 媒 体 集 成 后 的 综 合特 性 。 (1)媒 体

21、 之 间 的 相 对 性 质 ； (2)多 媒 体 的 交 互 特 性 ； (3)媒 体 之 间 的 转 换 特 性 ； (4)多 媒 体 数 据 自 身 的 特 点 (1)媒 体 之 间 的 相 对 性 质 ； 静 止 和 运 动 ： 静 止 与 运 动 是 媒 体 表 现 的 两 种 形 式 。 “ 静 止 ” 指 的 是 媒 体 在 表 现 时 间 上 不 受 媒 体 本 身 的 限 制 ，可 以 保 留 任 意 的 时 间 ； “ 运 动 ” 则 指 媒 体 在 表 现 过 程 中 与 时 间 是 紧 密 相 连 的 ， 时间 将 决 定 该 媒 体 的 保 留 时 间 。 空 间 和

22、 时 间 ： 多 媒 体 的 时 间 意 义 是 指 在 表 现 上 需 要 时 间 和 媒 体 的 时 间属 性 ； 而 多 媒 体 信 息 的 空 间 意 义 有 两 种 解 释 ： 第 一 种 是 指 表 现空 间 ， 这 主 要 是 指 显 示 空 间 的 安 排 ； 第 二 种 是 强 调 媒 体 之 间相 互 的 空 间 关 系 ， 这 主 要 是 指 将 多 媒 体 信 息 在 空 间 上 进 行 有序 地 组 织 ， 这 样 有 序 的 组 织 可 以 有 助 于 反 映 信 息 的 整 体 或 全 貌 。 暂 时 和 永 久 ： 相 对 于 媒 体 的 数 据 而 言 ， “

23、 暂 时 ” 一 般 指 的 是 在 动 态 过程 中 为 了 某 一 效 果 而 插 入 的 中 间 结 果 ， 如 视 频 影 像 中 的 某 些帧 等 ； “ 永 久 ” 一 般 是 指 文 件 （ 数 据 ） 的 定 态 表 示 ， 如 一 幅静 态 的 图 像 。 媒 体 的 单 位 和 量 级 ： 依 照 媒 体 的 特 性 ， 各 种 媒 体 所 采 用 的 单 位 可 划 分 为 元 素 级 、中 间 级 、 帧 级 和 复 合 级 ， 而 不 同 的 量 级 对 应 不 同 的 单 位 。 同 步 和 异 步 ： 所 谓 异 步 ， 是 指 时 间 上 不 能 预 知 何 时

24、 发 生 ， 没 有 严 格 的 限制 ， 而 同 步 则 要 求 在 时 间 上 必 须 满 足 各 种 媒 体 的 实 际 需 要 。在 多 媒 体 信 息 处 理 中 ， 媒 体 的 同 步 和 异 步 问 题 实 质 上 就 是 媒体 之 间 的 协 调 关 系 问 题 ， 而 且 这 种 协 调 往 往 是 必 须 要 考 虑 的关 键 问 题 。 一 对 一 和 一 对 多 ： 这 主 要 是 指 媒 体 的 交 互 形 式 。 目 前 使 用 最 多 的是 一 对 一 形 式 ， 也 有 一 对 多 的 形 式 ， 如 广 播 、 电视 等 ， 但 缺 乏 交 互 性 。 未 来

25、 网 络 的 发 展 ， 则 有 望解 决 这 一 问 题 ， 如 视 频 点 播 （ VOD） 等 。 (2)多 媒 体 的 交 互 特 性 ； “交 互 ” 是 人 与 信 息 系 统 交 换 信 息 的 全 过 程 ， 具有 多 层 的 含 义 。 对 数 据 的 交 换 是 最 低 层 次 的 交 互 形式 ， 只 是 将 数 据 进 行 交 换 转 移 。 若 交 互 以 信 息 为 主 ， 如 对 媒 体 的 选 择 、 形 式 的变 化 、 查 询 、 命 令 和 请 求 的 转 换 以 及 用 户 本 身 的 各种 因 素 ， 则 需 要 对 数 据 进 行 解 释 ， 那 就

26、 需 要 知 识 的辅 助 。 譬 如 ， 对 每 一 种 媒 体 进 行 程 度 不 同 的 抽 象 ， 就是 对 该 媒 体 内 容 程 度 不 同 的 理 解 。 对 对 象 信 息 的 内容 进 行 处 理 ， 以 求 达 到 更 新 层 次 的 理 解 ， 这 是 更 高层 次 的 交 互 ， 目 前 尚 在 不 断 探 索 和 研 究 中 。 (3)媒 体 之 间 的 转 换 特 性 ； “媒 体 转 换 ” 不 仅 仅 是 格 式 转 换 ， 而 且 是 在 保持 所 需 内 容 的 情 况 下 ， 对 媒 体 形 式 进 行 的 转 换 。 大多 数 的 媒 体 转 换 都 是

27、 “ 合 成 ” 或 者 “ 识 别 ” ， 这 是媒 体 转 换 中 的 最 重 要 的 两 个 过 程 。 目 前 ， 较 为 成 熟 的 有 语 音 合 成 、 语 音 识 别（ IBM公 司 的 语 音 输 入 法 ） 、 文 字 识 别 、 图 像 识 别等 。 (4)多 媒 体 数 据 自 身 的 特 点 ； 多 媒 体 数 据 与 传 统 单 个 媒 体 的 数 据 相 比 较 ， 有 以下 特 点 ： 数 据 量 巨 大 。 这 给 数 据 的 处 理 、 存 储 、 传 输 等 技 术 带来 很 大 的 问 题 。 数 据 类 型 繁 多 。 从 媒 体 种 类 来 说 ，

28、有 文 字 、 声 音 、图 形 、 图 像 、 动 画 、 视 频 等 多 种 形 式 。 无 论 在 媒 体 的 输 入 上 ，还 是 在 媒 体 的 表 现 上 ， 尤 其 是 多 媒 体 综 合 上 ， 都 会 带 来 一 系列 的 问 题 。 同 时 ， 媒 体 的 种 类 还 在 随 着 系 统 的 不 断 进 展 而 继续 增 多 。 数 据 类 型 之 间 的 差 别 大 。 首 先 体 现 在 量 上 ， 有 的 媒 体 存 储 量 很 小 ， 而 有 的 媒 体 存 储量 却 大 得 惊 人 。 其 次 ， 体 现 在 内 容 上 ， 不 同 类 型 的 媒 体 由 于 格

29、 式 、 内 容 的不 同 ， 相 应 的 类 型 管 理 、 处 理 方 法 及 内 容 的 解 释 方 法 等 也 就不 同 ， 很 难 由 某 一 种 方 法 来 统 一 处 理 这 种 差 别 。 第 三 ， 这 种 类 型 的 差 别 不 仅 仅 体 现 在 空 间 上 ， 而 且 还 体 现在 时 间 上 ， 时 基 类 媒 体 （ 如 声 音 、 动 态 影 像 视 频 等 ） 的 引 入 ，与 原 先 建 立 在 空 间 数 据 基 础 上 的 信 息 组 织 方 法 ， 会 有 很 大 的不 同 。 多 媒 体 数 据 的 输 入 输 出 复 杂 。 在 多 媒 体 数 据

30、的 输 入 过 程 中 ， 有 两 种 方 式 ： 其 一 ， 多 通 道 异 步 输 入 方 式 。 这 种 方 式 ， 允 许 在 通 道 、 时间 都 不 相 同 的 情 况 下 ， 输 入 各 种 媒 体 数 据 并 存 储 ， 最 后 ， 按合 成 效 果 ， 在 不 同 的 设 备 上 表 现 出 来 。 该 方 式 也 是 目 前 绝 大多 数 系 统 所 采 用 的 方 式 。 譬 如 ， 从 扫 描 仪 录 入 照 片 、 从 录 音设 备 录 入 数 字 化 声 音 、 从 键 盘 输 入 字 符 ， 等 等 。 其 二 ， 多 通 道 同 步 输 入 方 式 。 这 种

31、方 式 ， 要 求 系 统 具 有 多通 道 同 时 输 入 并 分 解 媒 体 的 能 力 。 由 于 涉 及 的 设 备 众 多 ， 多媒 体 数 据 的 输 入 输 出 就 要 复 杂 得 多 ， 这 类 系 统 目 前 还 在 研 究开 发 之 中 。 综 上 所 述 ， 由 于 多 媒 体 信 息 具 有 上 述 这 些 综合 特 性 ， 因 此 ， 在 处 理 和 表 现 多 媒 体 信 息 时 ， 不能 简 单 地 按 单 个 媒 体 的 特 性 进 行 处 理 ， 而 是 要 注意 这 些 综 合 特 性 ， 有 针 对 性 地 对 多 媒 体 进 行 处 理 ，才 能 达 到 预 期 的 理 想 效 果 。 作 业1、 概 述 媒 体 、 数 据 与 信 息 之 间 的 关 系 。2、 概 述 多 媒 体 信 息 的 特 点 。