Oracle非结构化数据解决方案

《Oracle非结构化数据解决方案》由会员分享，可在线阅读，更多相关《Oracle非结构化数据解决方案（10页珍藏版）》请在装配图网上搜索。

1、Oracle 数据库 11g 管理非结构化数据 2一、引言2二、在 ORACLE 中管理非结构化数据的优势 3三、打破了原来处理非结构化数据的“性能障碍”43.1 Oracle SecureFiles 4.3.2 SecureFiles 中的存储优化5四、专用数据类型和数据结构64.1 Oracle XML DB64.2 Oracle Text 74.3 Oracle Spatial 84.4 RDF、OWL 和语义数据库管理 94.5 Oracle Multimedia94.6 Oracle DICOM 医学内容管理9五 结论10Oracle 数据库 11g 管理非结构化数据一、引言公司、企

2、业以及其他机构使用的绝大部分信息都可归类为非结构化数据 。 非结构化数据是计算机或人生成的信息，其中的数据并不一定遵循标准的数据结构（如 模式定义规范的行和列），若没有人或计算机的翻译，则很难理解这些数据。常见的非结构 化数据有文档、多媒体内容、地图和地理信息、人造卫星和医学影像，还有Web内容，如 HTML。根据数据的创建方式和使用方式的不同，非结构化数据的管理方法大不相同。1. 大量数据分布于桌面办公系统（如文档、电子表格和演示文稿）、专门的工作站和设备（如地理空间分析系统和医学捕获和分析系统）上。2. 政府、学术界和企业中数 TB 的文档存档和数字库。3. 生命科学和制药研究中使用的影像

3、数据银行和库。4. 公共部门、国防、电信、公用事业和能源地理空间数据仓库应用程序。5. 集成的运营系统，包括零售、保险、卫生保健、政府和公共安全系统中的业务或健康记 录、位置和项目数据以及相关音频、视频和图像信息。6. 学术、制药以及智能研究和发现等应用领域中使用的语义数据（三元组）。自数据库管理系统引入后，数据库技术就一直用于解决管理大量非结构化数据时所遇到 的特有问题。通常通过“基于指针的”方法使用数据库对存储在文件中的文档、影像和媒体 内容进行编目和引用。为了在数据库表内存储非结构化数据，二进制大对象（或简称为 BLOB）作为容器使用已经数十年了。除了简单的BLOB夕卜，多年以来，Ora

4、cle数据库一 直通过运算符合并智能数据类型和优化数据结构，以分析和操作 XML 文档、多媒体内容、 文本和地理空间信息。由于有了 Oracle 数据库 11g， Oracle 再次在非结构化数据管理领域 开辟出一片新天地：大幅提升了通过数据库管理系统原生支持的非结构化数据的性能、安全 性以及类型。二、在 ORACLE 中管理非结构化数据的优势企业选择在 Oracle 数据库管理系统中存储非结构化数据的原因有很多：1. 强健的调优和管理：存储在数据库中的内容可直接与相关数据链接。元数据和内容同步 进行维护；并在事务控制之下进行管理。数据库还提供强健的备份、恢复、物理调优和 逻辑调优服务。2.

5、简单的应用程序部署：Oracle支持各种特定类型的内容，包括SQL语言扩展、PL/SQL 和JAVA API、Xpath和Xquery （在使用XML时），在大多数情况下还支持JSP标 记库以及通过内置运算符执行常见或重要运算的算法。3. 高可用性： Oracle 的最高可用性体系结构使得“零数据丢失”配置可应用于所有数据。 在出现故障时只需一个恢复过程，这不同于常见配置。在常见配置中，属性信息存储在 数据库中，数据库具有指向文件中的非结构化数据的指针。4. 可伸缩的体系结构：在许多情况下，通过触发器、视图处理或表和数据库级参数进行索 引编制、分区和执行操作的能力使得构建在数据库而非文件系统上

6、的应用程序可以支持 更大的数据集。5. 安全性： Oracle 数据库可实现细粒度（行级和列级）安全性。同一安全机制既可应用 于结构化数据，也可应用于非结构化数据。使用许多文件系统时，目录服务无法实现细 粒度级的访问控制。限制单个用户的访问可能无法实现，在许多系统中，允许用户访问 目录中的任何内容意味着可以访问目录中的所有内容。三、打破了原来处理非结构化数据的“性能障碍”在没有 Oracle 数据库 11g 之前，要获得这些好处是要付出代价的。将内容存储在数 据库而不是传统文件系统中后，数据库特性（如域索引、分区和并行）可以改进地理空间应 用程序以及查询和更新密集型 XML 应用程序的性能。然

7、而，在许多情况下（例如多媒体 应用程序），管理和检索非结构化数据需要额外的处理能力和内存才能获得与文件系统等同 的性能。有了 Oracle数据库llg SecureFiles后，一切都不同了，新的高性能LOB支持检索非 结构化数据，速度可与等价的文件系统配置媲美，甚至超过了后者。SecureFiles是一个重 要的新体系结构,其特性包括全新的磁盘格式、空间和内存管理技术,它可显著提升LOB性 能并优化存储。3.1 Oracle SecureFilesSecureFiles 在数据库处理文件数据的方式上采用了全新的范例，对于基本查询和插入 操作可提供类似文件系统的性能。经过 SecureFile

8、s 优化的算法速度最快可达旧 LOB 的 10倍。SecureFiles可利用文件系统无法使用的多个高级Oracle数据库功能。在Oracle RAC环境中，SecureFiles提供的高级别可伸缩性远非文件系统可比。通过SecureFiles，用 户可使用“联机表重新定义”轻松地从旧 LOB 进行移植，而不会影响到现有应用程序。应 用程序不必再处理多个接口来操作关系和相关文件数据。使用SecureFiles时，非结构化数 据可以是数据库事务的一部分，因此，免去了应用程序保证原子性、读取一致性以及其他备 份和恢复过程的复杂性。SecureFiles 将透明数据加密 （TDE） 功能扩展到了 L

9、OB 数据。数据库支持表内所有 LOB 列的自动密钥管理，并可以对数据、备份和重做/撤消日志文件进行透明加密/解密。 应用程序无需更改即可通过SecureFiles LOB透明地利用TDE功能。SecureFiles支持下列 加密算法：1. 3DES168:三重数据加密标准，密钥长度为168位。2. AES128:高级加密标准，密钥长度为128位。3. AES192:高级加密标准，密钥长度为192位。（默认值）4. AES256：高级加密标准，密钥长度为256位。3.2 SecureF订中的存储优化与SecureFiles 起提供的还有高级文件系统特性，如重复消除(Deduplication)

10、和压缩。 重复消除可消除多个冗余的SecureFiles数据副本，并且对于应用程序是完全透明的0Oracle 可自动检测到多个相同的SecureFiles数据副本，并仅存储一个副本，从而节省了存储空间。 重复消除不仅简化了存储管理，而且显著提高了性能，尤其是对于复制操作。用户可使用行业标准的压缩算法压缩 LOB 数据，从而大幅节省存储空间并显著提升性 能。 Oracle 可自动判断 SecureFile 数据是否可进行压缩，或压缩是否有益。 SecureFiles 对 整个服务器使用默认的 LOB 压缩算法，并提供有各种级别的压缩。每种压缩级别都是压缩 系数和速度之间的一种平衡。企业可以根据存

11、储和 CPU 使用限制选择最适合其需求的压缩 级别。 SecureFiles 可自动进行压缩和解压缩，并且对于应用程序是完全透明的。四、专用数据类型和数据结构与数据库管理系统包括数据类型、存储和索引结构以及运算符以对结构化数据进行有效 查询和分析一样，它们在管理非结构化数据时也需要这些元素以实现增值。Oracle数据库 llg的这些特性在XML、文本、空间、语义以及多媒体和DICOM数据管理方面具有独 一无二的优势。4.1 Oracle XML DBXML 已为各行各业广泛采用。在卫生保健、制造、金融服务、政府以及出版等领域中 都可以找到基于XML的标准。事实上，基于XML的标准（如XBRL）

12、的引入已使XML 成为应用系统之间的信息交换机制。因此，越来越多的人将XML用作了任务关键数据的 持久性模型。为了满足这个需要， Oracle 开发了 Oracle XML DB。 Oracle XML DB 是一项高性能的 原生 XML 存储和检索技术，可在所有版本的 Oracle 数据库上使用。它完全支持所有关键 的 XML 标准，包括 XML、命名空间、DOM、Xquery、SQL/XML 和 XSLT。Oracle XML DB是第一个真正融合了关系/XML功能的平台，从而使用户可以针对XML内容充分利 用SQL语言以及针对关系数据充分利用XML范例。随着 Oracle 数据库 llg

13、 的发布， Oracle 扩展了其行业领先的 XML 支持，进而确保 了 Oracle 仍是存储、管理和查询所有可能的 XML 内容类型的最佳平台。 Oracle 数据库 llg 中的新特性改善了性能和可伸缩性，并对灵活性提供充分支持，从而使更多不同机构为 XML 数据模型所吸引。Oracle 数据库 llg 为使用 Oracle XMLSchema 优化的 XML 存储的用户 在诸多方面进行了改进。1. XML 模式的适当发展。2. XML 模式优化的存储的 Oracle 分区。3. 优化存储模型的 XML 模式优化的智能默认值。4. 模式优化的存储上的 XQuery 操作改进5. 支持通过

14、 Oracle Streams 复制基于文本的 XMLType 存储。为了以最优的方式处理非基于模式的 XML，Oracle 数据库 11g 引入了一个新的二进 制 XML 存储选件以及新的 XML 索引编制功能，从而带来高性能的插入、更新和查询操 作。Oracle的二进制XML格式允许针对XML内容进行基于路径的高效索引编制。该格 式可以优化 XQuery 执行和碎片提取。 Oracle 数据库 11g 新的 XML 索引编制功能可以 充分利用此格式。Oracle 数据库 11g 通过直接将 Oracle PL/SQL 程序包、过程和函数公开为 web 服务 简化了面向服务的轻型应用程序的实

15、施。 Oracle XML DB 信息库现在引入了一个支持工作 流类型应用程序的事件模型，其中的自动创建或修改文件等简单任务会启动相应流程。4.2 Oracle TextOracle Text是数据库环境所需的领先的文本搜索、检索和管理系统。在Oracle数据库 llg第1版中，Oracle Text引入了旨在保持其领先地位的新特性。这些新特性可以划分为 四个目标领域：1. 性能2. 应用程序停机时间最小化3. 国际化4. 维护简便“混合查询”（包含文本搜索部分和结构化部分的查询）的性能已通过“SDATA段” 和“混合域索引”的引入而得到了改善。所支持分区的数量得到了显著提高，在Oracle数

16、 据库 10g 中，可以使用的分区的数量最大为 9999，在 Oracle 数据库 11g 中，文本索引 分区的限制现在与表分区的限制相同，即 220 - 1 或 1,048,575。通过 Oracle 数据库 11g， Oracle Text 支持增量索引和联机索引重建，从而改进了系统 可用性。增量索引允许您在系统空闲时逐步创建索引。联机索引重建允许您创建“影子”索 引，该索引可在原始索引仍在使用的时候进行构建。当该索引构建完成时，可以将原始索引 调换为新建的影子索引。一旦这样操作，查询将自动转换至新索引。此外，利用 Oracle 数据库 11g 中的其他国际化支持，用户能够针对更多种语言进

17、行 自动语言识别、词干确定和分节操作。4.3 Oracle SpatialIDC的反复研究表明，Oracle是被广泛使用的企业空间数据库服务器，占据企业空间 数据库市场80%以上的份额。每个Oracle数据库都包含Oracle Locator，这是一个内置的 位置特性，使任何业务应用程序能够直接合并位置信息和打造自身竞争优势。Oracle 的高级地理空间选件 Oracle Spatial 11g 是一个综合的空间数据库产品，其中包 括对矢量和栅格数据、拓扑和网络模型、D数据、地理编码、路线选择以及OGC标准Web 服务的原生支持，可满足企业和政府应用程序的需求，这些应用程序包括用于土地管理、公

18、 共事业、国防以及本土安全的业务智能和高级地理空间系统。 Oracle 开放的原生空间支持 消除了分散、专用系统的成本，并为所有领先GIS供应商支持。只有Oracle可为以Oracle 原生类型存储的任务关键的空间资产提供行业领先的安全性、性能、可伸缩性以及可管理性。在 Oracle Spatial 11g 中， Oracle 引入了以下特性：1. 通过 Oracle 融合中间件 MapViewer 与 Oracle 业务智能套件2. 企业版、 Oracle 融合中间件 WebCenter 以及 Oracle 业务活动监视进行集成。3. 对存储和管理三维数据、点云和地形模型的支持。4. Ope

19、nGIS Web 服务标准：Web Map Service (WMS)、Web Feature Service - Transactions (WFS-T)、 Web Catalog Services(CS-W) 和 Open Location Services (OpenLS)。5. GeoRaster 数据类型和网络数据模型现在可更便捷地处理较以前大得多的数 据集。6. 路线搜索引擎、地理编码、拓扑数据模型和网络数据模型增强。随着 11g 的发布， Oracle Spatial 的重要新功能使其成为所有地理空间应用程序或提供 位置功能的企业应用程序的完善的数据管理平台。经过增强的空间几何数

20、据类型可支持三维 数据，并新增了数据类型以支持城市规划、国土安全或基于激光雷达的地图编制等领域中的 应用。这些应用需要对城市模型、点云和地形模型进行存储和管理。 Oracle Spatial 现在支 持地理空间 web 服务标准，可提供安全、可伸缩的面向服务的体系结构平台。经过增强的 GeoRaster 数据类型和网络模型可以处理的数据集的大小呈数量级增加，而且性能较高并更 易使用。结合 Oracle 数据库的性能、可伸缩性以及安全性， Oracle Spatial 11g 成为可用于企业 级部署的最高级空间数据库平台。4.4 RDF、OWL 和语义数据库管理新的软件和数据模型有助于数据/内容

21、集成和企业应用程序集成等领域内多个应用程序之间的知识共享。该软件将以语义数据建模标准，如W3C的RDF和OWL为基础。Oracle 数据库 11g 包含原生 RDF/RDFS/OWL 支持，从而使应用程序开发人员能够受 益于可伸缩、安全、集成、高效的语义数据管理平台。应用程序开发人员可以通过定义一套 术语及其之间的关系来为数据和元数据赋予意义。这些术语（“本体”）根据语义内容而不 仅仅是数据值实现查询、分析和操作。本体越来越多地用于构建利用特定领域知识的应用程 序。本体数据集通常包含数亿个数据项和关系，可存储在使用新的RDF数据模型的三个组 （或称为“三元组”）中。 Oracle 支持扩展至数

22、十亿三元组以满足要求最为严格的应用程 序的需求。4.5 Oracle MultimediaOracle Multimedia （以前称为Oracle interMedia）是一个使Oracle数据库能够以集成 其他企业信息的方式存储、管理和检索图像、音频、视频或其他媒体数据的特性。 Oracle Multimedia 将 Oracle 数据库的可靠性、可用性和数据管理扩展到了传统应用程序、互联网 应用程序、电子商务应用程序以及富媒体应用程序中的媒体内容。借助 Oracle 数据库 11g， Oracle Multimedia 显著提升了性能和可伸缩性。 Oracle Multimedia支持O

23、racle SecureFiles,大幅改进了 Oracle数据库的性能并显著强化了该数据 库的原生内容管理功能。此外，可以在数据库存储结构（BLOB）内存储和检索的单个媒体 对象的大小限制升级为BLOB的大小限制，即介于8 TB和128 TB之间。除了存储和检索大图像外， Oracle Multimedia 还可提取图像属性，如像素高达 20 亿 或解析度高达 46000x46000 的图像的高度、宽度以及压缩格式。4.6 Oracle DICOM 医学内容管理借助Oracle数据库11g，Oracle Multimedia可提供构建大规模DICOM格式医学影像 信息库和存档所必需的特性和性

24、能。通过使用 Oracle 数据库中的 SecureFiles 扩展 Multimedia来存储图像、音频和视频，使Oracle成为企业级数据库标准的所有安全性、性 能和管理工具现在也可用于大量医学对象存档。特别是对于医学影像应用程序，Oracle提供了以下方法:1. 将图像转换为可在 web 应用程序中使用的格式，以简化强调用户界面的应用 程序的开发。2. 提取标准和私有元数据以进行索引编制。3. 验证元数据是否符合 DICOM 标准或当地标准。4. 移除所有患者隐私数据，创建匿名图像用于研究或培训。5. 使用更正后的元数据创建新图像。6. 从非 DICOM 图像创建 DICOM 格式图像。所有这些特性都易于使用模型驱动的强大编程方法进行自定义以支持当地要求。安全的 数据模型信息库可用于支持 DICOM 标准和当地要求的频繁更改。五 结论Oracle 数据库 11g 中性能和功能的显著改进为实现更好的非结构化数据管理提供了 两个必要的基本因素。首先，能够以最高级别的性能管理、保护、查询和管理信息；其次， 能够以开放、标准的方式从数据获取信息和知识，而此前，则要依赖于专用应用程序或设备 逻辑。Oracle数据库llg提供了独特的管理非结构化数据的功能，这是十几年的开发、调 查以及与客户和应用程序提供商的紧密协作的结果。