第6章商业智能基础数据库和信息管理专业教育

《第6章商业智能基础数据库和信息管理专业教育》由会员分享，可在线阅读，更多相关《第6章商业智能基础数据库和信息管理专业教育（57页珍藏版）》请在装配图网上搜索。

1、国内的视频网站的用户付费习惯还未形成，主要盈利模式仍国内的视频网站的用户付费习惯还未形成，主要盈利模式仍然是广告投放，这就意味着完全让用户很难去决定影视剧的演员、然是广告投放，这就意味着完全让用户很难去决定影视剧的演员、导演、剧本。导演、剧本。另外一方面，对数据的梳理和挖掘上，技术门槛仍然很高。另外一方面，对数据的梳理和挖掘上，技术门槛仍然很高。龚宇坦言，每天在爱奇艺上的产生的龚宇坦言，每天在爱奇艺上的产生的日志文件的数据量日志文件的数据量，是，是每天每天新增的视频数据的新增的视频数据的300多倍多倍，但面对这个庞大的数字，由于受到，但面对这个庞大的数字，由于受到IT技术、数字模型的限制、爱奇

2、艺其实只挖掘了很小的一部分。技术、数字模型的限制、爱奇艺其实只挖掘了很小的一部分。更难以改变的现实是，国内市场缺乏成熟的透明度，视频网更难以改变的现实是，国内市场缺乏成熟的透明度，视频网站的流量、院线的票房数据都包含很大的水分，这让数据的真实站的流量、院线的票房数据都包含很大的水分，这让数据的真实性都难以保证，性都难以保证，数据分析和挖掘数据分析和挖掘就更难谈起了。就更难谈起了。现在企业的问题不是数据太少，而是数现在企业的问题不是数据太少，而是数据太多！据太多！“信息爆炸信息爆炸”面临的问题面临的问题存储存储信息爆炸信息爆炸访问访问共享共享安全安全数据是重要的组织资源数据是重要的组织资源，它同

3、企业其他资源：劳动力、原材料、资金和设备一样，应该放在同等重要的位置上进行管理。许多组织由于缺乏关于企业内部运作和外部环境的高质量的信息，因而在竞争中失败。第6章学习目标学习目标(1)描述描述数据库管理系统数据库管理系统如何解决传统文件环境中管理数如何解决传统文件环境中管理数据资源的问题据资源的问题(2)描述描述数据库管理系统的功能和价值数据库管理系统的功能和价值(3)设计和应用设计和应用重要数据库的设计原则重要数据库的设计原则(4)评估访问评估访问数据库中信息的工具和技术数据库中信息的工具和技术，以改善企业经，以改善企业经营绩效与决策营绩效与决策(5)评估信息政策、数据管理和数据质量，保证在

4、企业数评估信息政策、数据管理和数据质量，保证在企业数据资源管理中的作用据资源管理中的作用6.1 传统文件环境下的数据管理传统文件环境下的数据管理6.1.1 文件组织术语和概念文件组织术语和概念计算机系统采用层次结构组织数据计算机系统采用层次结构组织数据 字段字段：作为字或数字的一组字符 记录记录：相关字段的集合 文件文件：相同类型的记录集合 数据库：关联文件集合数据库：关联文件集合 记录：记录：描述一个实体 实体：实体：我们存储信息的人、场所、事物。属性：属性：描述实体的特性或特征数据库数据库 由一系列的负责存储数据的文件组成。由一系列的负责存储数据的文件组成。6.1 传统文件环境下的数据管理

5、传统文件环境下的数据管理图图6-1计算机系统一层次方式组织数据，计算机系统一层次方式组织数据，表示表示0或或1的位开始（最小单位）。的位开始（最小单位）。由位可以组成字节由位可以组成字节表示字符、数字和符号表示字符、数字和符号由字节组成字段。由字节组成字段。相关字段组合成记录。相关字段组合成记录。相关记录联合形成文件相关记录联合形成文件相关文件联合形成数据库相关文件联合形成数据库6.1 传统文件环境下的数据管理传统文件环境下的数据管理传统文件处理过程传统文件处理过程图图6-2使用传统文件处理方法可以鼓励公司的各个功能区域，发展专业应用程序和文件。使用传统文件处理方法可以鼓励公司的各个功能区域，

6、发展专业应用程序和文件。每个应用程序需要唯一的数据文件，该数据文件是主文件的子文件。每个应用程序需要唯一的数据文件，该数据文件是主文件的子文件。这些主文件的子集导致数据冗余、不一致、缺乏灵活性和浪费存储资源。这些主文件的子集导致数据冗余、不一致、缺乏灵活性和浪费存储资源。会计和金融会计和金融人力资源人力资源销售和市场销售和市场制造业制造业主文件数据元素主文件数据元素A到到Z衍生文件衍生文件6.1 传统文件环境下的数据管理传统文件环境下的数据管理6.1.2传统文件环境的问题传统文件环境的问题（1）数据冗余和不一致）数据冗余和不一致 数据冗余：多个文件中重复出现相同数据 数据不一致性：相同属性具有

7、不同的值。（2）数据）数据-程序依赖程序依赖 某个程序变化时，相应的数据也随之变化（3）缺乏灵活性）缺乏灵活性（4）低安全性）低安全性（5）低共享性）低共享性6.1 传统文件环境中组织数据传统文件环境中组织数据6.2.1 数据库管理系统数据库管理系统 应用程序和物理数据文件应用程序和物理数据文件之间的接口之间的接口 划分数据的划分数据的逻辑视图和物理视图逻辑视图和物理视图6.2 使用数据库管理数据使用数据库管理数据6.2.1 数据库管理系统数据库管理系统1.解决传统文件环境的问题解决传统文件环境的问题 集中管理，控制冗余集中管理，控制冗余 消除不一致消除不一致 分离程序和数据分离程序和数据 使

8、组织集中管理数据和数据安全。使组织集中管理数据和数据安全。6.2 使用数据库管理数据使用数据库管理数据图图6-3单一的人力资源数据库根据用户对信息的需求提供许多不同数据视图。单一的人力资源数据库根据用户对信息的需求提供许多不同数据视图。这里说明两个视图：员工保险金视图和工资总额视图这里说明两个视图：员工保险金视图和工资总额视图员工员工ID姓名姓名社会保险号社会保险号职位职位雇佣日期雇佣日期总工资总工资净收入工资净收入工资人寿保险人寿保险养老保险养老保险健康保险健康保险数据库管理系统数据库管理系统名字名字社会保险号社会保险号健康保险健康保险保险金视图保险金视图工资总额视图工资总额视图名字名字社会

9、保险号社会保险号总工资总工资税后工资税后工资6.2.1 数据库管理系统数据库管理系统三种主要的数据库模型三种主要的数据库模型6.2 使用数据库管理数据使用数据库管理数据2.关系型数据库管理系统关系型数据库管理系统 使用使用二维表或文件二维表或文件表示二维数据表示二维数据 每张表包含每张表包含实体数据和属性数据实体数据和属性数据 表：行和列的网格表：行和列的网格 行（复表）：不同行（复表）：不同实体的记录实体的记录 字段（列）：表示字段（列）：表示实体的属性实体的属性 关键字段：唯一标示记录的字段关键字段：唯一标示记录的字段 主关键字：在表中可以唯一确定记录的字段主关键字：在表中可以唯一确定记录

10、的字段 外关键字：第二张表中的外关键字：第二张表中的主关键字主关键字，用来在源表中查询，用来在源表中查询记录字段记录字段6.2 使用数据库管理数据使用数据库管理数据2.关系型数据库管理系统关系型数据库管理系统关系型数据库以二维表的形式组织数据。关系型数据库以二维表的形式组织数据。这里主要说明供应商和零件实体表这里主要说明供应商和零件实体表,显示如何表示每个实体和属性。显示如何表示每个实体和属性。供应商号是供应商表的主关键字，是零件表的外关键字。供应商号是供应商表的主关键字，是零件表的外关键字。（1）关系数据库表）关系数据库表关键字段（主关键字）关键字段（主关键字）6.2 使用数据库管理数据使用

11、数据库管理数据图图6-4B（1）关系数据库表（续）关系数据库表（续）主关键字主关键字外关键字外关键字6.2 使用数据库管理数据使用数据库管理数据3.关系型数据库管理系统的操作关系型数据库管理系统的操作使用三种基本操作来开发有用数据集使用三种基本操作来开发有用数据集 选择：选择：创建符合规定标准的数据子集创建符合规定标准的数据子集 连接：连接：连接关连表为用户提供比单表更多有用信息连接关连表为用户提供比单表更多有用信息 投影：投影：按照指定列子集创建指定的信息表按照指定列子集创建指定的信息表6.2 使用数据库管理数据使用数据库管理数据图图6-5选择、投影、连接操将两个不同表进行组合，并显示选定选

12、择、投影、连接操将两个不同表进行组合，并显示选定的属性的属性6.2数据库的数据管理方法数据库的数据管理方法 4.面向对象的数据库面向对象的数据库 作为对象进行数据存储和处理作为对象进行数据存储和处理 用于管理图、多媒体、用于管理图、多媒体、Java小应用程序小应用程序 处理大量数据的速度方面逊色于关系型数据库处理大量数据的速度方面逊色于关系型数据库 混合对象混合对象-关系型数据库：提供对象关系型数据库：提供对象-关系型数据库和关关系型数据库和关系数据库的功能系数据库的功能6.2数据库的数据管理方法数据库的数据管理方法数据定义的能力数据定义的能力：指定数据内容的结构、创建表和定义指定数据内容的结

13、构、创建表和定义字段特性。字段特性。数据字典数据字典：自动或手动存储数据元素及其特征的定义：自动或手动存储数据元素及其特征的定义数据操纵语言：数据操纵语言：用来从数据库中增加、改变、删除数据用来从数据库中增加、改变、删除数据(SQL)结构化查询语言结构化查询语言 微软的微软的Access是通常的用户是通常的用户SQL生成工具生成工具 许多关系型数据库系统具有许多关系型数据库系统具有生成报表的功能生成报表的功能6.2数据库的数据管理方法数据库的数据管理方法6.2.2 数据库管理系统的功能数据库管理系统的功能Microsoft Access有字典功能，显示有关信息的大小，格式和数有字典功能，显示有

14、关信息的大小，格式和数据库中每个字段的特性。据库中每个字段的特性。这里显示的是供应商表中的信息。供应商号左端的小钥匙图标表这里显示的是供应商表中的信息。供应商号左端的小钥匙图标表明它是一个关键字段。明它是一个关键字段。6.2数据库的数据管理方法数据库的数据管理方法6.2.3 数据库设计数据库设计1.1.数据库设计是一个从现实世界向计算机数据世界转换的过程。客观世界信息世界（概念世界）数据世界事物及其联系实体及其联系（概念模型）数据库（数据模型）事物类实体集文件对象、个体实体记录性质属性数据项三个不同世界术语对照表三个不同世界术语对照表6.2.3 数据库设计（3）数据库设计的步骤）数据库设计的步

15、骤（3）数据库设计的步骤）数据库设计的步骤（3）数据库设计的步骤）数据库设计的步骤 实体联系图实体联系图 由数据库设计者使用，表示数据模型由数据库设计者使用，表示数据模型 说明实体间的联系说明实体间的联系（3）数据库设计的步骤）数据库设计的步骤概念（逻辑）设计：从企业的角度抽象模型概念（逻辑）设计：从企业的角度抽象模型物理设计：数据库如何存储在直接访问存储设备上物理设计：数据库如何存储在直接访问存储设备上6.2.3 数据库设计数据库设计（1）规范化）规范化 把复杂的数据组合简化，尽可能地减少数据冗余和多对多的数把复杂的数据组合简化，尽可能地减少数据冗余和多对多的数据关系。据关系。6.2.3 数

16、据库设计数据库设计图图6-9一个非规范化的关系包含重复组。一个非规范化的关系包含重复组。例如，每个订单可能有多种零件和多个供应商。例如，每个订单可能有多种零件和多个供应商。订单号和订单日期之间是一一对应的。订单号和订单日期之间是一一对应的。非规范化订单关系非规范化订单关系订单（规范化之前）订单（规范化之前）订订单单号号供供应应商商号号供应供应商名商名称称供应供应商城商城市市供应供应商国商国家家供应供应商街商街道道供应供应商邮商邮编编价价格格单单位位零零件件数数量量零零件件号号零零件件名名订订单单日日期期（1）规范化）规范化（2）实体关系图（）实体关系图（Entity Relationship）

17、6.2.3 数据库设计数据库设计图图6-11这张图显示了订单实体、时间线实体、零件实体和供应商实体之间的关系。这张图显示了订单实体、时间线实体、零件实体和供应商实体之间的关系。u数据库设计案例某学院某学院“教学管理教学管理”数据库模型数据库模型（1）设计“系和教师关系”的分E-R图（2）设计“学生和课程关系”的分E-R图（3）设计“教师与课程关系”的分E-R图（4）将上述三个分综合，建立学院教学管理总E-R图将学院“教学管理E-R图”所描述的信息（概念）世界中的概念模型转化为计算机上由关系型DBMS支持的关系数据模型。设计设计“系和教师关系系和教师关系”的分的分E-R图图 该学院下设四个系：管

18、理工程系、会计系、市场营销系和该学院下设四个系：管理工程系、会计系、市场营销系和信息管理系，每个系有一个系主任主管该系工作。信息管理系，每个系有一个系主任主管该系工作。将将“系系”设为一个实体，该实体具有以下属性：系代设为一个实体，该实体具有以下属性：系代号、系名称、系主任姓名、办公地点、电话。其中系号、系名称、系主任姓名、办公地点、电话。其中系代号是主关键字代号是主关键字 该学院聘请了一定数量的专职教师。该学院聘请了一定数量的专职教师。将“教师”设为一个实体，该实体具有以下属性：教师编号、教师姓名、专业特长。其中教师编号是主关键字。学院聘请教师后，分配到各系学院聘请教师后，分配到各系。一个系

19、有多个教师；一个教师只能属于一个系有多个教师；一个教师只能属于一个系。一个系。“教师教师”实体与实体与“系系”实体之间发生一实体之间发生一对多（对多（1：M）的）的“分配分配”联系。联系。1 分 配 m 系 教 师 教学管理总教学管理总E-R图图 图1“教学管理”E-R图6.3 使用数据库提高企业绩效和决策能力使用数据库提高企业绩效和决策能力6.3.1大数据库挑战：需要特殊的功能和工具大数据库挑战：需要特殊的功能和工具 分析大量数据 从多个系统中访问数据6.3.2 商务智能的基础设施商务智能的基础设施1.数据仓库2.数据集市1.数据仓库数据仓库 存储来自多个核心操作事务系统存储来自多个核心操作

20、事务系统的当前、历史数据 巩固和规范跨企业的信息巩固和规范跨企业的信息，但是数据不能被修改。数据仓库系统将提供查询、分析和汇报工具提供查询、分析和汇报工具6.3 使用数据库提高企业绩效和决策能力使用数据库提高企业绩效和决策能力图图6-14一系列分析工具处理一系列分析工具处理数据库中的数据，帮数据库中的数据，帮助经理和雇员找出更助经理和雇员找出更好地决策和提高组织好地决策和提高组织绩效的模式和见解。绩效的模式和见解。数据库数据库数据仓库数据仓库企业智能企业智能保持交易追踪保持交易追踪寻找模式和洞察力寻找模式和洞察力决定作出反应的数据和模式决定作出反应的数据和模式 6.3 使用数据库提高企业绩效和

21、决策能力使用数据库提高企业绩效和决策能力 1.数据仓库数据仓库 2.数据集市数据集市 数据仓库的子集数据仓库的子集 被特殊用户群体使用的企业总结数据或高度聚焦于公司被特殊用户群体使用的企业总结数据或高度聚焦于公司某一部分的数据某一部分的数据 典型地聚焦于单个领域或业务线单个领域或业务线6.3 使用数据库提高企业绩效和决策能力使用数据库提高企业绩效和决策能力 商业智能：商业智能：巩固、分析和提供获取大量数据的工具，帮助用户做出更好的商业决策 例如，哈拉斯娱乐赌博分析客户开发概况并找出最有利可图的客户。原理工具包括：原理工具包括：u联机分析处理联机分析处理u数据挖掘数据挖掘u文本挖掘和网络数据挖掘

22、文本挖掘和网络数据挖掘6.3 使用数据库提高企业绩效和决策能力使用数据库提高企业绩效和决策能力1.联机分析处理（联机分析处理（OLAP）(On-Line Analytical Processing)多维数据分析，主要是对大量多维数据的动态综合、分析和归纳。多维数据分析，主要是对大量多维数据的动态综合、分析和归纳。6.3 使用数据库提高企业绩效和决策能力使用数据库提高企业绩效和决策能力 2.数据挖掘数据挖掘 与与OLAP相比发现更多的驱动信息相比发现更多的驱动信息 发掘数据中隐藏的模式和关系，并将这些规则用于预测未来发掘数据中隐藏的模式和关系，并将这些规则用于预测未来发展。发展。例如：在一对一营

23、销活动客户数据中寻找模式，或者确定有例如：在一对一营销活动客户数据中寻找模式，或者确定有利可图的模式利可图的模式 数据挖掘中可获取的信息类型数据挖掘中可获取的信息类型 关联关联 顺序顺序 分类分类 串联串联 预测预测6.3 使用数据库提高企业绩效和决策能力使用数据库提高企业绩效和决策能力 2.数据挖掘数据挖掘 使用数据挖掘技术、历史数据和未来条件的假设来预测事件结果 例如：顾客对一个特殊产品出价或购买的概率 3.文本挖掘与网络挖掘文本挖掘与网络挖掘 从大量无结构化数据集(存储的电子邮件)中抽取关键元素。6.3 使用数据库提高企业绩效和决策能力使用数据库提高企业绩效和决策能力3.文本挖掘与网络挖

24、掘文本挖掘与网络挖掘从万维网中发掘和分析有用模式信息例如，要了解顾客行为，评估网站效力等 Web内容挖掘内容挖掘从网页内容中提取知识 Web结构挖掘结构挖掘例如，网页链接进出 Web使用挖掘使用挖掘通过Web服务器记录用户交互数据6.3 使用数据库提高企业绩效和决策能力使用数据库提高企业绩效和决策能力图图6-16 用户需要使用台式电脑和网络浏览器软件，通过用户需要使用台式电脑和网络浏览器软件，通过Web访问组访问组织内部数据库织内部数据库.客户端客户端web浏览器浏览器互联网互联网Web服务器服务器应用程应用程序服务序服务器器数据数据库服库服务器务器数据数据库库6.3 使用数据库提高企业绩效和

25、决策能力使用数据库提高企业绩效和决策能力6.4.1 建立一个信息制度建立一个信息制度公司的规则、程序、共享、管理规范数据的角色公司的规则、程序、共享、管理规范数据的角色 例如，什么员工负责更新员工的敏感信息？数据管理：数据管理：制定信息政策、进行数据规划，负责逻辑数据库设计和数据字典开发，并监督系统管理员和用户对数据的使用。数据治理：数据治理：管理企业数据的可用性、完整性和安全性可用性、完整性和安全性的政策和程序，尤其涉及到政府规章。数据库管理：数据库管理：定义、组织、实施、维护数据库;由数据库设计和管理小组执行6.4 管理数据资源管理数据资源6.4.2 确保数据质量确保数据质量 财富中1000多个公司的数据库大约25%的数据不准确或不完整 大多数数据质量问题源于错误的输入 在建立新数据库之前，需要：发现并纠正错误数据发现并纠正错误数据 建立严格的数据录入规则建立严格的数据录入规则6.4 管理数据资源管理数据资源1.数据质量审计数据质量审计 结构化调查信息系统中的数据完整性的精确性和级别。从数据文件中调查样本 调查终端用户的质量观点2.数据清洗数据清洗 用软件来检测、纠正不正确、不完整、不恰当的格式或冗余数据 加强独立信息系统中不同数据集的一致性。6.4 管理数据资源管理数据资源