大数据时代的数据挖掘与商务智能一ppt课件

《大数据时代的数据挖掘与商务智能一ppt课件》由会员分享，可在线阅读，更多相关《大数据时代的数据挖掘与商务智能一ppt课件（55页珍藏版）》请在装配图网上搜索。

1、1大数据时代的数据挖掘大数据时代的数据挖掘与商务智能与商务智能2n数据数据是宝贵的财富，其中蕴含大量是宝贵的财富，其中蕴含大量有用有用的的（有助于管理和决策）（有助于管理和决策）信息信息和和知识知识。n计算机计算机和和通讯技术通讯技术的发展，使数的发展，使数据量急据量急剧增加，人类进入剧增加，人类进入大数据时代大数据时代。收集、。收集、传输、存储、整合、传输、存储、整合、分析与挖掘分析与挖掘数据的数据的各项技术快速发展。各项技术快速发展。n大数据时代，数据分析与数据挖掘作为大数据时代，数据分析与数据挖掘作为一门信息技术，其兴起主要是受一门信息技术，其兴起主要是受数据积数据积累的增长累的增长和对

2、和对数据分析的需求数据分析的需求的驱动。的驱动。3n在大数据时代，我们共同探讨数据分析与数在大数据时代，我们共同探讨数据分析与数据挖掘的据挖掘的思想思想、方法和应用前景方法和应用前景。n尽量向大家介绍数据分析与数据挖掘的全貌，尽量向大家介绍数据分析与数据挖掘的全貌，给一些给一些资料性资料性的信息。的信息。n由于数据分析与数据挖掘涉及的方法广泛，由于数据分析与数据挖掘涉及的方法广泛，软件、工具、公司太多，应用太广，此次以软件、工具、公司太多，应用太广，此次以介绍介绍方法为主方法为主。4大大 纲纲n大数据的时代背景大数据的时代背景n商务智能与数据商务智能与数据科学科学n基于统计的传统数据分析技术基

3、于统计的传统数据分析技术n数据管理数据管理与数据挖掘概论与数据挖掘概论n数据挖掘与知识发现技术数据挖掘与知识发现技术n典型应用及案例典型应用及案例分析分析5第一部分第一部分大数据的时代背景大数据的时代背景大数据的时代背景大数据的时代背景n从数据谈起n大数据现象与新信息世界观n产业界与学术界的关注n“大数据”对社会发展的影响6从数据谈起从数据谈起数据无所不在数据无所不在7“大数据大数据”的时代背景的时代背景8无所不在的数据（1）n国家国家(省、市省、市)统计局统计局（http:/）7070万家企业联网万家企业联网“直报直报”统计数据统计数据从从20122012年年2 2月月1818日开始，日开始

4、，全国全国7070万家万家 三上三上 企业和企业和房地产开发经营企业将房地产开发经营企业将在统一的数据采集和处在统一的数据采集和处理平台上，通过互联网理平台上，通过互联网直接向国家数据中心或直接向国家数据中心或国家认定的省级数据中国家认定的省级数据中心报送统计数据。心报送统计数据。国家统计局推进国家统计局推进“大数据大数据”应用应用n20132013年年1111月月1919日下午，国家统计局与百度、阿日下午，国家统计局与百度、阿里巴巴等里巴巴等1111家企业签订了大数据战略合作框架家企业签订了大数据战略合作框架协议，共同推进大数据在政府统计中的应用。协议，共同推进大数据在政府统计中的应用。n战

5、略合作内容，主要是共同研究探讨建立大数战略合作内容，主要是共同研究探讨建立大数据应用的统计标准，包括指标定义、口径、范据应用的统计标准，包括指标定义、口径、范围、分类等；确定利用企业数据完善、补充政围、分类等；确定利用企业数据完善、补充政府统计数据的内容、形式及实施步骤，包括数府统计数据的内容、形式及实施步骤，包括数据采集、处理、分析、挖掘、发布等。在此基据采集、处理、分析、挖掘、发布等。在此基础上，合作双方将建立战略合作关系。础上，合作双方将建立战略合作关系。910无所不在的数据（2）n金融数据金融数据（http:/ 什么是物联网？什么是物联网？全面感知全面感知可靠传输可靠传输智能处理智能处

6、理感知感知传输传输智能智能利用RFID、传感器、二维码等能够随时随地采集物体的动态信息。通过网络将感知的各种信息进行实时传送。利用计算机技术，及时地对海量的数据进行信息控制，真正达到了人与物的沟通、物与物的沟通。物联网的大数据挑战物联网的大数据挑战n物联网物联网不仅仅是传感器，物联网物联网是提供支撑智慧地球的一个基础架构，物联网物联网的存在使这种基于大数据大数据的采集以及分析变成了一种可能，这面临着三项挑战。n物联网物联网的边缘计算。n物联网物联网的中间件。n 物联网物联网的运营管理平台。1718无所不在的数据（4）n到2020年，北斗卫星导航系统将拥有35颗卫星（已发射16颗），形成覆盖全球

7、的卫星网络，九省示范应用，LBS。u全球四大卫星导航系统全球四大卫星导航系统n北斗卫星导航系统北斗卫星导航系统n美国的美国的GPSGPSn俄罗斯的格洛纳斯俄罗斯的格洛纳斯n欧盟的伽利略系统欧盟的伽利略系统北斗北斗“三步走三步走”的发展战略的发展战略19GEOGEO（Geosynchronous Eearth OrbitGeosynchronous Eearth Orbit）：地球静止轨道卫星）：地球静止轨道卫星IGSOIGSO（Inclined Geosynchronous Satellite OrbitInclined Geosynchronous Satellite Orbit）：）：倾斜

8、轨道同步卫星倾斜轨道同步卫星MEOMEO（Medium Earth OrbitMedium Earth Orbit）：中高轨卫星）：中高轨卫星大数据与北斗系统大数据与北斗系统n把短信和导航结合，是中国北斗卫星导航系统的把短信和导航结合，是中国北斗卫星导航系统的独特发明。独特发明。n北斗卫星导航系统的应用目前逐渐形成规模化、北斗卫星导航系统的应用目前逐渐形成规模化、标准化的趋势，已向民用用户全面开放，成功应标准化的趋势，已向民用用户全面开放，成功应用于个人位置服务、气象应用、交通管理、运输用于个人位置服务、气象应用、交通管理、运输管理、应急救援、精密授时、精细农业等多个行管理、应急救援、精密授时

9、、精细农业等多个行业。业。n近期，东南亚四国（泰国、老挝、文莱缅甸）都近期，东南亚四国（泰国、老挝、文莱缅甸）都于中国政府签订协议，采用我国的北斗导航系统，于中国政府签订协议，采用我国的北斗导航系统，同时中国与巴基斯坦有望在近期签订北斗系统合同时中国与巴基斯坦有望在近期签订北斗系统合作协议，成为第五个使用北斗导航的国家。作协议，成为第五个使用北斗导航的国家。2021无所不在的数据（5）n生物信息学（人类基因组计划）生物信息学（人类基因组计划）n神经信息学（人类脑计划）神经信息学（人类脑计划）生命科学的大数据时代来临生命科学的大数据时代来临n要解决当前生命科学的问题，需要从要解决当前生命科学的问

10、题，需要从时空状态时空状态对生老病死进行解读对生老病死进行解读，这就需要大数据，这种，这就需要大数据，这种大数据揭示的就是大科学，这种大科学就是人大数据揭示的就是大科学，这种大科学就是人类发展史上最大的产业。类发展史上最大的产业。n生命科学已进入大科学、大数据时代，生命科学已进入大科学、大数据时代，基因资基因资源是源头源是源头。如何去储存这些资源，为未来研究。如何去储存这些资源，为未来研究的使用提供基础成为一个关键问题。的使用提供基础成为一个关键问题。n 为了适应更庞大数据存储、处理、分析与应用为了适应更庞大数据存储、处理、分析与应用的要求，的要求，深圳华大基因深圳华大基因研究院还和研究院还和

11、国家超算天国家超算天津中心、深圳超算中心、广州超算中心津中心、深圳超算中心、广州超算中心等机构等机构展开战略性合作。下一步，将通过云计算的模展开战略性合作。下一步，将通过云计算的模式来组织存储和处理相关数据。式来组织存储和处理相关数据。2223无所不在的数据（6）网络大数据网络大数据n网络数据即使不是最原始的大数据源，也是使用最广泛、认可度最高的大数据源。网络数据是指用户浏览万维网所产生的日志信息，是等待分析和挖掘的信息宝库。n横跨于大量不同行业中的企业组织已经把那些来自于网站的详细而又处于客户层面的行为数据源整合入它们自身的企业数据分析环境中。24大大数据（数据（BigData）n数据不仅在

12、“量”上疯狂的增长着，在“源”上也不断的丰富着。n世界上产生的数据，有近 80%是由个人用户产生的；据估计，到 2020年全球将有 500亿个设备连入网络，地理位置、网络浏览行为、健康数据、甚至基因信息等，都成为技术为个体服务的有效资源，这也意味着商家对每一个用户都将有精准的了解，真正做到与客户的“零距离”接触。n正是这种巨大的商业利益的驱使，使得大数据成为国际一流企业竞相投入使用的竞争利器。25大数据现象大数据现象nAnEverestSizedOpportunity！26KMGTPEZYn nKKilo1KKKilo1K字节字节字节字节 =1,024=1,024字节字节字节字节n nMMeg

13、1MMMeg1M字节字节字节字节=1,048,576=1,048,576字节字节字节字节n nGGiga1GGGiga1G字节字节字节字节 =1,073,741,824=1,073,741,824字节字节字节字节n nTTera1TTTera1T字节字节字节字节 =1,099,511,627,776=1,099,511,627,776字节字节字节字节n nPPeta1PPPeta1P字节字节字节字节=1,125,899,906,842,624=1,125,899,906,842,624字节字节字节字节n nEExa1EEExa1E字节字节字节字节 =1,152,921,504,606,846,

14、976=1,152,921,504,606,846,976字节字节字节字节 n nZZetta1ZZZetta1Z字节字节字节字节 =1,180,591,620,717,411,303,424=1,180,591,620,717,411,303,424字节字节字节字节n nYYotta1YYYotta1Y字节字节字节字节 =1208,925,819,614,629,174,706,176=1208,925,819,614,629,174,706,176字节字节字节字节 p 容量单位容量单位:从从K K到到Y Y数据存储单位及换算关系数据存储单位及换算关系27产业界与学术界的关注产业界与学术界的

15、关注麦肯锡麦肯锡咨询公司“大数据大数据”研究报告研究报告“Big data:The next frontier for innovation,competition,and productivity”McKinsey Global Institute,May 2011.28高德纳高德纳（Gartner）研究与顾问咨询公司研究与顾问咨询公司产业界与学术界的关注产业界与学术界的关注nDataarebecomingthenewrawmaterialofbusiness:aneconomicinputalmostonaparwithcapitalandlabor.n数据数据正逐渐变成商业所需的原材料之

16、一：一正逐渐变成商业所需的原材料之一：一项几乎和项几乎和资本资本或或劳力劳力一样重要的经济原料。一样重要的经济原料。（Feb.27th,2010）29产业界与学术界的关注产业界与学术界的关注n20世纪大萧条以来，美国作世纪大萧条以来，美国作为世界强国的开放历史，数为世界强国的开放历史，数据技术浪潮的兴起过程，气据技术浪潮的兴起过程，气势磅礴，波澜壮阔。势磅礴，波澜壮阔。美国政美国政府为什么能，中国到底缺什府为什么能，中国到底缺什么？么？n“大数据大数据”之之“大大”，并不，并不仅仅在于仅仅在于“容量之大容量之大”，更，更大的意义在于：通过对海量大的意义在于：通过对海量数据的交换、整合和分析，数

17、据的交换、整合和分析，发现新的知识，创造新的价发现新的知识，创造新的价值，值，带来带来“大知识大知识”、“大大科技科技”、“大利润大利润”和和“大大发展发展”。302012-7产业界与学术界的关注产业界与学术界的关注n大数据是人们获得新的认知，大数据是人们获得新的认知，创造新的价值的源泉；大数创造新的价值的源泉；大数据还是改变市场、组织机构，据还是改变市场、组织机构，以及政府与公民关系的方法以及政府与公民关系的方法。n大大数据的核心就是预测数据的核心就是预测。三。三个转变个转变。n n更多：不是随机样本，而更多：不是随机样本，而更多：不是随机样本，而更多：不是随机样本，而是全体是全体是全体是全

18、体数据数据数据数据n n更杂：不是精确性，而是更杂：不是精确性，而是更杂：不是精确性，而是更杂：不是精确性，而是混杂混杂混杂混杂性性性性n n更好：不是因果关系，而更好：不是因果关系，而更好：不是因果关系，而更好：不是因果关系，而是相关关系是相关关系是相关关系是相关关系312013-1产业界与学术界的关注产业界与学术界的关注n n本书主要介绍了如何驾驭大数本书主要介绍了如何驾驭大数本书主要介绍了如何驾驭大数本书主要介绍了如何驾驭大数据浪潮，并详细地介绍了什么据浪潮，并详细地介绍了什么据浪潮，并详细地介绍了什么据浪潮，并详细地介绍了什么是大数据，大数据为什么重要，是大数据，大数据为什么重要，是大

19、数据，大数据为什么重要，是大数据，大数据为什么重要，以及如何应用大数据以及如何应用大数据以及如何应用大数据以及如何应用大数据。n n本本本本书还从具体实用的角度，介书还从具体实用的角度，介书还从具体实用的角度，介书还从具体实用的角度，介绍了用于分析和操作大数据的绍了用于分析和操作大数据的绍了用于分析和操作大数据的绍了用于分析和操作大数据的工具、技术和方法；以及人才工具、技术和方法；以及人才工具、技术和方法；以及人才工具、技术和方法；以及人才和企业文化的角度，介绍了如和企业文化的角度，介绍了如和企业文化的角度，介绍了如和企业文化的角度，介绍了如何使分析专家、分析团队以及何使分析专家、分析团队以及

20、何使分析专家、分析团队以及何使分析专家、分析团队以及所需的分析原则更加高效，如所需的分析原则更加高效，如所需的分析原则更加高效，如所需的分析原则更加高效，如何通过分析创新中心使得分析何通过分析创新中心使得分析何通过分析创新中心使得分析何通过分析创新中心使得分析更加有创造力，以及如何改变更加有创造力，以及如何改变更加有创造力，以及如何改变更加有创造力，以及如何改变分析文化分析文化分析文化分析文化。322013-1产业界与学术界的关注产业界与学术界的关注n爆发：大数据时代预见未来爆发：大数据时代预见未来的新思维。的新思维。n巴拉巴西的研究是在巴拉巴西的研究是在人类生人类生活数字化的大数据时代活数字

21、化的大数据时代基础基础上进行的，移动电话、网络上进行的，移动电话、网络以及电子邮件使人类行为变以及电子邮件使人类行为变得更加容易量化，将我们的得更加容易量化，将我们的社会变成了一个巨大的数据社会变成了一个巨大的数据库。库。n巴拉巴西揭开人类行为背后巴拉巴西揭开人类行为背后隐藏的模式隐藏的模式“爆发爆发”，提出，提出人类日常行为模式不是随机人类日常行为模式不是随机的的，而是具有，而是具有“爆发性爆发性”的。的。332012-6新信息世界观：物理新信息世界观：物理世界、信息世界、世界、信息世界、人人类社会组成类社会组成三元世界三元世界34大数据大数据共生智能系统中的数据、信息与知识管理共生智能系统

22、中的数据、信息与知识管理组织与社群：人类集体智能组织与社群：人类集体智能决策与问题求解决策与问题求解扩展的计算机网络系统：扩展的计算机网络系统：人工智能人工智能数据加工数据加工平台平台可感知的环境与物品：可感知的环境与物品：周遭智能（周遭智能（AmI）感知与执行终端感知与执行终端数据、信息、数据、信息、知识流转知识流转共生智能系统：共生智能系统：综合集成综合集成共同解决现实的复杂问题共同解决现实的复杂问题“大数据大数据”对对社会发展社会发展的的影响影响n科学研究科学研究n第四种范式第四种范式n公共管理公共管理n智慧城市智慧城市n工业工业生产生产与商业经营与商业经营n大数据产业链大数据产业链与商

23、务智能与商务智能36第四种范式第四种范式n n观察与经验描述与实验、理论建模、仿真与计算等科研模式观察与经验描述与实验、理论建模、仿真与计算等科研模式观察与经验描述与实验、理论建模、仿真与计算等科研模式观察与经验描述与实验、理论建模、仿真与计算等科研模式之后，当代又出现了数据密集型的科研范式。之后，当代又出现了数据密集型的科研范式。之后，当代又出现了数据密集型的科研范式。之后，当代又出现了数据密集型的科研范式。n n 微软公司于微软公司于微软公司于微软公司于20092009年年年年1010月发布了月发布了月发布了月发布了TheFourthParadigm:TheFourthParadigm:D

24、ata-IntensiveScientificData-IntensiveScientific，首次全面地描述了快速兴起的，首次全面地描述了快速兴起的，首次全面地描述了快速兴起的，首次全面地描述了快速兴起的数据密集型科学研究。数据密集型科学研究。数据密集型科学研究。数据密集型科学研究。n n“TheNextScienceRevolutionTheNextScienceRevolution”，HarvardBusinessReviewHarvardBusinessReview，November2010November201037第四范式第四范式:数据密集型的科学发现数据密集型的科学发现中文版图书

25、中文版图书n科学正在进入一个崭新科学正在进入一个崭新的阶段。在信息与网络技的阶段。在信息与网络技术迅速发展的推动下，大术迅速发展的推动下，大量从宏观到微观、从自然量从宏观到微观、从自然到社会的观察、感知、计到社会的观察、感知、计算、仿真、模拟、传播等算、仿真、模拟、传播等设施和活动，产生出大量设施和活动，产生出大量科学数据，形成被成为科学数据，形成被成为“大数据大数据”（BigDataBigData）新）新的科学基础设施。的科学基础设施。382012-1039自然自然科学科学大数据专刊大数据专刊402011年年2月月11日出版的日出版的科学科学杂志刊登专题杂志刊登专题数据处理数据处理2008年

26、年9月月3日出版的日出版的自然自然杂志刊登专题杂志刊登专题大数大数据据公共管理公共管理智慧城市建设愿景智慧城市建设愿景“智慧城市智慧城市”系统体系结构系统体系结构华为公司提议的一个华为公司提议的一个“智慧城市智慧城市”系统体系结构系统体系结构感知感知传输传输智能智能处理处理综合综合应用应用智慧城市的三个空间理论智慧城市的三个空间理论43城市管理是个复杂学科，智慧城市建设是一项复杂城市管理是个复杂学科，智慧城市建设是一项复杂的系统工程。的系统工程。对智慧城市的建设应该同时着眼于三个空间的整体。对智慧城市的建设应该同时着眼于三个空间的整体。大连建设智慧大连建设智慧城市城市的的总体思路总体思路44基

27、础设施智能化、产业发展现代化、公共服务普惠化和基础设施智能化、产业发展现代化、公共服务普惠化和运营管理精益化运营管理精益化大数据产业链大数据产业链n大数据产业相关企业经济活动包括：用以实现大数据产业相关企业经济活动包括：用以实现大数据存储、检索、处理、分析、展示的相关大数据存储、检索、处理、分析、展示的相关ITIT硬件与软件的生产、销售和租赁活动，以及硬件与软件的生产、销售和租赁活动，以及相关信息服务。相关信息服务。n可分为三个方面：（可分为三个方面：（1 1）用以搭建大数据平台、）用以搭建大数据平台、实现大数据组织与管理、分析与发现的相关实现大数据组织与管理、分析与发现的相关ITIT硬件与软

28、件的生产、销售和租赁活动；（硬件与软件的生产、销售和租赁活动；（2 2）大数据平台的运维与管理服务，系统集成、数大数据平台的运维与管理服务，系统集成、数据安全、云存储等解决方案与相关咨询服务；据安全、云存储等解决方案与相关咨询服务；（3 3）与大数据应用相关的数据租售业务、分）与大数据应用相关的数据租售业务、分析预测服务、决策支持服务、数据分享平台、析预测服务、决策支持服务、数据分享平台、数据分析平台等。数据分析平台等。45大数据产业链大数据产业链4647大数据的典型特征（大数据的典型特征（3V）大数据的价值（大数据的价值（Value）n大数据将引发新的“智慧革命”：从海量、复杂、实时的大数据

29、中可以发现知识、提升智能、创造价值。n有了云计算、物联网，但缺乏大数据分析处理的核心技术，智慧城市的“大脑”就不够发达，“智商”就不够高，能力就不够强。广义的大数据广义的大数据50商务智能与数据科学商务智能与数据科学n目前决策制定者正在被大量的数据淹没，目前决策制定者正在被大量的数据淹没，数字信息从各种各样的传感器、工具和数字信息从各种各样的传感器、工具和模拟实验那里源源不断地涌来，令企业模拟实验那里源源不断地涌来，令企业的组织能力、分析能力和储存信息的能的组织能力、分析能力和储存信息的能力捉襟见肘。力捉襟见肘。n正如麦肯锡的报告揭示的那样，商业管正如麦肯锡的报告揭示的那样，商业管理作为科学的

30、一个特性正在越来越凸现理作为科学的一个特性正在越来越凸现出来。出来。51决策需要信息与知识决策需要信息与知识情报阶段：情报阶段：确定问题确定问题设计阶段：设计阶段：找出解决方案找出解决方案选择阶段：选择阶段：选出解决方案选出解决方案实施阶段：实施阶段：实施方案实施方案返回情返回情报阶段报阶段返回设返回设计阶段计阶段返回选返回选择阶段择阶段西蒙西蒙决策过程的四个阶段决策过程的四个阶段决策的过程决策的过程发现那些需要引起注意的征兆并加以解释发现那些需要引起注意的征兆并加以解释,例如销售滑坡、生产成本猛涨、老顾客对新产品的例如销售滑坡、生产成本猛涨、老顾客对新产品的需求、新竞争对手带来的威胁等。需求

31、、新竞争对手带来的威胁等。最优最优 方案由多种因素决定，如成本、方案由多种因素决定，如成本、实施的难易程度、对员工的要求、方案实施的难易程度、对员工的要求、方案实施的时间顺序等。实施的时间顺序等。执行选中的方案，执行选中的方案，检测实施的结果，检测实施的结果，并作出必要的调整。并作出必要的调整。52商务智能商务智能商务智能的前世今生商务智能的前世今生n起源：从数据到知识的挑战和跨越起源：从数据到知识的挑战和跨越n结蛹：结蛹：数据仓库数据仓库之厚积薄发之厚积薄发n蚕动：蚕动：联机分析联机分析之惊艳之惊艳n破茧：破茧：数据挖掘数据挖掘之智能生命的产生之智能生命的产生n化蝶：化蝶：数据可视化数据可视化的华丽上演的华丽上演5455谢谢 谢谢 ！