03大数据解决方案27

《03大数据解决方案27》由会员分享，可在线阅读，更多相关《03大数据解决方案27（30页珍藏版）》请在装配图网上搜索。

1、大数据解决方案议程大数据的一些疑问大数据采集大数据处理大数据展现大数据解决方案-大数据的一些疑问怎么从大数据得到价值？你想从大数据里得到什么？多大的数据才是大数据？多大的数据才是大数据？数据发展趋势 BIG DATABIG DATAAudio/VideoAudio/VideoLog FilesLog FilesText/ImageText/ImageSocial SentimentSocial SentimentData Market FeedsData Market FeedseGov FeedseGov FeedsWeather Weather Wikis/BlogsWikis/Blogs

2、Click StreamSensors/RFID/DevicesSensors/RFID/DevicesSpatial&GPS CoordinatesSpatial&GPS Coordinates WEB 2.0 WEB 2.0MobileMobileAdvertisingAdvertisingCollaborationCollaborationeCommerceeCommerceDigital MarketingDigital Marketing Search MarketingSearch MarketingWeb LogsWeb LogsRecommendationsRecommenda

3、tions ERP/CRM ERP/CRMSales PipelineSales PipelinePayablesPayablesPayrollPayrollInventoryInventoryContactsContactsDeal TrackingDeal TrackingTerabytesTerabytes(10E12)(10E12)GigabytesGigabytes(10E9)(10E9)ExabytesExabytes(10E18)(10E18)PetabytesPetabytes(10E15)(10E15)复杂性：种类和速度数据量主要趋势数据来源5.5 Billion Subsc

4、ribers WW(70+%of population)设备爆炸2 Billion Connected People 社交网络Web Traffic up from130 Exabyte(10 E18)in 2010 to 1.6 ZettaByte(10 E21)in 2015无处不在的连接10 Billion Connected Sensors传感器网络2.大数据采集大数据采集你想从大数据里得到什么？一系列新问题社交网络和互联网分析我的品牌或产品情绪实时数据源如何优化我的车队运行(基于天气和交通趋势）高级分析功能如何更好预测未来结果？数据整合带来的价值个人数据组织数据社区数据世界数据采集任

5、何种类、大小、来源数据StreamingNon-Relational010101010101010101101010101010101001010101010101101010101010Relational数据科学家商业智能专业人员业务分析人员丰富数据来源数据集市 Global reachGlobal reach Unified billing Unified billing&provisioning platform Easy content onboarding Data securitysecurity/authorization model Flexible Flexible pri

6、cing,auditing,logging内容提供商Content ProvidersContent Providers Consistent,flexible,context Consistent,flexible,context optimized APIs-optimized APIs-ODataOData Single Contract One Stop shop for Single Contract One Stop shop for data data Easy access to premium dataEasy access to premium data Unified b

7、illing and provisioning Unified billing and provisioning platformplatform独立软件开发商及开发者ISVs and ISVs and DevsDevs Easy of Discovery and Rich Apps to Easy of Discovery and Rich Apps to Consume Data Consume Data Microsoft Office,Dynamics,Bing+Microsoft Office,Dynamics,Bing+3rd party ISV Applications3rd p

8、arty ISV Applications Ability to mash up public and private Ability to mash up public and private datadata Flexible pricing pay as you goFlexible pricing pay as you go信息工作者Information WorkersInformation Workers端到端的大数据生命周期增强可视化10101HQLColdStreamHDFSHotStreamE=MC2HQLLearnedLimitsSQL战略/趋势分析存储&管理洞察价值操作/

9、实时分析端到端的大数据解决方案洞察力 INSIGHTS数据管理 DATA MANAGEMENTNON-RELATIONAL1001 11RELATIONALSTREAMING丰富数据 DATA ENRICHMENTSHAREAND GOVERNDISCOVERAND RECOMMENDTRANSFORMAND CLEANSELF-SERVICE COLLABORATIVE MOBILEREAL-TIME微软大数据产品洞察力 INSIGHTS数据管理 DATA MANAGEMENT丰富数据 DATA ENRICHMENTPowerPivotPower ViewHadoop on Windows3

10、.大大数据处数据处理理Hadoop=Big Data?HADOOP 集成企业级安全，高可靠性，管理与微软商业智能工具无缝集成SQL Server 数据平台的一部分在Windows Azure上几分钟内完成部署SQL Server 2012 Parallel Data Warehouse软硬件整合优化的并行数据仓库一体机 从TB到PB 的高可扩展性平台使用MPP架构实现卓越的可扩展性硬件厂商的选择通过使用遵循行业标准的硬件降低成本与Microsoft 商业智能工具的深度集成充分利用最新软件技术 Windows Server 2012 Storage Spaces Windows Server 2

11、012 Hyper-V SQL Server 2012 xVelocity 列存储SQL Server 2012 Parallel Data Warehouse 开放和灵活与Apache Hadoop 100%兼容工具由丰富的合作伙伴生态系统提供与社区的紧密合作Accelerating the delivery of Hadoop for WindowsHadoop for Windows JavaScript librariesHive ODBC driversThe Apache Software Foundation当前大数据分析的挑战：大量新技术需要学习掌握、周期长、见效缓慢学习Map

12、Reduce需要IT人员提前手动将数据从HDFS导入数据仓库或集市，才可进行分析HDFS(Hadoop)HDFS(Hadoop)DatabaseHDFS(Hadoop)SQL Server 2012 PDW Powered by PolyBasePolyBase：数据处理的突破性技术SQL 统一查询，结构化和非结构化数据查询关联Hadoop表和关系型数据库表采用标准SQL语言Select,From Where沿用现有SQL 技能无需IT人员介入节省时间和成本分析多样 的数据类型企业数据及商业智能平台的进化-当前结构化数据源结构化数据源结构化数据源ODS数据集市多维度存储分析应用其他存储使用DW企业数据及商业智能平台的进化-未来大数据存储结构化数据源非结构化数据源数据流数据仓库数据集市多维度存储数据服务存储服务使用3.大大数数据展现据展现传统数据分析工具-为历史和当前状态进行分析大数据时代的数据“分析”工具-为未来决策服务总结微软大数据解决方案：业务能力：接纳任意数据源的数据整合平台低成本的数据价值洞察平台技术能力：结构化、半结构化、非结构化数据的处理能力Thanks演讲完毕，谢谢观看！