第1章-机器学习和统计学习ppt课件

《第1章-机器学习和统计学习ppt课件》由会员分享，可在线阅读，更多相关《第1章-机器学习和统计学习ppt课件（75页珍藏版）》请在装配图网上搜索。

1、有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。第一章统计学习方法概论第一章统计学习方法概论1有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大机器学习维基百科：机器学习是近20多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行

2、预测的算法。因为学习算法中涉及了大量的统计学理论，机器学习与统计推断学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。很多推论问题属于无程序可循难度，所以部分的机器学习研究是开发容易处理的近似算法。提纲：1大机器学习维基百科：2有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大网络教学信息斯坦福机器学习http:/ 大相关学术文章下载资源COLT和ICML(每年度的官网):http:/www.cs.mcgill.ca/colt2009/pro

3、ceedings.htmlCV:http:/ 大机器学习维基百科：机器学习有下面几种定义：“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。“机器学习是对能通过经验自动改进的计算机算法的研究”。“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。”英文定义：AcomputerprogramissaidtolearnfromexperienceEwithrespecttosomeclassoftasksTandperformancemeasureP,ifitsperformanceattasksinT,asmeasuredbyP

4、,improveswithexperienceE.提纲：1大机器学习维基百科：5有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大机器学习应用数据挖掘计算机视觉自然语言处理生物特征识别搜索引擎医学诊断检测信用卡欺诈证券市场分析DNA序列测序语音和手写识别战略游戏机器人提纲：1大机器学习应用数据挖掘6有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大Game深蓝是并行计算的电脑系统，建基于R

5、S/6000SP，另加上480颗特别制造的VLSI象棋芯片。下棋程式以C语言写成，运行AIX操作系统。1997年版本的深蓝运算速度为每秒2亿步棋，是其1996年版本的2倍。1997年6月，深蓝在世界超级电脑中排名第259位，计算能力为11.38gigaflops。提纲：1大Game深蓝是并行计算的电脑系统，建基于7有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大Text to speech and speech recognition提纲：1大Texttospeechands8有利于学习和

6、创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大Computer vision提纲：1大Computervision9有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大Genebioinformatics提纲：1大Genebioinformatics10有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：

7、1 大bioinformaticsGene提纲：1大bioinformaticsGene11有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大Financial Information提纲：1大FinancialInformatio12有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大Robotic Control提纲：1大RoboticControl13有利于学习和创新的组织管理机制，创

8、造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大Deep Learning提纲：1大DeepLearning14有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大aerospace提纲：1大aerospace15有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大机器学习的发展历程“黑暗时代”，人工智能的诞生（1943年

9、1956年）WarrenMcCulloch和WalterPitts在1943年发表了人工智能领域的开篇之作，提出了人工神经网络模型。JohnvonNeumann。他在1930年加入了普林斯顿大学，在数学物理系任教，和阿兰图灵是同事。MarvinMinsky和DeanEdmonds建造第一台神经网络计算机。1956年：JohnMcCarthy从普林斯顿大学毕业后去达特茅斯学院工作，说服了MarvinMinsky和ClaudeShannon在达特茅斯学院组织一个暑期研讨会，召集了对机器智能、人工神经网络和自动理论感兴趣的研究者，参加由IBM赞助的研讨会。提纲：1大机器学习的发展历程“黑暗时代”，人

10、工智能16有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大机器学习的发展历程提纲：1大机器学习的发展历程17有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大新的方向：集成学习可扩展机器学习（对大数据集、高维数据的学习等）强化学习迁移学习概率网络深度学习机器学习的发展历程提纲：1大新的方向：机器学习的发展历程18有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以

11、顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大国内外的研究者M.I.JordanAndrewNgTommiJaakkolaDavidBleiEricXing。D.Koller2001年IJCAI计算机与思维奖:TerryWinograd、DavidMarr、TomMitchell、RodneyBrooks等人之后的第18位获奖者PeterL.BartlettJ.D.Lafferty国内：李航,周志华,杨强,王晓刚，唐晓鸥，唐杰，刘铁岩，何晓飞，朱筠，吴军，张栋，戴文渊，余凯，邓力，孙健。提纲：1大国内外的研究者M.I.Jordan19有利于学习和创新的组织管理机

12、制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大卡内基梅隆大学的计算机科学学士学位，麻省理工学院的电子工程和计算机科学硕士学位，加州大学伯克利分校的计算机科学博士学位。在斯坦福大学计算机科学和电子工程学系担任教授，讲授机器学习课程吴恩达(AndrewNg)硅谷人工智能实验室北京深度学习实验室北京大数据实验室国内外的研究者提纲：1大卡内基梅隆大学的计算机科学学士学位，国内20有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲

13、：1 大机器学习和数据挖掘的关系机器学习是数据挖掘的重要工具。数据挖掘不仅仅要研究、拓展、应用一些机器学习方法，还要通过许多非机器学习技术解决数据仓储、大规模数据、数据噪音等等更为实际的问题。机器学习的涉及面更宽，常用在数据挖掘上的方法通常只是“从数据学习”，然则机器学习不仅仅可以用在数据挖掘上，一些机器学习的子领域甚至与数据挖掘关系不大，例如增强学习与自动控制等等。数据挖掘试图从海量数据中找出有用的知识。大体上看，数据挖掘可以视为机器学习和数据库的交叉，它主要利用机器学习界提供的技术来分析海量数据，利用数据库界提供的技术来管理海量数据。提纲：1大机器学习和数据挖掘的关系机器学习是数据挖21有

14、利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大机器学习和数据挖掘的关系提纲：1大机器学习和数据挖掘的关系22有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大机器学习的一个形象描述23提纲：1大机器学习的一个形象描述23有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大为什么要研究大数

15、据机器学习？例“尿布啤酒”关联规则实际上，在面对少量数据时关联分析并不难，可以直接使用统计学中有关相关性的知识，这也正是机器学习界没有研究关联分析的一个重要原因。关联分析的困难其实完全是由海量数据造成的，因为数据量的增加会直接造成挖掘效率的下降，当数据量增加到一定程度，问题的难度就会产生质变，例如，在关联分析中必须考虑因数据太大而无法承受多次扫描数据库的开销、可能产生在存储和计算上都无法接受的大量中间结果等。提纲：1大为什么要研究大数据机器学习？例“尿布啤24有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作

16、环境。提纲：1 大机器学习相关学术期刊和会议机器学习学术会议：NIPS、ICML、ECML和COLT，学术期刊：MachineLearning和JournalofMachineLearningResearch数据挖掘学术会议：SIGKDD、ICDM、SDM、PKDD和PAKDD学术期刊：DataMiningandKnowledgeDiscovery和IEEETransactionsonKnowledgeandDataEngineering人工智能学术会议：IJCAI和AAAI、数据库学术会议：SIGMOD、VLDB、ICDE，其它一些顶级期刊如ArtificialIntelligence、Jo

17、urnalofArtificialIntelligenceResearch、IEEETransactionsonPatternAnalysisandMachineIntelligence、NeuralComputation等也经常发表机器学习和数据挖掘方面的论文提纲：1大机器学习相关学术期刊和会议机器学习25有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大机器学习相关学术期刊和会议提纲：1大机器学习相关学术期刊和会议26有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导

18、向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大机器学习相关学术期刊和会议提纲：1大机器学习相关学术期刊和会议27有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大机器学习相关学术期刊和会议提纲：1大机器学习相关学术期刊和会议28有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大机器学习相关学术期刊和会议提纲：1大机器学习相关学术期刊和会议29有利于学习

19、和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大机器学习相关学术期刊和会议提纲：1大机器学习相关学术期刊和会议30有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大机器学习和统计学习维基百科：机器学习是近20多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获

20、得规律，并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论，机器学习与统计推断学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。很多推论问题属于无程序可循难度，所以部分的机器学习研究是开发容易处理的近似算法。提纲：1大机器学习和统计学习维基百科：31有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大统计学习和机器学习BrendanOConnor的博文Statisticsvs.MachineLearning,fight!，

21、初稿是08年写的，或许和作者的机器学习背景有关，他在初稿中主要是贬低了统计学，思想和1有点类似，认为机器学习比统计学多了些AlgorithmModeling方面内容，比如SVM的Max-margin，决策树等，此外他认为机器学习更偏实际。但09年十月的时候他转而放弃自己原来的观点，认为统计才是realdeal:Statistics,notmachinelearning,istherealdeal,butunfortunatelysuffersfrombadmarketing.提纲：1大统计学习和机器学习BrendanOC32有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导

22、向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大Glossary（RobertTibshiriani）MachinelearningMachinelearningStatisticsStatisticsnetwork,graphsmodelweightsparameterslearningfittinggeneralizationtestsetperformancesupervisedlearningregression/classificationunsupervisedlearningdensityestimation,clusteringlargegr

23、ant=$1,000,000largegrant=$50,000niceplacetohaveameeting:Snowbird,Utah,FrenchAlpsniceplacetohaveameeting:LasVegasinAugust统计学习和机器学习提纲：1大Glossary（RobertTibs33有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大统计学习和机器学习-SimonBlomberg:From Rs fortunes package:To paraphrase provo

24、catively,machine learning is statistics minus any checking of models and assumptions.-AndrewGelman:In that case,maybe we should get rid of checking of models and assumptions more often.Then maybe wed be able to solve some of the problems that the machine learning people can solve but we cant!提纲：1大统计

25、学习和机器学习-SimonBl34有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大统计学习和机器学习研究方法差异统计学研究形式化和推导机器学习更容忍一些新方法维度差异统计学强调低维空间问题的统计推导（confidenceintervals,hypothesistests,optimalestimators）机器学习强调高维预测问题统计学和机器学习各自更关心的领域：统计学:survivalanalysis,spatialanalysis,multipletesting,minimaxtheo

26、ry,deconvolution,semiparametricinference,bootstrapping,timeseries.机器学习:onlinelearning,semisupervisedlearning,manifoldlearning,activelearning,boosting.提纲：1大统计学习和机器学习研究方法差异35有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大统计学习和机器学习（专业术语）统计学机器学习EstimationLearningClassifierH

27、ypothesisDatapointExample/InstanceRegressionSupervisedLearningClassificationSupervisedLearningCovariateFeatureResponseLabel提纲：1大统计学习和机器学习（专业术语）统计学36有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大统计学习统计学习的对象data：计算机及互联网上的各种数字、文字、图像、视频、音频数据以及它们的组合。数据的基本假设是同类数据具有一定的统计规律性。统

28、计学习的目的用于对数据（特别是未知数据）进行预测和分析。提纲：1大统计学习统计学习的对象37有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大统计学习统计学习的方法分类：SupervisedlearningUnsupervisedlearningSemi-supervisedlearningReinforcementlearning监督学习：训练数据trainingdata模型model-假设空间hypothesis评价准则evaluationcriterion-策略strategy算法al

29、gorithm提纲：1大统计学习统计学习的方法38有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大统计学习的研究：统计学习方法统计学习理论（统计学习方法的有效性和效率和基本理论）统计学习应用统计学习提纲：1大统计学习的研究：统计学习39有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大监督学习Instance，featurevector，featurespace输入实例x的特征向量：x(

30、i)与xi不同,后者表示多个输入变量中的第i个训练集：输入变量和输出变量：分类问题、回归问题、标注问题提纲：1大监督学习Instance，feature40有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大联合概率分布假设输入与输出的随机变量X和Y遵循联合概率分布P(X,Y)P(X,Y)为分布函数或分布密度函数对于学习系统来说，联合概率分布是未知的，训练数据和测试数据被看作是依联合概率分布P(X,Y)独立同分布产生的。假设空间监督学习目的是学习一个由输入到输出的映射，称为模型模式的集合就是假

31、设空间（hypothesisspace）概率模型:条件概率分布P(Y|X),决策函数：Y=f(X)监督学习提纲：1大联合概率分布监督学习41有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大问题的形式化监督学习提纲：1大问题的形式化监督学习42有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大无监督学习训练集：模型函数：条件概率分布：提纲：1大无监督学习训练集：43有利于学习和创新的组织管

32、理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大强化学习提纲：1大强化学习44有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大强化学习状态转移概率函数：奖励函数：策略：给定状态下动作的函数或者条件概率分布状态价值函数：动作价值函数：提纲：1大强化学习状态转移概率函数：45有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境

33、。提纲：1 大强化学习方法无模型（model-free）基于策略（policy-based）：求解最优策略*基于价值（value-based）：求解最优价值函数有模型（model-based）通过学习马尔可夫决策过程的模型，包括转移概率函数和奖励函数通过模型对环境的反馈进行预测求解价值函数最大的策略*提纲：1大强化学习方法无模型（model-free46有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大半监督学习少量标注数据，大量未标注数据利用未标注数据的信息，辅助标注数据，进行监督学习较低

34、成本主动学习机器主动给出实例，教师进行标注利用标注数据学习预测模型提纲：1大半监督学习少量标注数据，大量未标注数据主47有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大统计学习按算法分类：在线学习（onlinelearning）批量学习（batchlearning）提纲：1大统计学习48有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大统计学习按技巧分类：贝叶斯学习（Bayesianle

35、arning）提纲：1大统计学习按技巧分类：49有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大统计学习按技巧分类：贝叶斯学习（Bayesianlearning）提纲：1大统计学习按技巧分类：50有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大统计学习按技巧分类：核方法（Kernelmethod）使用核函数表示和学习非线性模型，将线性模型学习方法扩展到非线性模型的学习不显式地定义输入空

36、间到特征空间的映射，而是直接定义核函数，即映射之后在特征空间的内积假设x1，x2是输入空间的任意两个实例，内积为，输入空间到特征空间的映射为，核方法在输入空间中定义核函数K(x1,x2)，使其满足K(x1,x2)=提纲：1大统计学习按技巧分类：51有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大统计学习三要素模型：决策函数的集合：参数空间条件概率的集合：参数空间提纲：1大统计学习三要素52有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文

37、化氛围，依赖既开放又相互信任的合作环境。提纲：1 大统计学习三要素策略损失函数：一次预测的好坏风险函数：平均意义下模型预测的好坏0-1损失函数0-1lossfunction平方损失函数quadraticlossfunction绝对损失函数absolutelossfunction提纲：1大统计学习三要素策略53有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大统计学习三要素策略对数损失函数logarithmiclossfunction或对数似然损失函数loglikelihoodlossfunc

38、tion损失函数的期望风险函数riskfunction期望损失expectedloss由P(x,y)可以直接求出P(x|y),但不知道，经验风险empiricalrisk，经验损失empiricalloss提纲：1大统计学习三要素策略54有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大统计学习三要素策略：经验风险最小化与结构风险最小化经验风险最小化最优模型当样本容量很小时，经验风险最小化学习的效果未必很好，会产生“过拟合over-fitting”结构风险最小化structureriskmi

39、nimization，为防止过拟合提出的策略，等价于正则化（regularization），加入正则化项regularizer，或罚项penaltyterm：提纲：1大统计学习三要素策略：经验风险最小化与结构55有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大统计学习三要素求最优模型就是求解最优化问题：提纲：1大统计学习三要素求最优模型就是求解最优化问56有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作

40、环境。提纲：1 大统计学习三要素算法：如果最优化问题有显式的解析式，算法比较简单但通常解析式不存在，就需要数值计算的方法提纲：1大统计学习三要素算法：57有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大模型评估与模型选择训练误差，训练数据集的平均损失测试误差，测试数据集的平均损失损失函数是0-1损失时：测试数据集的准确率：提纲：1大模型评估与模型选择训练误差，训练数据集的58有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既

41、开放又相互信任的合作环境。提纲：1 大模型评估与模型选择过拟合与模型选择假设给定训练数据集经验风险最小：提纲：1大模型评估与模型选择过拟合与模型选择59有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大模型评估与模型选择提纲：1大模型评估与模型选择60有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大模型评估与模型选择提纲：1大模型评估与模型选择61有利于学习和创新的组织管理机制，创造充满

42、活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大正则化与交叉验证正则化一般形式：回归问题中：提纲：1大正则化与交叉验证正则化一般形式：62有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大交叉验证：训练集trainingset：用于训练模型验证集validationset：用于模型选择测试集testset：用于最终对学习方法的评估简单交叉验证S折交叉验证留一交叉验证正则化与交叉验证提纲：1大交叉验证：正则化与交叉验证63有利于

43、学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大泛化能力generalization ability泛化误差generalizationerror泛化误差上界比较学习方法的泛化能力-比较泛化误差上界性质：样本容量增加，泛化误差趋于0，假设空间容量越大，泛化误差越大二分类问题期望风险和经验风险提纲：1大泛化能力generalization64有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大泛化

44、能力generalization ability经验风险最小化函数：泛化能力：定理：泛化误差上界，二分类问题，当假设空间是有限个函数的结合，对任意一个函数f，至少以概率1-，以下不等式成立：提纲：1大泛化能力generalization65有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大生成模型与判别模型监督学习的目的就是学习一个模型：决策函数：条件概率分布：生成方法Generativeapproach对应生成模型：generativemodel，朴素贝叶斯法和隐马尔科夫模型提纲：1大生成

45、模型与判别模型监督学习的目的就是学习66有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大生成模型与判别模型判别方法由数据直接学习决策函数f(X)或条件概率分布P(Y|X)作为预测的模型，即判别模型Discriminativeapproach对应discriminativemodelK近邻法、感知机、决策树、logistic回归模型、最大熵模型、支持向量机、提升方法和条件随机场。提纲：1大生成模型与判别模型判别方法由数据直接学习67有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，

46、以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大生成模型与判别模型各自优缺点：生成方法：可还原出联合概率分布P(X,Y),而判别方法不能。生成方法的收敛速度更快，当样本容量增加的时候，学到的模型可以更快地收敛于真实模型；当存在隐变量时，仍可以使用生成方法，而判别方法则不能用。判别方法：直接学习到条件概率或决策函数，直接进行预测，往往学习的准确率更高；由于直接学习Y=f(X)或P(Y|X),可对数据进行各种程度上的抽象、定义特征并使用特征，因此可以简化学习过程。提纲：1大生成模型与判别模型各自优缺点：68有利于学习和创新的组织管理机制，创造充满活力的

47、创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大分类问题提纲：1大分类问题69有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大分类问题二分类评价指标TPtruepositiveFNfalsenegativeFPfalsepositiveTNtruenegative精确率召回率F1值提纲：1大分类问题二分类评价指标精确率70有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，

48、依赖既开放又相互信任的合作环境。提纲：1 大标注问题标注：tagging，结构预测：structureprediction输入：观测序列，输出：标记序列或状态序列学习和标注两个过程训练集：观测序列：输出标记序列：模型：条件概率分布提纲：1大标注问题标注：tagging，结构预测71有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大回归问题回归模型是表示从输入变量到输出变量之间映射的函数.回归问题的学习等价于函数拟合。学习和预测两个阶段训练集：提纲：1大回归问题回归模型是表示从输入变量到输出变

49、72有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大回归问题例子：标记表示名词短语的“开始”、“结束”或“其他”（分别以B,E,O表示)输入：AtMicrosoftResearch,wehaveaninsatiablecuriosityandthedesiretocreatenewtechnologythatwillhelpdefinethecomputingexperience.输出：At/OMicrosoft/BResearch/E,we/Ohave/Oan/Oinsatiable/6

50、curiosity/Eand/Othe/Odesire/BEto/Ocreate/Onew/Btechnology/Ethat/Owill/Ohelp/Odefine/Othe/Ocomputing/Bexperience/E.提纲：1大回归问题例子：73有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大回归问题回归学习最常用的损失函数是平方损失函数，在此情况下，回归问题可以由著名的最小二乘法(leastsquares)求解。股价预测提纲：1大回归问题回归学习最常用的损失函数是平方损74有利于学习和创新的组织管理机制，创造充满活力的创新激励机制，以市场为导向，以顾客价值追求为中心的企业文化氛围，依赖既开放又相互信任的合作环境。提纲：1 大Q&A？提纲：1大Q&A？75