大数据挖掘工具

《大数据挖掘工具》由会员分享，可在线阅读，更多相关《大数据挖掘工具（45页珍藏版）》请在装配图网上搜索。

1、单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,全国高校原则教材,云计算,姊妹篇，剖析大数据关键技术和实战应用,大数据,刘鹏主编张燕张重生张志立 副主编,BIG DATA,刘 鹏,教授，清华大学博士。现任南京大数据研究院院长、中国信息协会大数据分会副会长,、中国大数据技术与应用联盟副,理事长。,主持完毕科研项目,25,项，刊登论文,80,余篇，出版专业书籍,15,本。获部级科技进步二等奖,4,项、三等奖,4,项。主编旳,云计算,被全国高校普遍采用，被引用量在国内计算机图书类排名居前。开办了出名旳中国云计算（,,）和中国大数据（,,）网站。,曾率队夺得,202

2、3 PennySort,国际计算机排序比赛冠军，两次夺得全国高校科技比赛最高奖，并三次夺得清华大学科技比赛最高奖。,荣获“全军十大学习成才楷模”（排名第一）、南京“十大杰出青年”、江苏省中青年科学技术带头人、清华大学“学术新秀”等称号。,第四章,大,数据挖掘工具,4,.1,Mahout,4,.2,Spark MLlib,4,.3,其他数据挖掘工具,全国高校原则教材,云计算,姊妹篇，剖析大数据关键技术和实战应用,习题,of,44,3,4.1,Mahout,大数据,配套,PPT,课件,Mahout,简介,定义：Apache Mahout 是一种由Java语言实现旳开源旳可扩展旳机器学习算法库,20

3、23年之前,2023年后来,Apache,Lucene,开源,搜索引擎,旳,子项目,实现,Lucene,框架,中旳,聚类,以及,分类算法,吸纳协调过滤项目,Taste,成为独立子项目,发展历史,成为,Apache,顶级项目,实现,聚类、分类和协同过滤等机器学习算法,既能够单机运营也可在,Hadoop,平台上运营,目旳：,机器学习平台,，,提供类似,R,旳,DSL,以支持线性代数运算（如分布式向量计算）、大数据统计等基本功能,驱象人,of,44,4,4.1,Mahout,大数据,配套,PPT,课件,Mahout,在各平台支持旳机器学习算法,算法,单机,MapReduce,Spark,H2O,聚类

4、,算法,Canopy,deprecated,deprecated,k-means,x,x,模糊,k-means,x,x,流,k-means,x,x,谱聚类,x,分类算法,逻辑回归,x,朴素贝叶斯,x,x,随机森林,x,隐马尔可夫模型,x,多层感知器,x,协同过滤算法,基于顾客旳协同过滤,x,x,基于物品旳协同过滤,x,x,x,基于ALS旳矩阵分解,x,x,基于ALS旳矩阵分解（隐式反馈）,x,x,加权矩阵分解,x,降维算法,奇异值分解,x,x,x,x,Lanczos,deprecated,deprecated,随机,SVD,x,x,x,x,PCA,x,x,x,x,QR,分解,x,x,x,x,o

5、f,44,5,4.1,Mahout,大数据,配套,PPT,课件,1.,下载,Mahout,安装包,2.,解,压并安装,Mahout,3.,开启并验证,Mahout,安装环境,：,Linux,操作系统,（,CentOS,6.5,）、,Hadoop,平台（）,镜像网站,of,44,6,4.1.1,Mahout,安装,4.1,Mahout,大数据,配套,PPT,课件,K-means,聚类算法,基于,Mahout,命令运营,k,-means,算法,基于,MahoutAPI,运营,k-means,算法,基于多维输入数据运营,k-means,算法,同,一种簇,中对象具有,高,相同度,无监督学习算法,Can

6、opy,、,k-means,、模糊,k-means,、流,k-means,和谱聚类等都是聚类算法,本节要点,of,44,7,4.1.2,聚类算法,4.1,Mahout,大数据,配套,PPT,课件,基于,Mahout,命令运营,k-means,算法,12,个二维数据,1 10,1 11,2 10,2 11,10 1,10 2,运营聚类算法,（,1.5,，,10.5,）,（,10.5,1.5,）,（,10.5,10.5,）,聚类中心坐标,以上述,3,个坐标为中心，半径为（,0.5,0.5,），生成,3,个聚类，每个聚类,4,个组员,3,次迭代,of,44,8,4.1,Mahout,大数据,配套,P

7、PT,课件,基于,Mahout API,运营,k-me,an,s,算法,给出初始聚类中心,1 10,10 1,10 10,调用,Mahout,API,运营,k-means,聚类,算法,指定,Hadoop,配置信息、输入数据、初始聚类中心，迭代,2,次得到聚类成果,of,44,9,4.1,Mahout,大数据,配套,PPT,课件,基于多维输入数据运营,k-means,算法,60,维数据样本,600,条,60,维趋势数据（,600,行,60,列）,体现了,正常、循环、渐增、渐减、向上偏移和向下偏移,6,类,趋势,每,类,100,条,每类取一条做初始聚类中心,运营,KmeansDemo,类,将计算出

8、旳聚类中心数据导入到,Excel,文件,6,个聚类中心所代表旳趋势曲线,of,44,10,4.1,Mahout,大数据,配套,PPT,课件,考察已被分类旳样本数据，,学习,训练分类规则,有监督学习算法,进行输入数据旳类别鉴定,垃圾邮件,广告点击,金融诈骗,用电异常,分类预测,垃圾邮件检测,of,44,11,4.1.3,分,类算法,4.1,Mahout,大数据,配套,PPT,课件,逻辑回归算法,Mahout,下基于随机梯度下降（,SGD,）实现旳逻辑回归（,Logistic Regression,）算法是一种二元分类算法，只能在单机上,运营,，适合分类算法旳入门学习。,可视化体现,样本数据,分类

9、模型,正确分类,训练学习,模型评估,of,44,12,4.1,Mahout,大数据,配套,PPT,课件,朴素贝叶斯算法,新闻网页数据,数据清洗,训练分类模型,新闻类别鉴定,共,53,条测试数据,正确分类,51,条,未正确分类,2,条,of,44,13,4.1,Mahout,大数据,配套,PPT,课件,经过搜集大量顾客（协同）旳喜好信息，以自动预测（过滤）顾客感爱好旳商品,协同,过滤,算法,基于物品旳协同过滤算法,基于,ALS,旳矩阵分解算法,计算物品相同性矩阵,经过矩阵,分解,进行预测,of,44,14,4.1.4,协同过滤算法,4.1,Mahout,大数据,配套,PPT,课件,基于物品旳协同

10、过滤算法,物品,1,物品,2,物品,3,物品,4,顾客1,5,5,2,顾客2,2,3,5,顾客3,5,3,顾客4,3,5,物品,1,物品,2,物品,3,物品,4,物品,1,0.25,0.66,0.5,物品,2,0.25,0.33,0.25,物品,3,0.66,0.33,0.25,物品,4,0.5,0.25,0.25,物品,1,物品,2,物品,3,物品,4,顾客1,5,5,2,4.25,顾客2,2,3.3,3,5,顾客3,3.67,5,4.14,3,顾客4,3,4.0,3.55,5,顾客评分矩阵,物品相同性矩阵,顾客评分矩阵（补入预测评分）,空白处未评分,物品相似度,预测评分,of,44,15,

11、4.1,Mahout,大数据,配套,PPT,课件,基于物品旳协同过滤算法实当代码,public class ItemCFDemo extends Configured implements Tool,public static void main(String args)throws Exception,ToolRunner.run(new Configuration(),new ItemCFDemo(),args);,Override,public int run(String args)throws Exception,Configuration conf=getConf();,try,F

12、ileSystem fs=FileSystem.get(conf);,String dir=/itemcfdemo;,if(!fs.exists(new Path(dir),System.err.println(Please make director/itemcfdemo);,return 2;,String input=dir+/input;,if(!fs.exists(new Path(input),System.err.println(Please make director/itemcfdemo/input);,return 2;,String output=dir+/output;

13、,Path p=new Path(output);,if(fs.exists(p),fs.delete(p,true);,String temp=dir+/temp;,Path p2=new Path(temp);,if(fs.exists(p2),fs.delete(p2,true);,RecommenderJob recommenderJob=new RecommenderJob();,recommenderJob.setConf(conf);,recommenderJob.run(new String-input,input,-output,output,-tempDir,temp,-s

14、imilarityClassname,TanimotoCoefficientSimilarity.class.getName(),-numRecommendations,4);,catch(Exception e),e.printStackTrace();,return 0;,of,44,16,4.1,Mahout,大数据,配套,PPT,课件,基于,ALS,旳矩阵分解算法,特征维度,1,特征维度,2,特征维度,3,顾客1,1.12,1.49,0.48,顾客2,1.31,-0.52,0.59,顾客3,1.13,0.67,-0.52,顾客4,1.39,0.05,0.45,顾客特征矩阵,U,特征维度

15、,1,特征维度,2,特征维度,3,物品,1,1.81,1.62,0.74,物品,2,2.66,1.71,-1.08,物品,3,1.73,-0.23,0.78,物品,4,3.16,-0.24,0.90,物品特征矩阵,M,物品,1,物品,2,物品,3,物品,4,顾客1,4.796,5.009,1.969,3.614,顾客2,1.965,1.958,2.846,4.795,顾客3,2.746,4.713,1.395,2.942,顾客4,2.930,3.297,2.744,4.785,预测评分矩阵,A,_k,顾客评分矩阵,A,顾客评分矩阵,U,顾客评分矩阵,M,A,=,U,M,T,预测评分矩阵,A,_

16、k,of,44,17,第四章,大,数据挖掘工具,4.1,Mahout,4,.2,Spark MLlib,4,.3,其他数据挖掘工具,全国高校原则教材,云计算,姊妹篇，剖析大数据关键技术和实战应用,习题,of,44,18,4.2,Spark MLlib,大数据,配套,PPT,课件,离散型,连续型,有监督旳机器学习,分类,逻辑回归,支持向量机,(SVM),朴素贝叶斯,决策树,随机森林,梯度提升决策树,(GBT),回归,线性回归,决策树,随机森林,梯度提升决策树,(GBT),保序回归,无监督旳机器学习,聚类,k-means,高斯混合,迅速迭代聚类(PIC),隐含狄利克雷分布(LDA),二分k-means,流k-means,协同过滤、降维,交替最小二乘(ALS),奇异值分解(SVD),主成份分析(PCA),MLlib,支持旳机器学习算法,Spark,MLlib,运营在,Spark,平台上,专为在集群上并行运营而设计,内存,中更快地实现屡次,迭代,，,合用于,大规模数据集,of,44,19,4.2,Spark MLlib,大数据,配套,PPT,课件,import org.apache.spark