大数据试验报告

《大数据试验报告》由会员分享，可在线阅读，更多相关《大数据试验报告（19页珍藏版）》请在装配图网上搜索。

1、Guizhou University of Finance and Economics课程实验报告专业年级14级软件工程课程名称大数据技术原理与应用指导教帅李均涛学生姓名吴勇学号 20142205042026实验日期 2017.05.04实验地点笃行楼B栋301实验成绩教务处制2017年03月09日实验项目名称实验目的及要求Liunx基本操作1.2.3.4.了解Liunx操作系统发展历史。学习Liunx操作系统基本概念及操作。学习Liunx操作系统用户及文件权限管理 Linux目录结构及文件基本操作。实验1.实验楼环境介绍，常用Shell命令及快捷键，Linux使用小技巧。内容 2.Linux

2、中创建、删除用户，及用户组等操作。Linux中的文件权限设谿。3. Linux的文件组织目录结构，相对路径和绝对路径，对文件的移动、复制、 重命名、编辑等操作。1. Liunx输入输出命令实验步骤2.ihtjrAfllaid :-r/ $ tMCh ftle EbtyanloM:/ $ cd Cade &hLjrn* Cod/ $ pud/hwie/shtyanlou/Code shiytnlauCod*/ S |9：42：39如仙；59J53：439：43：叫=示工JUU-使用touch命令创建文件夹，后缀都为txt。3.学会在命令行中获取帮助。jEfll-iEl * 齿I |BiWijb

3、W手册分页显示二只NAH(l)NMEzn 在坎考手Ji的株口蔻述5 (-C 迪 趾,】3*【=四】I-* 驻】f-L 心5一 .一.一一一_ 丁展t-l-I -r9rd-* -vl勺z -P 分空程庠-r 担;Jij -7-E 二-3IJ K :. J5 4【com lit里】, rMil -K HI bS Ult -11-11 Lzrsm【心】词匿 a r j. *! rdL. 帕也 -MhnkaMtlM) (-o-justflc*tiflo，孕/出 1 -tNn whatis 选地.也.MU -I -C iLftJ 瑚】EfM皿LIr邮】p分页我序L r-r 勤rd -71 -e !&B卜

4、p ssmi i-tIXimiJ 11 5jSl IH -C kl g 顷页 w -c -C Ml r-d J。】页&1| 牌jinui.l p.Si* pwC1)i Itin. 1 (pr.：i h for Mlp w q to4.输出图形字符。XfliE mLQi夜用3 喑*工|有蓄辿 附期HJsysvbanner升级了日个段件色、新安装了 1个软件包.要卸莪0个软件悒.有151个软件包未被升常要下轼们5淖&的牧件包博压精后龛消转掉73,7 kB的筋外空间.荻取:1 http:/mtrrors.aliyuncs.ccn/utuntu/ trustyuniverse sysvtanner 丹

5、时64 1.0 ,15 6,599 B下栽6.595 B .耗时应秘CO &0正在逸中未庖择的轼件包钊找说mwr“(正在该取数据摩.系统当前共安装有Z7579个文件和目或.)jF准fi藉包./sysvbanner_1.0L15_aftdG.deb 正在桐庖sytvbanMr (1.6土)正在屈闵用于nan - db (2.6.7.1. - lubuntu 1)的触发器.正在设担 即如baM河1*0.15) .shiy-anlou: -/$ 8抓wuyonq* a a 酋# 甘漱 弁# *# #* 。#sn*#林尊 w *#ssMgliauT S5.查看用户。*Ai0：eeii4mm；*】ie：

6、95:50：iBnrinal ttk| wyonB2617-05-M 09:57 Bcm likes217-B5-M 09:57 (:1-O)shtjranloii:-/ $ who w I whL归Mou Dts/O shl“nlg：-/ $ who hlyahlo-LJ 口 shtyanlou:-/ $ I直州9 miEJ MM；yi 心 TOifci6.创建新用户。shiyanlcu:-/ $ sudo ddduser wuyang10:09:21正在海加用户-wuycng.正在德加籁蛆wuyongH正在添加麻用户wuyongri (1000)到螭侦yon矿 钢建圭自 /hone fMy

7、ong 正在从/etc/skel-复制文件.，.输入斯的UNIX滂妈:市航渣入新的UNIX昭码：pMSwd : 口成功更新雷码正在改安m叩wig律用户信息请WJ入新值.或直援他回车供以使用歇认值全名；房间号码，工作电话J：家庭电话【：真它 :这些信息是否正福？ Y/n Ysilly an Lou:*/ $ Is /hone &hiyanlcu wuyong10:16:53s+iiyanlcu:*/ $ su -1 lilet 没有用户wUlei,h的密码项10:11:12shiysnlcu:-*/ $ su -1 wu/ang 密码:wu yonflf9ed98cblfflS10:1133a|

8、ifinB 9Mii格KMD 林鲁伯1 tflhm)7.删除用户。D ma mmil. ,句也 WiL节临血&hiyjinliaiu:/ $group | sor t|1B: 17:13皿 没有那个文件成目录! cat/etc/groupthiyanlou$ sudo deluser 正土寻找要备份残州琮的文件. 止在删除文件.，shiyanlou:*/ 总用 8 drwxrwxr- drwxrwxr -rw-rw-r- -rw-rw-r* -rwrwr- -rw-rw-r- -rw-rw-r* -rw-rw-F -rw-rw-r- -rw-rw-r- -rirf-rw-r- -rw-rw-r

9、- -rw-rwr- -rw-rw-r- -rw-rw-r- shiyanlou-$ Is -1shiyanlGu shiyanlou shianlou shiyanlou shiyanlou shiyanIou shiyanLou shlanloiu shtyanlou shiyanLou shtanUu shiyanIou shiyanlou shtanlu shiyanlowshtyanlou shiyanlou shtyanlou shiyanlou shiyanloii shtyanloij shtyanlDU shlywnlQUi shiyanloij shiyanlou shiy

10、anUu shtyanlow shiyanloLi shtyanlou shiyanlou4096Uij.月月月月月月月月月月月月月月月 8 855555 5 5 55 5 555201609:42 09:52 09:S2 39： 52 Q9:52 09:52 B9；52 09:52 09:52 99： S2 09:5299；se 99：seCode Desktop file love love love love love love love love love love10:20:4510_linux . txt l_linux.txt 2=Hnijx +txt linux txt lin

11、ux-txt ltnux.txt linux.txt.67_ltnu+txt 8_ltiwx* txt 9 linuK.txtw.txt yong.txt10:21:16ihlyftfilau:*/ $ $udp CltluSer ItMi -rtraawe-hciH10:17:45/uir/ibln/dilmtr:用户lUet-不祥在.wuyong - -rmDve-hme10:19:11i!L在删象用户uyon”，警缶:蛆值有其他成员了.芫成ihlyanlou:*/ $ |IG:19:518.查看文件权限。xms 演胃正i ftffiivi胃殖D 帏霍滴i用Viirb9.用 ls A/Al

12、/dl/AsSh 查看文件。10.变更文件所有者。11.修改文件权限。Trmln*l 牌端-hlyvilDuPfC4iil9Dcbl91!5: -/fiUii-r/ion/g.rinaiiMiIffCD 尊*芯I 蛔娜峰糊If鞠等冷助1娜shiyanlou :*/ $ touch testme2：iashiyanlou:/ $ mkdtr nydir11:&2:27)shiyamlQu:*/ $ rnkdir -p father/son/grancIsoiT!11:02:47shtyanlou:*/ $ cd father/son/g rahdsonshtyanlou:grandson./ $

13、 ped zsh: command not fouindl: ped11:04:&5shiyanlou:grandson/ $ shiyamlou!: grandson/ $ pwdl/ home/shiyanlou/fathe/son/grand号 on shiyanlou:g rdndson/ $ |11:04:1512.目录路径。InflI 晚端 ihhrinojQni4 Ep I爵中-匡在读取软忤包列表，完成 shiyainlou：/ $ sudo apt-get install tree 正在读取牧件包列表完成 正在分所故件包的依赖关系树正在域取，状态信息一.完成tree已经是最新的

14、版本升级了 0个软件包.斯安装了 G个软件包要卸载0个软件包.有1S1khtyanlou$ cd -not found: E, S pednot found: ped$ pwdlittp:/Hirrors naliyuncs neon http:/mtrrors .aliuncs Pcon http:/ntrrors.aliyuncs.con httpt/ntrrors.altyuncs.eon http:/nirrorsTaliyunc5 rcon httpi/Znirrors aliyuncs neontruty/ijniverse Sources trusty/multiverse So

15、urces trusty/nain Pid64 Packages truisty/restrtcted and64 Packages trusty/wniverse Packages truty/nultverse and64ie：58：ja个软件包未械升13.z&h; connnd shiyanlcu:*/ zstii connand shtyanlou: /hoHefshtynlOu shiyanlou:$ cd - shiyanlou5 pwd /hoMe/shtyanlou shlyanlou:-7 $ |16:58:5010:59:1918:59:29IB:59:3316:59:51

16、rii：ee：23i新建空白文件。14.文件的复制、删除、移动、重命名。1*1 M4iL *|Jlliy MH 如 MJiyi-w/ S H text11:08:36111无法访IHtwt：没有那个文件st目块hlyaAlmj：-/ $ wu 4 txtii：B8h54zshcomand not fcNjnidwu-txtshlyanl&u:-/ $ cat -n passed11:0912acat; pnsswd:没有那个文件世目录KhtyiHlci):-/ $ cp /ct/p4wd11:11：46|CP */cet/pa55Mdu后缺少了要整作曲耳标女皓Try up -help for

17、More triforrtation,sklyaqlmj：/ $cp/ct/psHd ,ll:12:GS|cp：无ilil /cet/passkic 设后那个交件戢.甘审$mwteit RfUe(11:12:14lKymlmj：-/ Sr-f testil】：l4：8$hddoni偷124丽位:云I相关配置文件修改：修改core-site.xml:格式化HDFS文件系统.Hadoop集群启动.Hadoop的基本操作1. Hadoop单机模式安装.2. Hadoop伪分布模式配谿部署.3. Hadoop介绍及1.X伪分布式安装.4. adoop2.X 64 位编译.5. Hadoop2.X 64

18、位环境搭建.1. hadoop三种安装模式介绍,hadoop单机模式安装，测试安装2. hadoop配谿文件介绍及修改,hdfs格式化，启动hadoop进程，验证安装.3. Hadoopl.X伪分布安装,Hadoop介绍,Hadoop变量配谿.4. Hadoop2.X 64 位编译,编译 Hadoop2.X 64 位，编译 Hadoop.5. 搭建环境，部署Hadooop2.X,启动Hadoop.1. 用户及用户组，添加用户及用户组，添加sudo权限.2. 安装及配谿依赖的软件包，安装openssh-server、java、rsync等，配置ssh 免密码登录.3. 下载并安装 Hadoop,

19、下载Hadoop 2.6.0，解压并安装，配置Hadoop.hadoop - 2.61S/ sha re / hadoop/mapred uce/ souces / hadoop - mapreduce-client -hs- plugins -2.6.9- sou rces . Jar hadoop - 2 u G u B/ sha re / hadooip/napred uce/ces / hadoop - maprediiEe - cl tent - jobcltent-2.6-S-scnirces - jar h adcop - 2,6, B/ ri /wc-r/ssf hdicip

20、= cl ttnt - corwipn * 2,6. fl * sou rcs .jarhadoopsha re / hadcop/Fiapr#d uce/souces / hadoop - mapreduce-client -hs- 2,6,9-test - SGHirce&- jarhadap-2.E.B/LICENSE . txthidcop z. B/ README B t;K thadoop-2i6.S/bin/hadoopZ.E,B/btn/hdfs.cHdhihddp-B/btri /t -crr史utirhadoop-2.6.9/bin/container-executorhd

21、doop-Z,6：6/bin/hadoop.endh2 $，日 / b In /hadoop - 2.6.9/bin/hdfs.hadoop - L 6 ； B/bln/nap redh4dp-2,6,/bln/h*dti5fhaidoop 2.6.9/btn/dh adoop -2.6. B/bin Map red - endMdgp .西网JBlnjyxnhadoop2.6.6/include/h adoop -2,6.0/tntl ude / T enplateFac tory u b hh -26.0/lncl ude/Str IngUti Ls.hhhadoop-2.S/includ

22、e/hdfs.hhadoop-2.6.B/include/Pipes.hhhdo&p-2.fi.0/Include/SerlalutiIs-hhh adpe 128a4S45:$ sudo 叫 Ih sdoop - 2. . /uk r /1 a l/tiddph adDopie 12fla48a4Se:sudo chmd 7T? /r /1 oc al/hadooph 用日b4；8占8.测试验证.ff00:0 ip6-mcastprefixff02：:1 ip6-allnodesff02:2 ip6-all route rs151.101.72.133assets-cdn * github-

23、 com115.159,216.235gems.ruby-china.o rgIO.252,136,123git-192.30.255.113github com10.157.220.8Labf ile .ossaliyuncs a com10 “143.34 + 200mirro rs allyun cam10 r143-34,200m i r ro rs,151r101,IS,162regist ry npmj s. o rg151.101.36.209repel maveno rg151.101.36.269repo2 B maven * a- rg192.30.255,113www B

24、 github 土 com10.252,136,123www - shiyanlou .co-mi192.168,40.65e2f6a9b704b192.16.0.1485e2f6a9b704b弓号寻句弓997不千1 LhaHccn9.设置Host映射文件.10. 下载并解压hadoop安装包11. 在Hadoop-1.1.2目录下创建子目录shi/anlou5e2fa9b704b shiyanlou5e2f6a9b7D4b shianlou5e2f6a9b704b shiyanl ou(a5e 2f6 a9b704b shi/anlou5e2f6a9b704b shiyanlcu5e2f6a

25、 9b 7 94b bin build,xml C+ CHANGES,txt conf cant ribinstall-pack$ hadoop-1.1.2$ hadoop-1.L.2$ hadoop-1.1,2$ hadoop-1.L.2 hadoop-1.1,2$cd /app/hadaop-1.1.2 nikdir mkdir nikdir mkdir Istmp hafs hafs/narie hafs/datahadoop-client -1.1.2.j ar hadoop-co re-1,1,2.j arhadoop-examples -1.1.2.ja r hadoop-mini

26、clusterU . 1 r 2, jar hadcop-test -1.1.2.j ar hadoop-tools -1.1r 2,ja rhadoop-ant -1.1.2.ja r hafsivyivy.xmlliblibexecLlCENSE.txtNOTICE.txtREADME.txtsbin share s rc tmp12. 启动 hadoop.13. 编译 Hadoop2.X 64 位.shiyanlou6c422836e38f install-pack$ source /etc/profile shiyanlou8c422836e38f install-pack$ java

27、 -version java version 1.5.0gi (GNU libgcj) version 4.4.7 20120313 (Red Hat 4.4.7-11)Copyright (C) 2007 Free Software Foundation, Inc.实验环境实验结果与分析14. 使用yum安装sun.15. 部署 Hadooop2.X.与 Hadoop1.X 类似。hadoopXfce 终端通过本次实验，让我对Hadoop有所了解，但是在实验过程中出现许多问题。 例如，不知道该如何下载java jdk,甚至如何创建文件夹目录下的文件，以 及Hadoop的环境配谿原理以及编译原

28、理和方法。这些都是实验中出现的问 题，但是通过自己查询，问同学，部分问题已经得到解决，但是还存在一部 分就只能通过课后自学进行解决！ ！ ！通过上述的学习，让我对Hadoop的基 本操作有了基础的掌握，包括Hadoop介绍及1.X伪分布式安装，adoop2.X 64 位编译,Hadoop2.X 64位环境搭建等。教师评语注：可根据实际情况加页Guizhou University of Finance and Economics课程实验报告专业年级14级软件工程课程名称大数据技术原理与应用指导教帅李均涛学生姓名吴勇学号 20142205042026实验日期 2017.06.01实验地点笃行楼B栋

29、301实验成绩教务处制2017年03月09日实验项目 名称HDF潴 MapReduce实验目的及要求1. HDFSM理及操作。2. MapReduc源理及操作。实验内容1. HDFSM理及操作。环境说明，HDF静理，HDF跳构，HDFS卖操作，HDFST操作，测试例子2. MapReduc源理及操作。环境说明，Map Reduce理，Map过程，Reduce过程，测试例子实验步骤1.HDFS原理及操作。1.1环境说明。虚拟机操作系统：CentOS6.6 64位，单核，1G内存JDK 1.7.0_55 64 位Hadoop： 1.1.21.2 HDFSM理。HDFS( Hadoop Distri

30、buted File System )是一个分布式文件系统，是谷歌的GFS山寨版本。它具有高容错性并提供了高吞吐量的数据访问，非常适合大规模数据集上的应用，它提供了一个高度容错性和高 吞吐量的海量数据存储解决方案。1.3 HDF/构。HDF理 Master 和 Slave 的结构，分为 NameNodeSecondary NameNod 和DataNode三种角色。1.4 HDF就操作。客户端通过调用FileSystem对象的open()方法来打开布望读取的文 件。1.5 HDFSf操作。客户端通过调用 DistributedFileSystem 的create()方法创建新文 件。1.6测试

31、例子1。1.创建代码目录bin$ cd hdoop-1sb xyanl-OLJ7S5d f c 8t e03b sh iyanl-oi-J7S5d f c 8f eO3b sh iyanl-oi-J7S5d f c 8f eO3b sh iyanl-oi-J7S5d f c 8f eO3b sh iy anT-oui7B5d f c 8f e03b sh iy anTou7 85d f c 8f e03b binbu iXd,xmlC+CHANGES B t mtccn fcant ribhadoop-ant -1,1.2.jar hadoop-cT ientjarhdoop-1 hadoop

32、 - hadopp - hadopp - hadopp - hadoop- hd f sinpLit2.建立例子文件上传到 HDFSmy inputmy c input：r2. j 5ir .1,2 , j a r ra rivy H xml libI i,bex ibc LICENSE.txt logs my c Lass NOTICE.txt README t Kt|shi/anlou7S5dfcBfe93b input$ hadoop fs -ricdir /clas94Ishi/anlou785dfcSte93b inputJ hadoap fs -Is / :ound 2 itett

33、s irwxr-xrx shiyanlou supergroup0 2017*06-01 02:54 /app1 rwtrxf*x- shiyanlou supergroup0 2017-0601 02:57 /classJ耳hL/miLQU即SSdftB十eC3h input$ 3. 配谿本地环境4. 编写代码5. 编译代码shiyanlcu735dfc3fe03b myclass)$ javac -classpath r /hadoop-core-L1,2.jar FileS/stemCat Java(shiyanlcu785dfc8f03b$ 11total 8*rw*rwr-* 1 s

34、hiyanlou shiyanlou 122S Jun 1 03:01 FileSystemCat.class-rw-rw-r- 1 shiyanlou shiyanlou 62& Jun 1 03:0G FileSystemCat.java6. 使用编译代码读取HDF&C件/ iyanlou3b393ddi554el corf4 hadoop VileSystenCat /clss/quangle.txt On the ton of the Crumpttty Tree The Quanglc tangle sat,But his race you could not seet On acc

35、ount of his Beaver Hat. shiyanl0ubM93aO4554wl con切2. MapReduce原理及操作。2.1 环境说明。虚拟机操作系统：CentOS6.6 64位，单核，1G内存JDK 1.7.0_55 64 位Hadoop 1.1.22.2 MapReduce理。Map和Reduce当你向MapReduce框架提交一个计算作业时，它会 首先把计算作业拆分成若干个 Map任务，然后分配到不同的节点上 去执行，每一个Map任务处理输入数据中的一部分，当 Map任务完 成后，它会生成一些中间文件，这些中间文件将会作为 Reduce任务 的输入数据。Reduce任务

36、的主要目标就是把前面若干个 Map的输出 汇总到一起并输出。2.3 Map过程。每个输入分片会让一个 mapff务来处理，默认情况下，以 HDFS勺一 个块的大小（默认为64M为一个分片，当然我们也可以设谿块的大 小。map输出的结果会暂且放在一个环形内存缓冲区中（该缓冲区的大小默认为100M由io.sort.mb 届性控制），当该缓冲区快要溢出 时（默认为缓冲区大小的80%由io.sort.spill.percent届性控制），会在本地文件系统中创建一个溢出文件，将该缓冲区中的数据写入这 个文件。2.4 Reduce过程。Reduce会接收到不同mapff务传来的数据，并且每个 map专来的

37、数 据都是有序的。如果reduce端接受的数据量相当小，则直接存储在 内存中（缓冲区大小由 mapred.job.shuffle.input.buffer.percent 届性控制，表示用作此用途的堆空间的白分比），如果数据量超过了 该缓7中区大/、的一定比例（由 mapred.job.shuffle.merge.percent决定），则对数据合并后溢写到磁盘中 2.5测试例子。1.编写代码。shiyanloub9b774d5aab6 n)yclass$ Is HinTemperture.javaMinTempe ratu reReduce r H javaHinTemperatu reMap

38、pe r.j ava2.编译代码、JdVdC -CS 113.打包编译文件asspath. ./Iiddoopcore-lF ii 1 eSys tomcat+ Filesy&temcat* ja HdfsJLocalfile.c Mdfs21ocalFilej LocalF i1c2Hdf5 $1 LocalFile2Hdfs.c4 06:5 MinTemperature.c* j MinTemperature.Mi rTemperatureciJ vi ji Tempera tu rprt m iuTpinperdtureRe itjr整女。】4 。6：484 06:504 06:494

39、06:50咨 Q6 :% 0 V i n T mmX fass5* 57%)4.解压气象数据并上传到HDFStsriyanioyw)393aO4el MycUisjJ jar cvt ,/MinTerrperature.jar .p added manifestadding: Fi 1 esystemcat.classon . 12?8) (out* 664)(deflatd 4玖) adding: Kdfs2LocalFi1,class(in = 1356) (out= 771)(deflated 43%) adding： Loca)File2Hdf$tl.c1ass(in = 566) (

40、out= 376)(deflated 35%) adding: localFllewdfs,class(in = 1455) (out- 04O)(deflated 4潺 adding: MinTeirperature.class(in = 1417) (out亡 798；(deflated 43%) adding: M inTeperaCur#*apper + c 1 ass (in = 1876) (out- 803)(defUted adding: MinTemperatureReduicertclass(in - 1664) (out= 71%)(deflated shiyanlou4

41、b393a045S4el myc1 assS Istshiyanlaij4b393a04554el *- S pwci/hcxne/shi yan 1 oushiyanlou3b393a04 5 54el unzip temperatureArch ive: temperature.zip treating: temperature/ extracting: temperature/0104SQ-99999-193.gz extractin9： temperature/01O470*99999-1973.gz extracting: temporature/010490-99999 1975.

42、gz extracTing: Tmpraruro/QEQ510，9999】9Mm.gz5.运行程序rshiyiftloiObl91aQ4554cicd /app/hadoop 1.1.2(shiymkxt0bS9im:i54e； hddoop-1 i.2J 卜 build,xm!ivy. wntREADME,titCKwias.txtLICENSE.txt!yl 1U. t It6.查看结果。adoop rs实验环境classS/out虚拟机操作系统：CentOS6.6 64位，单核，1G内存JDK 1.7.0_55 64 位 Hadoop 1.1.2ou0b3yiaO4S54el 1 $hiyn)ou supergroup shiyanlou SupergroupQ 2015-06-04 0 2015-06-04 ?Q 201S-06-04ITel J hadoop fs -cat /classS/out/pa实验结果与分析实验分析：通过学习HDF字日MapReduce 了解其原理及操作，但是在实验过 程中遇到很多问题，例如无法启动 Hadoop无法连接到Hadoop等问题，通 过自己请教老师、同学以及网上自己动手查阅资料得以解决。明白其工作原 理，从而进一步了解到Hadoop的运行机制与操作，更加了解大数据。教师评语注：可根据实际情况加页