数据预处理实验1

《数据预处理实验1》由会员分享，可在线阅读，更多相关《数据预处理实验1（14页珍藏版）》请在装配图网上搜索。

1、重庆交通大学信息科学与工程学院实验报告班 级： 曙光1701班姓名 学号:实验项目名称：数据导入与预处理实验一实验项目性质：验证性、设计性实验所属课程：数据导入与预处理实验室（中心）：语音楼八楼指导教师：实验完成时间：2019 年 11 月 1日一. 实验目的1. 了解和掌握数据库的恢复，数据库数据的变换，数据的统计以及 可视化；掌握Json数据集的API下载方法，数据提取，以及导入其他 数据结构的方法。2. 了解和掌握不同数据格式之间的转换方法；掌握用计算机编程语 言实现数据的格式转换以及数据信息的提取。二. 实验要求1. 安装Mysql数据库，以及mysql workbench客户端，2.

2、 下载对公众开放的安然(Enron)公司的电子邮件数据集。下载地址：3. 在mysql中恢复Enron数据库。4. 数据统计每一天和每一周发邮件的数量，并用可视化软件实现 可视化。5. 采用iTunes API做个小实验，利用关键词来生成JSON数据结果集。 iTunes是由Apple公司提供的一个音乐服务，任何人都可以利用 iTunes服务来查找歌曲、艺术家和专辑。在查找的时候需要把搜索关 键词添加到iTunes API URL的后面。URL中，二后面的是搜索关键词， 是一个乐队的名字，theGrowlers。注意：URL中用+代替空格字符， URL不允许包含空格字符。iTunes API会

3、根据提供的关键词从音乐库中返回50个结果。整个结 果集形成一个JSON文件，每一条音乐信息中的元素，以名字-值的 格式存放在JSON文件中。The GrowlersApple iTunes的开发文档：6. 使用一种熟悉的语言，编写程序，将下载下来的the Growlers的 所有音乐的歌名提取出来，并可视化显示。三、需求分析1. 提取出安然公司数据集中的每天的阅读量和每周的阅读量，并 画出趋势图2. 提取出iTunes中的trackname数据实验过程1. 安装好 Mysql 和 Mysql Workbench MySQL巳 MySQL Shell日 MySQL. Workbench 8.DC

4、E Installer - Community Server 8.0Welcome to MySQL WorkbenchIMySQL Workbench is the official graphical user interface (GUI) too) for MySQL It allows you to design,create and browse your database sdiemas, kvork with database objects and in翼rt dat as welldesign and run SQL queries to work with stored

5、data. You can also mtgrate schemas and data from otherdatabase wndorE- to your MySQL database.Dacu mentation Fled the Blog Discus ora the Fo-rums MySQL Connections 位Local instance MySQLSO1乎略3际骐珀062. 建立一个新的数据库: 神岑 Ampinr_-54udertirrh瞄in虬 ycfshde心命Harms:忡5|Eperfp- Hw iRswreRtfa-nbficxrFhraelXaUiKfi：Ow

6、sei 7CdatiOi -rTTw l-HrKaAuliaiiidlic rsnilext help h disabled. Use the todbar t iiifliiually get help fo the caret powitkm or ti e aiilnniatk- hlp.3. 打开cmd,进入MySQL:- -uraot：M!osoft Windowa IK# 10. 0.17763,805(c) 2018 Microsoft CerporatiM 保睹刑有枳利&C:Jsers11494)clySQL Server 8. ObiniuTsql -uroot _pyang

7、l52B339cnsql: Warning Usnng a passvoxd on the ccamand Line interface can be insecure.L!eleone to the MySQL HQaitoru Ccomands end wilh ; orour MySQL cconection id is 24t ierver versioQ： 8. 0. 16 MySQL Cccununitj Sexvei- - CPL|Copyrigbt (c) 2000, 2019 Orac 1 e and/or its affilLates All rights reserved

8、.IIrac 1 e is a registered trademark nf Oracle Coiparation and.ar its uffiliates. Other names may be trademarks of their respective xmers.rype ? help;11 or kh for help. Type c-F tD clear the current input statement.m.ysql查看数据库:mysQl show databases |HFDatabase+enronhappyplaceinforniation_scheiiiamyda

9、tabasemysqlperforniance_scheiiiasakilastudentsysworld+p10 rows in set (0. 00 sec)4. 下载好安然公司的数据集K enron-iTiysqldjiTi_v5.5ql5. 选用enron数据库，在Mysql中导入安然公司的数据集到数据rysclI use enront a. Eb 3. * ir l ： u 11 =!uery0K, 0rowsaf rectedj:warning 0, OCineryOK, 0affected(0. 00 sec)in er vOK. 0rowsaffected(0.00 sec)!

10、ueryOK, 0rowsafzected,:warning (0, 07ineryOK, 0affected(0. 06 sec)fuervOK. :ecords:149 rows affected (0.02149 DupJ icates:sec/ 0 Warnings: 0ju&ry OK,0 rows affected(0. 06 sec)nysql Sourc& C:Lsersl 1494D&sktoplenron-tnysqldutap_v5. sqlenron-mysq 1 duro_v5. sqluery IM. 。L1 warn ins (0. 05于 Tables FT c

11、rnploycel 0* 局 iriEs-sage H T-Kipicntinfa* A refereiwaififoW Wews丙 OteredfVEEwEj 产 Furmafls XppypLag* 产 Tables街I Vi4w$ 产Stored frcceriures 丙 F如cti9n$ mydatabaseruery OK. 0 rows affected,6. 在Mysql Workbench中查看已经创建好的数据库冀LAditi可n车T a |也为| JuAutomatic coni disabled. Use tli manually Qet li current caret

12、 p199B andgroup by date(date)order by date(date)8.并导入excel画图ReE4iHt Griddate(dote)tounH 咛1999-01431999-01-0521.999-01-06|21399-01-0731999-010841999-01-1241999-01-1371959-01-1441999-01571999-01-1051999-01-191L599-0L-204199-01-2111999-01-221L999-01231199-01-2711excel文件如下:x mD凸好m应找pBN tun B 7 U 9-国-Q-

13、A-莅-理丘切IJAgCD1dj加成比ountI*)2L9WZL/43L9A/G2L9ES/1/BL9K L/TL9EL/E4?21939- L.134aII9BD- L- L3gL9W L L*i101006/1/15ifLS9- L- LB1ZL999LI9iBL-L-20i14LQ叩 1 21i15LQ叩：22161900- L.23i17119叩孔也了1iaL9QD L 罚319LW/a/i320LSW/a1?rL99$./31皿知氏41ZiL999/EH 一部LUWa/Eg?532Lsggio2fFim.L24黏LB-?L6厨29L蜘. W AAth m 198 and year*(

14、date)40d-f3&70dd4i7b7/mzaf_4Q8a257S79988B24fi78.pIui.aac.p一m4a： nartworkUrBO:nhttps：/is2- ssl.mzstatic.CQm/image/thumb/Mu5ic4/v4/be/ed/41/beed41 b7 45f9-0309-9e03-Hbc083274afe/source/30x30bbjpg, artworkUrlGO:https:/is2-瓠I, e顽日t icxom/ima ge/t hum b/M u s ic4/v4/b e/ed/41/beed 41 b7-46f9-03099e03-3bc

15、08374afe/source/Gflx60bb.jpg, bartworkUrl100:Hhttps：/is2-ssl.mzstat ic .com/ima ge/thum b/M u 5 i c4/v4/b e/ed/41/beed 41 b7 -46f9-0309-9eQ3-3bc0S32743 fe/source/1 OOx 100b b J p g r col lectio n Pricep :9,99, track Price :0.99, releas eDa te:, Ml 4-09-UNNLF】S 2町635卜*trackTd* ： 902676162 HArtid ibpr

16、evie*AJr 七http：r/aud io s si 且.匚心旬/匠 ppi 皂-ais 亏盛 t in std 600 即 JMu sdczK / JL/9 219旦1十5 dl82 十 742 *wrapperTypezr,tratk, kindrsong, artistWeSlSZ, collectianld ;926761S2J trackld:9026761B3 artis- ,previevAJrl: https;:io- L itunws mppl e - =jeF iaipple-mset u 耳一std -日饷瀚 a JMu g it箱？ - E 乏七丁 一 Ude -w

17、rapperlype , trBckJ1 *lncT lFw/artistldrw:4 ccllectianld j 1144M8&S,TtrackId w: 11447671 art.previerfjirl:ht t pm ： ri&Lid $ 3$ L . i f une 事jgppl 专.。巾/直 pp 1栏黑 心-学上日ease, J 高晚/d4f 日 了日 212 自& (*wrapperType:Htrackikindrsong 七的SM翼Hcellectionw1*:992675152 trackl-d*: 92676177 ertis previmirl: *http: 事

18、ud i a 恭 L i tun*. 口 pl-。加!/呻p 1也a g E -日舞龄Mu , U 耳F网奸施日 1九9 (Mwr pperTyp*;H t rick- IdndWEig。urt istld,B: M511252f HcollctiwiIdHtrickld* :902&Mrtipreviewllrl: https :匕Bud io= 5sl 七 11喘巴5 占ppi e . njE，日 ppi” -且用与械 ui -耳七1 -日的sde v4/配虹9 rdg/m 句9史曰10 - abQJ： Md十日- wra pperType 2r, t rac k A kind-: son

19、g artistld: 251L2K2f cvllectiDnIli: Sa&BKlSE -trackld: 9063*6343., artiB- ,BprevieWUrli https: rtaudiai- msJ. it unes . m(jpl ajfiFmpple-aHet u”std - 61曲5017四11弓云4/vd/md/成937同1此936&-1中巾，白口|11|6-辱$：|6七早心-事*圳-6&1/网1日：1574/4:1责/1：专/1:1&匚2自匚&8:瞄巳占 ppwTypLF 打AckL HkMcTLmng、七网S1L 珂5、H cel lert ie-ri id1*:

20、 99267612. *t rack id*: 926761 a,rtis13. 用python将json格式文件中的Trackname提取出来14. 打开jupyter,编写代码b.二:import jsonLmnFjson. loadtopenfrH:入与预处理实验一L jsQH、. encodins.- utf-8?)size-Lnim. result Count* sizeIn L2:for i in range(size):print (ijnmresults i trackName*)Out ：L : 5015. 结果如下i：一 j :far i in langetsiae);pr

21、int(Lim，2,esultsMl:i trackNanae*)Better TogetherLpside DownBanana PancakesSitting? Haiting3 ishingBT-eakdownGood PeopleYou and Your HeartFlakeIf I Had EyesM骅1Ita You ReinemberI Gat YduBiokenConstellationsWy (hm To Hands (feat. Ben Harper)No Other 可昧NVr KnowCrying Sham,iTe xe Going To Be FriendsIf I

22、CouldSanjpe GirlBubble ToesConstellationsBelleStaple It ToaetherSituat ionsGo OnHiat Ydu Thought Yau Xeed五、总结通过此次实验，了解和掌握数据库的恢复、数据库数据的变换、数据的统计以及可视化；掌握Json数据集的API下载方法，数据提取，以及导入其他数据结构的方法；还有就是了解和掌握不同数据格式之间的转换方法；掌握用计算机编程语言实现数据的格式转换以及数据信息的提取。了解了 mysql的安装以及一些基本的sql操作。例如数据库的创建、基本的查询功能，数据库sql文件的导入等。同时对于可视化软件Tableau也更加熟悉了，能够根据查询结果绘制散点图， 折现图，更好的将数据规律展现出来。这在很大程度上提升了自己的 独立解决问题能力。此次实验使我获益良多。