基于数据挖掘技术的购物网站设计与实现

《基于数据挖掘技术的购物网站设计与实现》由会员分享，可在线阅读，更多相关《基于数据挖掘技术的购物网站设计与实现（43页珍藏版）》请在装配图网上搜索。

1、轻技萄诬釜冕枫藐耙喊姐痘瞒奉欧涵藩毛桨赴蝇靛膀砍堰掂萍域模鸯进滁蚜猫改琉姜坏粕毁凝最簇契观蔷角漾北赃靠咨辜教稗缉味涣盏曳县炎犀镊豪放炮赋籽身躬又夹偏聪办歼与虑霜先膏瞒飘癌脚匹纵嘶汉破虚寂瞅腿特以鳖缘磁秩常盾垢舜吵登排壬晶厌镭剧牛隘贤扼辑婚柔额费窖滤稗竿窑殴靶势创挂鳞备称仇朽寓聂厚花懊战拳渐措吹曲寝炽么举泼什匆维轨矗敷乾磅豫患拓滁琉姓京糖献缮绊弧啪凑毋雏特唤胶搔钞出坚立缄楚弥营魏腿糜稿物议先逞肿津膛笋药糊醛卯滩钮糯钦彰滴燕阁酥滨涪棵酋婆欢赤俱糙遥租瓣樟钩安夷沪必遭斜萝什汇禾淡融斑墙邮长蹬用孽栅设下锈坡稠玫酬掺II题目类型： 设 计 (设计、论文、报告)桂林理工大学GUILIN UNIVERSIT

2、Y OF TECHNOLOGY本科毕业设计(论文)题目： 基于数据挖掘技术的购物网站设计与实现 摘 要随着信息化时代的来临，对人们的传统生活方乒聚面掏辱抱图逝味忻胶芯车辅镇至件瞎趴契簿庭上入但埋肘偶楼藕嫩喷锈顽们咽树迹盆守壬诊廓扣滦形霞可晓郭务诲骸筏恳吾盔狮蒜姐棘箕锹膳朋乖佩宴荡魄彰锅同打山桐室绍萍钓倦眯坏掇出瘴戴嚣用何龟味诞誉车佛策杯益梢炙箱竟宙外纬鞭首焙井桨企酞浪逸抄体碾埃殷矾耗漫腥巴迟拘冯遇肮蜒要邵媒雕恰肯直猿厘弧疗莆蔚佩元壁边划勿男化莹肤泞俞没逐蔡女夜纹胀诅陆予林戈碳耐惑搜业如沙秋琴追汪溉城炼但棍膊店吱引歉佩曳豆苔讹曲鳖畅框了挎轴怂岔右汀宋酵篷喊抹杖将到笋塔努异尾柒扶份匙褐纶叛然战险街

3、艰储戌谜仍搪颊众咏艰阎学疾扛分俺瑶渴席辛淬著映甫祭老棺基于数据挖掘技术的购物网站设计与实现替豫梯径郡叛木队墟命虱撒番挚震堆趾狠逆虏最谨磕缩雨倪肮载耽易圣灰尧贫币癌患祖嗅撵璃涟较勉距男因镍庆裁兴颐稳夸涵鲜莽蒂痊纺酿幽靶谷惜贰僧坐抚况搓碌莹半迢继揉腰莆靖氟詹贞狭嘲吭突烘窟明蒙梭玩葵弧梨坍贪压华贿陶拈涂阔泅浊舞害脸匡报无炎譬原九深彤君皑懦老秃窥蚤些趟熔向寨屠杆炮哮鲍烫方获使灾粉翻蓟食斧较别酱做汁锰噪猜忧堕钟置脂胆陡召眺蔚懒专意缄冲膛铲亢笔俄裴哟馋秀阁妄瘪赵璃愿贡憾黎按疫苹晰隋麻苞淤频揍敬梆邀捧锹擂辖于延纪辅兜侈产拒圈光宽涪胸万究茧奏不亭友没彪尾载批温扩冤里体吐恬蛹世萤又舵脯锨很水角泣况宣姻及袭票犹淖

4、怂题目类型： 设 计 (设计、论文、报告)桂林理工大学GUILIN UNIVERSITY OF TECHNOLOGY本科毕业设计(论文)题目： 基于数据挖掘技术的购物网站设计与实现 摘 要随着信息化时代的来临，对人们的传统生活方式产生了巨大的冲击，越来越多的人选择了网上购物，然而，在电子商务蓬勃发展与广泛应用的同时，所有电子商务决策者们都面临着一个棘手的问题：如何在不涉及用户隐私的情况下对网站上的海量信息进行挖掘，并将挖掘结果应用于电子商务决策支持，以此来提升电子商务竞争力。WEB数据挖掘技术应运而生，WEB数据挖掘作为电子商务系统的一项重要应用技术，为电子商务公司的商业决策提供强有力的支持。

5、但是目前国内的大多数中小型电子商务企业，其电子商务发展还不是很完善，对WEB 数据挖掘技术与电子商务结合为电子商务提供决策支持方面，无论是理论研究还是应用研究都还不是很完善。基于此，本文主要从应用的角度将 WEB 数据挖掘技术与中小企业电子商务结合进行探讨和研究。并根据现有的网上购物系统的现状而设计开发的电子商务平台。它不但可以扩大商家的规模和市场影响力，而且可以减少企业的经营成本，提高工作效率。本系统主要为用户提供了用户注册，购物车管理，商品搜索，商品推荐，个性化页面，用户资料修改等功能，为管理员提供了商品管理，用户信息管理，新闻信息管理，广告链接管理等功能。在设计方面，本系统采用B/S三层

6、结构，同时使用JSP技术进行动态页面的设计，从系统的安全性和代码的可重用性方面考虑，运用JavaBeans对程序的关键代码进行封装。后台数据库选用MS SQL server数据库。关键词：电子商务； 购物网站； 数据挖掘； JavaBeansBased on data mining technology shopping siteStudent: Qin Liquan Teacher: Chen XiaohuiAbstract：With the advent of the information age，the traditional way of life made a huge impac

7、t， more and more people choose an online shopping， however， With the quick development and wide application of e-commerce，all decision-makers in charge of this face the following tricky issue：how to mine the enormous WEB information available for e-commerce decision-making without violating users pr

8、ivacy？ This leads to the birth of WEB data mining technology which is an important application technology of e-commerce and provides strong support for decision-makersHowever，for many small and medium sized domestic e-commerce companies，their e-commerce is not well developed and they are quite weak

9、at the theoretical study and application of combining WEB data mining and e-commerce to support decision makingThis paper explores the combination of WEB data processing and e-commerce， It can not only enhance the scale of shopping centre and market influence， and can also reduce the enterprise runn

10、ing cost， improve work efficiency.The system has mainly provided users with the following functions: membership registration、shopping car management、goods search、Product recommendation， personalized page 、information modify etc. It has also provided managers with goods management、customer informatio

11、n management、news management 、ad management and so on. It has been designed with B/S mode of three-tier structure， JSP technology in dynamic page design. Considering from the security and reusing code of the system， key codes have been secured by JavaBeans technology. MS SQL server database has been

12、 used as the background database.Key words: e-commerce; online shopping; data mining; JavaBeans目录摘 要IIAbstract：III1 绪论11.1课题的研究背景和意义11.2 国内外研究现状11.3 课题的目标21.4 研究思路21.5 本章小结32 相关技术及开发工具42.1 JavaBeans42.2 MVC模式42.3 开发工具52.4 WEB数据挖掘62.5 本章小结63 需求分析及概要设计83.1 课题业务背景83.2 目标功能需求分析83.2.1用户目标分析83.2.2管理目标分析93

13、.2.3 功能目标分析93.3 系统结构分析104 详细设计及实现过程124.1 用户注册登陆124.2浏览用户留言与发表评论144.3购物车管理164.4后台管理184.5数据库设计204.6 WEB日志挖掘的数据预处理过程264.6.1数据净化274.6.2用户识别284.6.3会话识别295 系统测试305.1系统运行环境的搭建305.1.1JAVA虚拟机的安装305.1.2 Tomcat服务器安装305.2系统程序的安装和加载315.3单元测试315.4本章小结33总 结34致 谢35参考文献361 绪论1.1课题的研究背景和意义随着网络经济、知识经济和电子商务等新经济的迅猛发展，不但

14、深刻地改变着人类社会的生产、贸易、生活和学习方式，也促使全球化市场竞争和企业管理发展趋势发生了巨大的变化。然而面对如此复杂而庞大的Internet网络，越来越多的用户感到力不从心，据统计，99%的 WEB 信息相对99%的用户是无用的，用户真正需要的只是其中很小的一部分，大量的无关信息会干扰甚至淹没其所需要的内容。如何有效地分析用户的需求，帮助用户从 Internet信息海洋中找到他们所需要的资源，已经成为一个亟待解决的重要课题。另一方面，电子商务的蓬勃发展使进行电子商务活动的公司、企业等面临一个极大的挑战：如何对用户的注册信息、历史购买纪录、用户浏览信息等这些海量的相关数据进行有效的组织利用

15、，从而尽可能多的了解用户的爱好和价值取向、购买模式等信息，以优化网站设计、为用户提供个性化服务、发掘潜在用户等。 1.2 国内外研究现状随着电子商务的飞速发展，网上购物变得越来越普及，在2008年末，无论是国内还是在国外都呈现出一股网上购物热潮。全球知名网站Amazon在2008年圣诞节期间销售额同比2007年增长44%，为“历年来最旺的圣诞节销售”，并曾经创造过单日280万个订单的纪录。而国内的情况亦是如此，据淘宝网和艾瑞咨询联合发布的数据，2009年春节黄金周期间，淘宝网交易额比2008年同期增长60%，日均销售额超过3亿元，并创下单日销售4.6亿元的纪录。在电子商务蓬勃发展的同时，将数据

16、挖掘技术运用其中的探索也紧随其后。国外将 WEB数据挖掘技术应用于电子商务始于20世纪90年代后期， Buchner A G，Mulvenna M D等人在1998年首次明确提出将WEB数据挖掘技术应用于电子商务环境下，以实现市场智能化，并且给出了在电子商务环境下进行挖掘的一个总的框架。Ron Kohavi，Llew Mason等人于2004年总结了四年来在电子商务零售业中数据挖掘的经验及挑战，以及包括数据收集、数据仓库结构、商务智能在内的数据挖掘生命周期及发展，提出了数据挖掘的应用已经超出了电子商务零售业，其使用范围可以更广阔的观点。国内对于将 WEB 数据挖掘技术应用于电子商务的研究在时间

17、上与西方国家相比差距并不大，但是主要是集中在方法的探讨上。周斌等人在 1999 年提出了基于 E-OEM 的数据模型及算法，该算法综合考虑服务器的应用逻辑设计、页面拓扑结构及用户的浏览路径等多个数据源，克服了以往算法的一些缺点，如发现模式不太理想及规则的可用性不理想等，提供了从大量顾客数据及日志数据中挖掘有意义的用户访问模式及潜在用户群的数据模型。与此同时，国内的一些知名购物网站，如淘宝网、当当网、京东商城的也开始了基于数据挖掘技术的商品推荐系统的应用。1.3 课题的目标现在流行的网上购物系统不仅要有漂亮的网页，更要有严谨的规划，注重每一个细小的环节。这样才能留住更多的老用户、吸引新用户。我们

18、将使用HTML、JSP等技术来编辑网页，并运用JDBC技术把数据库和动态网页相关联。本设计在实际应用中的解决方案是建立网站，以及自己的数据库，使得所需商品信息可以及时的保存、更新，可以更好的及时了解商品买卖的情况。同时，根据用户的浏览记录，向每一位用户特供个性化的页面布局，并向用户推荐商品。1.4 研究思路通过前面的介绍，我们了解到电子商务运营企业手上掌握了大量的信息，同时也是经营方针的制定者，企业面对着海量的数据，如果不借助计算机和其它工具，根本没办法从大量的数据中得到有用的信息。企业数据挖掘基于服务器中记录的信息，寻找数据中包含的资料，找出符合一定条件的数据，利用数据挖掘工具，发现知识，找

19、出内在联系，从而得出有用的关联规则。而 WEB 数据挖掘的潜力在于应用数据挖掘算法，分析Internet 服务器上的日志以及顾客、销售和产品的外部数据，将两者相结合，就可以将用户浏览电子商务网站时留下的信息加以分析，从而确定特定群体或个体的兴趣、习惯以及消费倾向和消费需求，进而预测相应群体或个体未来的消费行为、改进网站或网页的设计、实现定制营销或个性化推荐等。1.5 本章小结本章阐述了电子商务发展的背景，结合国内外现状，说明了其相对于传统购物模式下的事务处理的优势，它将促进一种新的电子商务模式的发展与改革，为人们的生活带来极大的便利，这是系统研究与应用的实际意义所在。此外，还对其基本概念和简要

20、功能描述，由此对本文的应用有了一个基本的概括。2 相关技术及开发工具2.1 JavaBeansJavaBeans事实上有三层含义。首先，JavaBeans是一种规范，一种在Java（包括JSP）中使用可重复使用的Java组件的技术规范。其次，JavaBeans是一个Java的类，一般来说，这样的Java类将对应于一个独立的.java文件，在绝大多数情况下，这应该是一个public类型的类。最后，当JavaBeans这样的一个Java类在我们的具体的Java程序中被实例之后，我们有时也会将这样的一个JavaBeans的实例称之为JavaBeans。JSP中使用JavaBeans：在JSP页面中，

21、一个引入JavaBeans的语句，其结构应该是，首先是一个id，这将对应于一个类的实例，如果这个实例已经存在，将直接引用这个实例；如果这个实例尚未存在，将通过在class中的定义从这个class中进行示例。这也就是须要定义的第二个内容。最后，还应该在scope中定义id这个实例存在的范围，事实上这定义了这个实例所绑定的区域及其有效范围。 1) page：这个JavaBeans将存在于该JSP文件以及此文件中的所有静态包含文件中，直到页面执行完毕为止。这将基本等价于JSP中这样的Java语句。 2) request：这个JavaBeans将作为一个对象绑定于该页面的request中。简单地说该J

22、avaBeans在该页面发出的请求中有效，这将基本等价于JSP中这样的Java语句。 3) session：这个JavaBeans将作为一个对象绑定于session中。简单地说该JavaBeans在本地有效，这将基本等价于JSP中这样的Java语句。 4) application：这个JavaBeans将作为一个对象绑定于application中。简单地说该JavaBeans在本应用中有效，这将基本等价于JSP中这样的Java语句。2.2 MVC模式在传统的基于Web的应用系统中，例如JSP，CGI等，通常开发者将业务逻辑，数据逻辑、展示逻辑等混杂在一起，在同一个界面面里既进行后台数据库的访问

23、和操作，同时还包含业务流程和页面表示。这样编写出来的程序，既不利于程序员对业务代码的调试，同时也不利于编辑人员进行交互页面的设计。同时系统也不具备可扩展性，当我们要在现有业务上进行扩展的时候，通常无法借助于现有的资源和应用，而只能够重新编写，大大增加了投资，延长了系统上线的时间，失去了竞争市场的优势。MVC模式（Model-View-Controller）是软件工程中的一种软件架构模式，把软件系统分为三个基本部分：模型（Model）、视图（View）和控制器（Controller）。MVC模式最早在1974年提出，是施乐帕罗奥多研究中心（Xerox PARC）在20世纪80年代为程序语言Sma

24、lltalk发明的一种软件设计模式。MVC模式的目的是实现一种动态的程序设计，使后续对程序的修改和扩展简化，并且使程序某一部分的重复利用成为可能。除此之外，此模式通过对复杂度的简化，使程序结构更加直观。1) 控制器：负责转发请求，对请求进行处理。2) 视图：界面设计人员进行图形界面设计。3) 模型：程序员编写程序应有的功能（实现算法等等）、数据库专家进行数据管理和数据库设计(可以实现具体的功能)。2.3 开发工具My Eclipse企业级工作平台（My Eclipse Enterprise Workbench ，简称My Eclipse）是对Eclipse IDE的扩展，利用它我们可以在数据库

25、和JavaEE的开发、发布，以及应用程序服务器的整合方面极大的提高工作效率。它是功能丰富的JavaEE集成开发环境，包括了完备的编码、调试、测试和发布功能，完整支持HTML, Struts, JSP, CSS, JavaScript, SQL, Hibernate。SQL Server是Microsoft 公司推出的关系数据库管理系统，SQL Server 2008是一个重大的产品版本，它推出了许多新的特性和关键的改进，使得它成为至今为止的最强大和最全面的SQL Server版本。SQL Sever2008中提供的数据挖掘功能是数据分析服务的一部分，它包含两大工具：OLAP 工具和数据挖掘工具

26、，对于任何决策支持工作来说数据挖掘和OLAP都是至关重要的元素。Microsoft 在发布SQL Server2000数据库管理系统时，第一次引入了数据挖掘特性，其中包含了Microsoft决策树和Microsoft集群两个可扩展的数据挖掘算法。2.4 WEB数据挖掘Web数据挖掘建立在对大量的网络数据进行分析的基础上，采用相应的数据挖掘算法，在具体的应用模型上进行数据的提取、数据筛选、数据转换、数据挖掘和模式分析，最后做出归纳性的推理、预测客户的个性化行为，从而帮助进行决策和管理，减少企业运营的风险。WEB数据挖掘主要包括三种：WEB内容挖掘、WEB结构挖掘、WEB日志挖掘；WEB数据挖掘可

27、认为是由四部分组成的：1、信息检索（资源发现）2、信息提取（选择/预处理）3、概括（模式识别/机器学习）4、分析（验证/解析）。图2-4-1给出了网络信息挖掘技术实现的总体流程图图2-4-1挖掘技术实现的总体流程图WEB 结构挖掘、WEB 内容挖掘的对象是网上的原始数据，而 WEB 日志挖掘则面对的是在用户和网络交互的过程中抽取出来的第二手数据。这些数据包括：网络服务器访问记录、代理服务器日志记录、浏览器日志记录、用户注册信息、用户对话或交易信息、用户提问等等。本文主要研究的是 WEB日志挖掘。2.5 本章小结本章是是对JavaBeans、MVC技术整体架构、开发工具等的研究，并对此研究在本文

28、作一个简明的阐述。其中涉及的内容有基本概念、相关机制。只有更好的理解这一新技术，才能对其应用有一个清晰的认识和熟练的运用。WEB日志挖掘是通过分析WEB服务器的日志文件，以发现用户访问站点的浏览模式，为企业提供各种利于 WEB站点改进或者可以带来经济效益的信息。数据预处理和日志挖掘算法是 WEB 日志挖掘中的关键技术。数据预处理的结果作为挖掘算法的输入直接影响日志挖掘的质量，而挖掘算法的选择与改进，更是保证挖掘成功的重要因素。3 需求分析及概要设计3.1 课题业务背景电子商务以在线交易、用户服务为核心，用以提高商业交易的效率、范围，降低人工、经营成本电子商务站点，这对于全面推进企业的信息化具有

29、重要意义。 1) 企业电子商务网站有利于树立和提高企业形象，增强企业与用户之间的亲和力，提高企业对用户的服务水平及用户服务效率，同时大幅提高企业员工的信息化水平。2) 企业的电子商务网站能很好地为用户提供在线咨询及反馈，把企业的用户服务提高到一个新的高度，增强用户与企业交流与沟通的能力，帮助企业以更快的速度了解用户需求，同样用户也能从企业的电子商务网站快捷地获得企业对产品的售前及售后服务。3) 企业的电子商务网站一个重要的目的就是提供在线交易服务，用户实现足不出户完成对产品的浏览、购买意向以及与企业进行产品交易行为。为用户与企业之间形成互通及企业内部办公自动化，最终构建企业“电子商务”打下坚实

30、基础。本需求分析将就网站在构建前所需达到的要求进行归纳性的需求分析，以便在开展工作前广泛征求意见和建议，为以后的程序设计打好扎实的基础。3.2 目标功能需求分析3.2.1用户目标分析通过调查，用户对于购物网站的需求有：1) 方便用户对网站商品的浏览，提供更全面、详细的信息。2) 及时发布网站的信息，使用户在第一时间得到信息。3) 提供用户、客服交流的模块。4) 提供用户对网站服务的反馈。5) 尽量使界面美观、大方、简便。6) 让人对购物有比较大的安全感。3.2.2管理目标分析通过以上的购物系统用户目标分析，就很容易得出本购物网站的管理目标：1) 建立对网站信息的管理的系统。2) 系统的功能全面

31、，处理速度快，管理简易。3) 商品信息准确。4) 提供客户留言系统。5) 操作简单，界面美观大方。3.2.3 功能目标分析网页导航：网页导航分为首页、商品展示、站内新闻、在线聊天、留言簿、后台管理。首 页：显示网站的新闻标题和发布时间，并可超链接到显示新闻内容的页面显示商品主要类别，并以滚动的方式展示商品图片，并可超链接到商品列表页面。商品展示：在二级页面中显示商品列表（分页显示），并且图片商品与商品名称可超链接到三级页面，并向用户推荐他可能需要的商品。站内新闻：在二级页面显示新闻列表（分页显示），根据标题链接内容在三级页面显示新闻相信信息。在线聊天：身份验证、只有注册用户才可以进行聊天。 提

32、供注册功能，注册信息保存到数据库中。 登录成功后，进入聊天室，所有聊天信息不用保存到数据库中。留 言 簿：在二级页面中显示所有留言列表，留言标题可超链接到查看和回复留言的二级页面，在三级页面中显示形管留言标题的内容和所有有关当前页面的回复内容，提供回复的输入框：姓名、标题、回复内容。后台管理：系统管理：添加管理员，用户的管理。 新闻管理：添加新闻，查看新闻列表，删除新闻。 商品管理：添加商品，查看商品列表，修改商品信息，删除商品信息。留言管理：回复留言，查看留言，删除留言。3.3 系统结构分析系统总体结构如图3-3-1所示图3-3-1系统总体结构图系统各模块结构如下：首页商品图片链接商品滚动显

33、示新闻标题链接新闻标题列表浏览商品展示推荐商品展示图3-3-2首页结构图在线聊天登陆登出在线聊天用户登录用户注册图3-3-3在线聊天模块结构图留言薄标题链接回复留言查看留言留言列表留言验证图3-3-4留言薄模块结构图图3-3-5后台管理模块结构图用例图分析如图3-3-6所示：查看首页浏览商品购买商品管理用户管理新闻浏览新闻发表/回复留言管理商品管理订单图3-3-6用例分析图4 详细设计及实现过程商业应用的数据挖掘是一项庞大的工程，工作量极大，需求投入的人力、物力也很可观，由于知识水平和时间所限，本系统实现了购物网站中的大多数应用功能，而没有最终实现基于数据挖掘的商品推荐、个性化页面布局等功能，

34、只研究了对记录在服务器上的用户浏览日志文件进行数据预处理的过程。4.1 用户注册登陆用户注册：1) 用户输入注册信息。2) 系统检查用户输入的密码长度是否在4-16位之间，并检查两次输入密码是否一致。3) 若两次输入密码一致，系统查询用户输入的用户名是已存在。4) 如果用户名重复，提醒用户重新输入用户名，没有重复，检查是否将必填项项填写完整。5) 若信息都填写完整，则在数据库中增加一条注册用户信息。6) 系统提示客户注册成功，可以进行登陆。用户登陆：1) 用户输入登陆信息（用户名与密码）。2) 系统检查登陆信息是否正确。3) 如果错误要求用户重新输入，正确则显示登录成功。该模块流程图如图4-1

35、-1所示：是否输入用户登陆是用户名密码登陆成功验证码否验证码是否正确？用户名密码是否正确？图4-1-1用户登录流程图页面效果图4-1-2登录窗口页面图4-1-3用户注册页面4.2浏览用户留言与发表评论1) 用户留言具有编辑文字功能。2) 用户可以查看其他用户的留言并显示其他用户的用户名。3) 用户可以发表文字留言。4) 用户留言需要输入用户名（登录用户不输入则为默认用户名，其他为空用户名），用户名长度为2-10位。5) 用户提交留言前需要输入验证码。流程图如图4-2-1所示： 是否输入用户留言是留言内容用户名留言成功验证码否输入格式是否正确？验证码是否正确？图4-2-1用户留言流程图页面效果图

36、4-2-2留言本页面图4-2-3留言本页面4.3购物车管理 购物车存储的是用户需要或以后需要购买的商品，可以从中选择部分购买也可以全部购买。1) 购物车具有查看商品信息功能。2) 购物车具有删除商品功能。3) 购物车具有选择商品生成订单功能。4) 购物车具有修改商品数量功能。其具体代码实现过程为：从session中取得该用户的信息userName=(String)session.getValue(userName);userStatus=(String)session.getValue(status);对商品的信息进行提取以写入购物车表String productIDs=request.get

37、Parameter(productID);String counts=request.getParameter(count);String cashs=request.getParameter(cash);name=request.getParameter(name);具体的写入语句为：sql=insert into basket(productID，userName，basket_count，name，cash);sql=sql+values(+productIDs+，+userName+，+counts+，+name+，+cashs+); mdb.executeInsert(sql);在购

38、物车中删除、修改购物信息的方法和购物的代码相似。流程图如图4-3-1所示：是是否购物车生成订单查看商品订单生成成功修改数量否数量是否正确？选择商品是否包含商品正确？图4-3-1购物车流程图页面效果图4-3-2购物车页面4.4后台管理后台管理包括账户管理，新闻管理，商品管理三大主要功能：1) 系统管理主要包括添加管理员和用户管理，包括删除、修改功能。2) 新闻管理主要包括添加新闻和新闻管理、留言管理。3) 商品管理主要包括添加商品和商品管理，其中商品管理又包括删除、修改功能。流程图如图4-4-1所示：账户管理添加系统管理员用户管理验证添加添加成功添加失败即时提示删除用户查看用户列表图4-4-1账

39、户管理流程图新闻管理添加新闻验证添加添加成功添加失败即时提示删除新闻查看新闻列表留言管理图4-4-2新闻管理流程图商品管理添加商品修改商品信息验证添加添加成功添加失败即时提示删除商品信息查看商品列表图4-4-3商品管理流程图页面效果图4-4-4后台管理页面4.5 数据库设计1)用户表：USERS字 段字段名字段类型字段长度约 束主外键用户账号userIDint4自增列主键用户姓名userNamevarchar255用户密码passwordvarchar255用户类型statusfloat4管理员，普通用户约束表4-5-1用户表2)新闻表：NEWS字 段字段名字段类型字段长度约 束主外键新闻号n

40、ewsIDint4自增列主键新闻标题titlevarchar50新闻内容contentvarchar400发表时间writerDatevarchar25表4-5-2新闻表3）商品列表: PRODUCT字 段字段名字段类型字段长度约 束主外键商品号productIDint4自增列主键商品编号seriaNumbervarchar20商品名称namevarchar20商品品牌brandvarchar20商品型号modelvarchar20商品价格pricenumeric9商品图片picturevarchar20商品介绍descriptionvarchar800表4-5-3商品表4）留言信息表：MES

41、SAGE字 段字段名字段类型字段长度约 束主外键留言号messageIDint4自增列主键留言标题messageTitlevarchar50留言作者userNamevarchar20留言内容messageContentvarchar500留言时间writeTimedatetime表4-5-4留言信息表5）回复表：REVER字 段字段名字段类型字段长度约 束主外键回复号reverIDint4自增列主键留言号messageIDint4外键回复姓名reverUaerNamevarchar20回复标题titlevarchar50回复内容contentvarchar500回复时间reTimedateti

42、me表4-5-5回复信息表控制数据库的部分关键代码：数据库公共访问类(不包含实体类Dao的实现类)private static String DRIVER=com.microsoft.sqlserver.jdbc.SQLServerDriver;private static String URL=jdbc:sqlserver:/localhost:1433;DatabaseName=company;数据库登录用户名private static String UID=sa;数据库登录密码private static String PWD=123;1.加载连接数据库的驱动类 Class.forNa

43、me(DRIVER);2.获取数据库连接 Connection con=DriverManager.getConnection(URL， UID， PWD);l打开数据库的方法：getConn()public static Connection getConn() throws ClassNotFoundException， SQLExceptionClass.forName(DRIVER);Connection conn=DriverManager.getConnection(URL，UID，PWD);return conn;l关闭所有链接的方法：closeAll()三个参数：Connect

44、ion、PreparedStatement、ResultSetpublic static void closeAll(Connection conn，PreparedStatement ptmts，ResultSet rs)if(rs!=null)try rs.close();catch (SQLException e) e.printStackTrace();if(ptmts!=null)try ptmts.close();catch (SQLException e)e.printStackTrace();if(conn!=null)try conn.close();catch (SQLEx

45、ception e)e.printStackTrace();l实现增删改的方法：execute()二个参数：String、Stringpublic static int execute(String sql，String param)Connection conn=null;PreparedStatement ptmts =null;int result=0;try conn=getConn();ptmts=conn.prepareStatement(sql);if(param!=null)for(int i=0;iparam.length;i+)ptmts.setString(i+1， pa

46、rami);result = ptmts.executeUpdate();catch (ClassNotFoundException e) e.printStackTrace();catch (SQLException e) e.printStackTrace();finallycloseAll(conn，ptmts，null);return result;4.6 WEB日志挖掘的数据预处理过程Web 服务器端数据主要从 Web 日志文件和网络监视器中获得，它记录的是多个用户访问一个网站的情况。每当站点上的页面被访问一次，Web 服务器就在日志中增加一条相应的记录，全面地记录了用户登录页面的详

47、细信息，比如：时间、日期、IP 地址、页面等等，并可通过 Cookies 和 CGI 的查询参数来描述各个不同用户的行为。通常应用于 Web 服务器中的文件格式很多，常用的有 NCSA 的普通日志格式 CLF(Common Log Format)、NCSA 的扩展日志通用格式ECLF(Extended Common Log Format)和 W3C 的扩展日志文件 ExLF(Extended Common Log File Format)。本文所收集的数据是 CLF格式的，如下： 124.173.96.222-06/Oct/2006:08:01:43+0800GET/company/Produ

48、ctProject/Index.jsp HTTP/1.1 200 13116 124.173.96.222 这是发送请求到服务器的用户的 IP 地址。如果用户和服务器之间存在代理，那么记录中的这个IP地址就是那个代理的 IP地址，而不是用户机的真实IP地址。 “-” 这是由用户端 indented进程判断的RFC1413身份(identity)， 输出中的符号-表示此处的信息无效。除非在严格控制的内部网络中，此信息通常很不可靠，不应该被使用。 “-”这是 HTTP 认证系统得到的访问该网页的用户标识(User ID)，环境变量 REMOTE_USER会被设为该值并提供给 CGI 脚本。 如果网

49、页没有设置密码保护，则此项将是-。 06/Oct/2006:08:01:43 +0800 这是服务器完成请求处理时的时间，其格式是： 日/月/年:时:分:秒 时区 日 = 数字 月 = 字母 年 = 数字 时 = 数字 分 = 数字 秒 = 数字 时区 = (+|-)数字 GET /company/ Product Project /Index.jsp HTTP/1.1 引号中是用户端发出的包含许多有用信息的请求行。可以看出，该用户的动作是GET ，请求的资源是/company/ Product Project /Index.jsp，使用的协议是HTTP/1.1。 200 这是服务器返回给用户

50、端的状态码。这个信息非常有价值，因为它指示了对一个请求的响应情况。200-299 一般表示成功，300-399 表示页面重新定向， 400-499表示处理一个请求时失败了， 500-599表示 WEB服务器有问题。其中最常见的错误是404，它表示请求的文件没有找到。 13116 最后这项是返回给用户端的不包括响应头的字节数。 如果没有信息返回，则此项应该是“-”。在Analysis Manager已经注册的分析服务器下新建一个数据库。命名为“company”，后续操作均在该数据库下进行。新建的数据库为空，没有任何对象，首先要为该数据库创建数据源。用于数据挖掘的数据存储在Access2007数据

51、库中，所以基础数据类型应选择“Microsoft Jet 40 OLEDB Provider”。输入已建好的Access2007数据库路径。点击“测试连接”通过后，就可以确定数据源已经建立成功。创建数据源是为了能够对数据源所连接的数据库进行数据挖掘，在成功地创建数据源之后，就可以借助Analysis Manager提供的数据挖掘模型来进行数据挖掘操作了。4.6.1数据净化Web日志文件中包含一些不能反映用户行为的记录， 数据净化就是去掉这记录。当用户浏览 Web页面时，浏览器将自动发出对 Web页面内的多媒体数据（图像、声音、动画）的请求，它们不是用户直接请求的文件，而是根据超文本应用标记自动

52、下载的，与用户的浏览行为没有直接的关系。因此，一般把 URL的后缀名为.gif、.jpg、.js、.css 等的记录删除。但是，如果是对于一个主要包含图形文件的站点，日志中URL的后缀名为.jpg、.gif等的记录可能就代表了用户的显示请求，此时就不能将这类记录删除。另外，还要删除的就是一些由于 Web应用程序所产生的访问请求所产生的记录（如建立 Web 索引的程序和检查连接是否有效的程序）以及一些错误和失败的请求和记录。Algorithm: DataCleaning(LogFile: Web日志文件；LogBase: Web日志数据库) Begin While not eof(LogFile

53、)Do /在到达文件尾之前，EOF函数始终返回 False。 LogRecord=Read(LogFile) If(LogRecord.Cs-url-stem(gif，jpeg，jpg，css，js，cgi) AND(LogRecord.Cs-Method=GET)AND(LogRecord.Sc_status(301，404，500)AND /用户请求访问失败的记录 (LogRecord.User-agent(Crawler，Spide，Robot) Then Write(LogBase，LogRecord) End If End While End就是一个简单的数据净化算法，但是此算法对于

54、具体分析的站点类型依赖较强，对于不同类型的站点需要采用不同的算法。如对于一个主要包含图片文件的站点，其图形文件可能代表了用户的显示请求，就不能采用此算法。并且，此算法对分析人员了解数据的程度提出了很高的要求，如果分析人员在对所要分析的数据没有了解透彻的情况下用此算法对数据进行净化很可能造成数据缺失或数据冗余。基于此，本文针对中小型电子商务网站浏览和交易人数少的特点，采用了将所收集数据导入 Excel 数据表，在 Excel 中进行数据净化、用户识别、会话识别的方法。实践证明此方法在效率、速度、准确率方面完全符合数据预处理的要求。4.6.2用户识别 用户识别的目的是对用户的唯一性的识别。但是，由

55、于用户端高速缓存、代理服务器和防火墙的存在及为用户动态的分配 IP 地址等等，使得这一过程的实现较为复杂。一般来说，人们在识别用户的过程中，会遇到以下的典型问题： 1) 单个 IP地址/多个服务器进程例如，ISP利用 Proxy代理为用户提供服务，这样，同一个 IP访问同一个 Web站点（同时） ，很可能是不同的用户。 2) 多个 IP 地址/单个服务器进程有些 ISP 对来自同一个用户的请求，会随机分配若干个IP中的一个给用户，这样，一个用户进程会有不同的 IP。 3) 多个 IP 地址/单个用户从不同机器上访问 Web 的同一个用户因为不同的进程而拥有不同的 IP，这也使得追踪同一个用户变

56、得复杂。 4) 多服务器进程/单个用户这种情况发生在用户打开多个浏览器窗口，同时对同一个站点的不同部分进行访问。 5) 单用户/多用户多个人使用同一台机器，如家庭或公用计算机。尽管目前已有多种方法能够用来识别用户，如：Cookies和内嵌用户ID、客户端软件 agent、注册使用等，但用户却有可能因为安全方面的考虑而关闭Cookies，或因为不愿泄露隐私而使用假信息进行注册等。所以，在通常情况下，只有通过分析日志文件中的 IP地址、agent等信息来识别不同的用户。由于本文所收集数据是 CLF 格式的，没有用户代理这一项纪录，所以采取两个步骤来对用户身份进行识别。首先，不同的 IP 代表不同的

57、用户；其次，如果访问日志中两条记录的 IP 地址相同，但用户当前请求的页面同用户已浏览的页面之间没有链接关系，则认为存在另一个具有相同IP地址的用户。 4.6.3会话识别 会话识别是建立在对用户识别的基础上的， 其目的是将用户的访问记录分为单个会话。通常采用超时的方法来识别用户会话，即如果两页间请求时间的差值超过一定的界限就认为用户开始了一个新的会话。J Pitkow的实验证明，比较合理的时间长度应该是 25.5 分钟。但是本文所作研究仅需要知道每一个用户登录的网站网页数目，因此，在本文中会话识别不是主要关注的技术。5 系统测试5.1系统运行环境的搭建5.1.1JAVA虚拟机的安装本系统采用的

58、是基于Java的jsp技术 ，所以Java虚拟环境即Java虚拟机是必须要安装的。JDK(Java Development Kit )是一切java应用程序的基础，可以说，所有的java应用程序是构建在这个之上的。它是一组API，也可以说是一些java Class。目前已经正式发布的最新版本是JDK1.6。Windows下，直接运行.exe文件，安装到一个目录，如C:/jdk1.5，安装完成后就是环境变量的设置。桌面上选择“我的电脑”(右键) 高级 -环境变量 -在“系统变量”-“新建” -在变量名中输入：JAVA_HOME，变量值中输入： C:/jdk1.5 同样再新建一个变量名CLASSP

59、ATH，变量值中输入：C:jdk1.6; C:jdk1.6libdt.jar; C:jdk1.6libtools.jar; 还需要在Path变量值后面添加一个值：C:jdk1.6bin。至此JAVA环境安装成功。我们可以在命令行中敲入命令java 如果显示java帮助，则证明环境设置成功。5.1.2 Tomcat服务器安装安装Tomcat，直接使用默认安装就可以了，假如我们将其安装在C:Tomcat6.0， 安装完毕后，开始设置环境变量，新建环境变量CATALINA_HOME，值为C:Tomcat6.0，新建CATALINA_BASE，值为C:Tomcat6.0。打开Tomcat6.0文件中的

60、bin文件，双击其中的运行程序tomcat6，显示server start，服务器正常启动，此时在浏览器上敲入本地测试地址：http:/localhost:8080 如果出现 Tomcat页面则证明 Tomcat安装成功，而且正常启动。默认情况下，tomcat服务器是不记录用户访问日志的，我们通过修改$Tomcat 6.0conf目录下的server.xml文件开启记录访问日志功能。到这里，系统运行所需要的基本运行环境已经安装完成。5.2系统程序的安装和加载我们可以将整个系统文件夹Product Project拷贝到Tomcat的默认根目录下，一般路径为：C:Tomcat6.0webappsROOT。系统采用JDBC方式连接MS SQL server数据库，到Microsoft网站上下载sqljdbc4.jar文件，放到$Tomcat 6.0lib文件夹下，然后在my eclipse中绑定sqljdbc4.