数据挖掘的清洗

《数据挖掘的清洗》由会员分享，可在线阅读，更多相关《数据挖掘的清洗（46页珍藏版）》请在装配图网上搜索。

1、单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,数据预处理,为什么需要数据预处理?,数据清洗,数据集成与转换,数据归约,数据离散化与概念层次的构建,本章小结,为什么需要数据预处理?,在现实社会中，存在着大量的“脏”数据,不完整性,（数据结构的设计人员、数据采集设备和数据录入人员）,缺少感兴趣的属性,感兴趣的属性缺少部分属性值,仅仅包含聚合数据，没有详细数据,噪音数据（采集数据的设备、数据录入人员、数据传输）,数据中包含错误的信息,存在着部分偏离期望值的孤立点,不一致性（数据结构的设计人员、数据录入人员）,数据结构的不一致性,Label的不一致性,数据值的

2、不一致性,为什么需要数据预处理?,数据挖掘的数据源可能是多个互相独立的数据源,关系数据库,多维数据库（Data Cube）,文件、文档数据库,数据转换,为了数据挖掘的方便,海量数据的处理,数据归约（在获得相同或者相似结果的前提下）,为什么需要数据预处理？,没有高质量的数据，就没有高质量的挖掘结果,高质量的决策必须基于高质量的数据基础上,数据仓库是在高质量数据上的集成,数据预处理的主要任务,数据清理,填入缺失数据,平滑噪音数据,确认和去除孤立点,解决不一致性,数据集成,多个数据库、Data Cube和文件系统的集成,数据转换,规范化、聚集等,数据归约,在可能获得相同或相似结果的前提下，对数据的容

3、量进行有效的缩减,数据离散化,对于一个特定的连续属性，尤其是连续的数字属性，可以把属性值划分成若干区间，以区间值来代替实际数据值，以减少属性值的个数.,数据预处理的形式,数据清理,数据集成,数据转换,数据归约,主要内容,为什么需要数据预处理?,数据清洗,数据集成与转换,数据归约,数据离散化与概念层次的构建,本章小结,数据清洗,主要任务,补充缺失数据,识别孤立点，平滑噪音数据,处理不一致的数据,缺失数据的处理,部分数据通常是不可用的,在许多元组中部分属性值为空。如：在客户表中的客户收入为空。,导致数据缺失的原因,数据采集设备的故障,由于与其它信息的数据存在不一致性，因此数据项被删除,由于不理解或

4、者不知道而未能输入,在当时数据输入的时候，该数据项不重要而忽略,数据传输过程中引入的错误,缺失数据通常需要经过合理的推断予以添加,缺失数据的处理方法,忽略该记录（元组）,通常在进行分类、描述、聚类等挖掘，但是元组缺失类标识时,该种方法通常不是最佳的，尤其是缺失数据比例比较大的时候,手工填入空缺的值,枯燥、费时，可操作性差，不推荐使用,使用一个全局的常量填充空缺数值,给定一个固定的属性值如：未知、不祥、Unknown、Null等,简单，但是没有意义,使用属性的平均值填充空缺数值,简单方便、挖掘结果容易产生不精确的结果,使用与给定元组同一个类别的所有样本的平均值,分类非常重要，尤其是分类指标的选择

5、,使用最有可能的值予以填充,利用回归、基于推导的使用贝叶斯形式化的方法的工具或者判定树归纳确定,利用属性之间的关系进行推断，保持了属性之间的联系,缺失数据的处理方法（续）,噪音数据,噪音数据:一个度量（指标）变量中的随机错误或者偏差,主要原因,数据采集设备的错误,数据录入问题,数据传输问题,部分技术的限制,数据转换中的不一致,数据清理中所需要处理的其它问题,重复的记录,不完整的数据,不一致的数据,噪音数据的处理,分箱（Binning）的方法,聚类方法,检测并消除异常点,线性回归,对不符合回归的数据进行平滑处理,人机结合共同检测,由计算机检测可疑的点，然后由用户确认,处理噪音数据：分箱方法,分箱

6、（Binning）方法:,基本思想：通过考察相邻数据的值，来平滑存储数据的值,基本步骤：,首先，对数据进行排序，并分配到具有相同宽度/深度的不同的“箱子”中,其次，通过箱子的平均值（Means）、中值（Median）、或者边界值等来进行平滑处理,分箱（,Binning）方法举例,对数据进行排序:4,8,9,15,21,21,24,25,26,28,29,34,对数据进行分割(相同深度):,-Bin 1:4,8,9,15,-Bin 2:21,21,24,25,-Bin 3:26,28,29,34,根据bin中的平均值进行离散化:,-Bin 1:9,9,9,9,-Bin 2:23,23,23,23

7、,-Bin 3:29,29,29,29,基于聚类分析的平滑处理,通过线性回归的平滑处理,x,y,y=x+1,X1,Y1,Y1,主要内容,为什么需要数据预处理,数据清洗,数据集成与转换,数据归约,数据离散化与概念层次的构建,本章小结,数据集成,数据集成的概念,将多个数据源中的数据结合起来存放在一个一致的数据存储中,数据源包括：多个数据库、多维数据库和一般的文件,数据集成也是数据仓库建设中的一个重要问题,数据集成的内容,模式集成,利用数据库和数据仓库的元数据信息,主要工作是识别现实世界中的实体定义,冗余数据的处理,检测和解决数值冲突,对于现实世界中的同一实体，来自于不同数据源的属性值可能不同,主要

8、原因：不同的数据表示、度量单位、编码方式以及语义的不同,数据集成,数据集成的概念,将多个数据源中的数据结合起来存放在一个一致的数据存储中,数据源包括：多个数据库、多维数据库和一般的文件,数据集成也是数据仓库建设中的一个重要问题,数据集成的内容,模式集成,利用数据库和数据仓库的元数据信息,主要工作是识别现实世界中的实体定义,冗余数据的处理,检测和解决数值冲突,对于现实世界中的同一实体，来自于不同数据源的属性值可能不同,主要原因：不同的数据表示、度量单位、编码方式以及语义的不同,模式集成,数据类型冲突,性别：string(Male、Female)、Char（M、F）、Interger（0、1）,日

9、期：Date、DateTime、String,数据标签冲突：解决同名异义、异名同义,学生成绩、分数,度量单位冲突,学生成绩,百分制：100 0,五分制：A、B、C、D、E,字符表示：优、良、及格、不及格,概念不清,最近交易额：前一个小时、昨天、本周、本月？,聚集冲突：根源在于表结构的设计,冗余数据的处理,从多个数据源中抽取不同的数据，容易导致数据的冗余,不同的属性在不同的数据源中是不同的命名方式,有些属性可以从其它属性中导出，,例如：销售额单价销售量,有些冗余可以通过相关分析检测到,其中：,n,是元组的个数，和 分别是A和B的平均值，,和 分别是A和B的标准差,元组级的“重复”，也是数据冗余的

10、一个重要方面,减少冗余数据，可以大大提高数据挖掘的性能,数据转换,平滑处理:从数据中消除噪音数据,聚集操作:对数据进行综合，类似于Data Cube的构建,数据概化：构建概念层次,数据规范化:将数据集中到一个较小的范围之中,最大-最小规范化,z-score（零均值）规范化,小数范围规范化（01规范化）,属性构造,构造新的属性并添加到属性集中，以帮助数据挖掘,数据转换：规范化,最大-最小规范化,对原始数据进行线性变换,保持了原始数据值之间的关系,当有新的输入，落在原数据区之外，该方法将面临,“,越界,”,错误,受到孤立点的影响可能会比较大,数据转换：规范化（续）,z-score（零均值）规范化,

11、属性基于平均值和标准差规范化,当属性的最大值和最小值未知，或者孤立点左右了最大最小规范化时，该方法有效,0-1规范化（小数定标规范化）,通过移动属性的小数点位置进行规范化,例如A的值为125，那么|A|=125，则j=3，有v=0.125。,Where,j,is the smallest integer such that Max(|),Reduced attribute set:A1,A4,A6,Y,Y,Y,N,N,N,数据压缩,数据压缩：应用数据编码或变换，以便得到数据的归约或压缩表示,无损压缩：原数据可以由压缩数据重新构造而不丢失任何信息,字符串压缩是典型的无损压缩,现在已经有许多很好的

12、方法但是它们只允许有限的数据操作,有损压缩：只能重新构造原数据的近似表示,影像文件的压缩是典型的有损压缩,典型的方法：小波变换、主要成分分析,数值归约,数值归约：通过选择替代的、“较小”的数据表示形式来减少数据量,有参的方法,假设数据符合某些模型，通过评估模型参数，仅需要存储参数，不需要存储实际数据（孤立点也可能被存放）,典型方法：对数线性模型，它估计离散的多维概率分布,无参的方法,不存在假想的模型,典型方法:直方图、聚类和抽样,直方图,类似于分箱技术，是一种流行的数据归约方式,将属性值划分为不相交的子集，或“桶”,桶安放在水平轴上，而桶的高度（和面积）是该桶所代表的值的平均频率。,每个桶只表

13、示单个属性值，则称其为“单桶”。通常，“桶”表示给定属性的一个连续空间,可以通过编程，动态修改部分参数，进行合理构造。,count,5,10,15,20,25,30,1,2,3,4,5,6,7,8,9,10,1-10,11-20,21-30,5,10,15,20,25,13,25,15,Price,Price,count,主要内容,为什么需要数据预处理?,数据清洗,数据集成与转换,数据归约,数据离散化与概念层次的构建,本章小结,数据离散化和概念层次,属性值分类,枚举型,有序的,无序的,连续型：如 Real类型,数据离散化,对于一个特定的连续属性，可以把属性值划分成若干区间，以区间值来代替实际数

14、据值，以减少属性值的个数。,概念层次,利用高层的概念（如儿童、青年、中年、老年等）来代替低层的实际数据值（实际年龄），以减少属性值的个数。,数值数据的离散化和概念分层建立的方法,分箱（Binning）,直方图分析,聚类分析的方法,根据自然分类进行分割,分箱方法：一种简单的离散化技术,相同宽度,（距离）数据分割,将数据分成N等份，各个等份数据之间具有相同的距离,如果 A 和 B 分别为属性值中的最大值和最小值，那么各个数据等份之间的距离为：W=(B-A)/N.,异常点将会扮演很重要的角色,倾斜的数据不能很好的解决,相同深度,（频率）数据分割,将数据分成N等份，各个等份具有相同的数据个数。,具有较

15、好的可伸缩性,适合于数据分类的情况,离散化：直方图方法,将数据分割到若干个桶之中，用桶中的平均值（或求和等）来表示各个桶。,可以通过编程，动态修改部分参数，进行合理构造。,count,5,10,15,20,25,30,1,2,3,4,5,6,7,8,9,10,1-10,11-20,21-30,5,10,15,20,25,13,25,15,Price,Price,count,离散化：聚类分析方法,将数据按照,“,类内最大相似度，类间最小相似度的原则,”,对数据进行有效聚类,利用聚类的中心点来表示该类所包含的对象,数据聚类将非常有效，但是必须保证数据中没有噪音数据,按照自然分类进行数据分割,利用3

16、-4-5 法则对数字型数据分类，将数据分成若干个,“,自然,”,的区间：,如果在所有数字的最高位覆盖 3,6,7或9个不同的值，则将数据分成3段。3（1，1，1）6（2，2，2）7（2，3，2）9（3，3，3）,如果在所有数字的最高位覆盖 2,4,8个不同的值，则将数据分成4 段。,如果在所有数字的最高位覆盖 1,5,10个不同的值，则将数据分成 5 段。,3-4-5 法则举例,例,1,：包含数据：,101,、,110,、,203,、,222,、,305,、,315,方法：最高位包含,3,个值（,1,、,2,、,3,）,分成,100,，,200,），,200,，,300,），,300,，,400,）三段,例,2,：包含数据：,101,、,110,、,103,、,422,、,405,、,415,，,400,方法：最高位包含,2,个值（,1,、,4,）,分成,100,，,150,），,150,，,200,），,400,，,450,），,450,，,500,）四段,例,3,：包含数据：,101,、,210,、,203,、,322,、,305,、,415,，,500,方法：最高位包含,5,个值