大量数据的表和处理

《大量数据的表和处理》由会员分享，可在线阅读，更多相关《大量数据的表和处理（28页珍藏版）》请在装配图网上搜索。

1、大量数据的表示和处理数据复杂性数据复杂性 简单数据简单数据 单个数据单个数据 无内部结构无内部结构(不可分不可分,原子原子) 复杂数据复杂数据 由多个相关数据组成由多个相关数据组成 可用集合体类型表示可用集合体类型表示 单个单个,但有内部结构但有内部结构 可用面向对象的类刻画可用面向对象的类刻画22 23 3 3数据集合体数据集合体 大量同类型数据组成一个整体大量同类型数据组成一个整体 一次物理实验得到的大批数据一次物理实验得到的大批数据 一个文档中的大量单词一个文档中的大量单词 一个画布上的所有图形一个画布上的所有图形 一个学校里的所有学生一个学校里的所有学生, . Python提供集合体数

2、据类型提供集合体数据类型: list, tuple, dict, set, file4 4 4数据结构数据结构 构成一个整体的大量数据成员一般是构成一个整体的大量数据成员一般是相关的相关的,即其间存在某种逻辑关系即其间存在某种逻辑关系 不但要表示各数据成员不但要表示各数据成员,还要表示其间逻辑关系还要表示其间逻辑关系 逻辑关系可以体现在存储结构中逻辑关系可以体现在存储结构中 例如例如:字符串字符串HELLO 连续存储的序列结构即可表示连续存储的序列结构即可表示5个字符间的关系个字符间的关系 分散独立存储分散独立存储5个字符个字符,则无法表示其间关系则无法表示其间关系 存储结构必须有利于对数据的

3、操作存储结构必须有利于对数据的操作序列序列 序列序列:多个数据项按次序排列而形成的集合多个数据项按次序排列而形成的集合体数据体数据 次序是排列先后次序次序是排列先后次序,并非数据项的值的比较并非数据项的值的比较 Python的的str,list,tuple都是序列都是序列55 56 6 6序列的操作序列的操作 通用的序列操作通用的序列操作s1 + s2s * n或或n * ssi或或si:j或或si:j:klen(s)min(s)max(s)x in s或或x not in s7 7 7字符串字符串 回顾回顾:字符串是字符序列字符串是字符序列. 基本操作基本操作:索引索引,子串子串,合并合并,

4、重复重复. string库库 不能修改不能修改 字符串作为对象字符串作为对象 方法方法8 8 8例例:字符串对象方法字符串对象方法 s = I think, therefore I am. s.count(I)2 s.find(re)12 (s.lower().replace(i,I)I thInk, therefore I am. s.split()I, think, therefore, I, am. s.islower()False 9 9 9列表列表 回顾回顾:Python列表是由多个数据项组成的序列列表是由多个数据项组成的序列,可通过可通过索引引用列表中的数据索引引用列表中的数据.

5、Python列表的特点列表的特点: 列表的成员可以是任何数据类型列表的成员可以是任何数据类型; 列表的成员可以修改列表的成员可以修改ai = xai:j = bdel aidel ai:j列表对象列表对象Python将列表实现为对象将列表实现为对象,并提供了很多方法并提供了很多方法.10例例:列表对象的方法列表对象的方法 a = Irrational,3.14,2.718,pi and e a.sort() a3.14, 2.718, Irrational, pi and e a0.reverse() a2.718, 3.14, Irrational, pi and e a.insert(2,

6、number) a2.718, 3.14, Irrational, number, pi and e print a.pop(0)2.718, 3.14 aIrrational, number, pi and e 11编程案例编程案例:统计程序统计程序(1) 统计指标统计指标 累积型累积型:如总和如总和.可以累积计算可以累积计算sum = 0data = raw_input(输入新数据输入新数据:)while data != : x = eval(data) sum = sum + x 整体型整体型:如中位数如中位数.不能累积计算不能累积计算,只能在获得全体数据后计算只能在获得全体数据后计算.

7、中位数, 一组数据按从小到大（或从大到小）的顺序依次排列，处在中间位置的一个数（或最中间两个数据的平均数）12编程案例编程案例:统计程序统计程序(2)# statistics.pydef getInputs():def sum(aList):def mean(aList):def median(aList):def main(): data = getInputs() sigma = sum(data) xbar = mean(data) med = median(data) print .main()13元组元组 回顾回顾:元组也是序列元组也是序列,适用所有序列操作适用所有序列操作. 元组的

8、特点元组的特点:不能修改不能修改 若序列创建后就不再改变若序列创建后就不再改变,则可表示为元组则可表示为元组:效效率高率高,防止误操作防止误操作. Python也将元组实现为对象也将元组实现为对象. 方法方法:.index(x).count(x) tuple()可将字符串和列表转换成元组可将字符串和列表转换成元组.14例例:元组元组 x = 1,2,3 # 将元组将元组(省略了括号省略了括号)赋值给赋值给x x(1, 2, 3) x,y,z = 1,2,3 # 实为元组赋值实为元组赋值 x1 y,z(2, 3) t = (Lucy,(Math,90) t1190 tuple(hello)(h,

9、 e, l, l, o)15集合集合:无序集合体无序集合体 Python提供提供set类型类型 元素无序元素无序 元素不重复元素不重复 set值的创建值的创建: 用用. 用用set(.):可将字符串可将字符串,列表列表,元组转换成集合元组转换成集合 空集空集:set(),而非而非 16例例:集合值的创建集合值的创建 1,2,3set(1, 2, 3) s = 1,1,2,2,2,3,3 sset(1, 2, 3) set(set)set(s, e, t) set(1,1,1,2,1)set(1, 2) set(1,2,1,1,2,3,4)set(1, 2, 3, 4) set()set()17

10、集合运算集合运算 基本就是数学中的集合运算基本就是数学中的集合运算18例例:集合运算集合运算 s1 = 1,2,3,4,5 s2 = 2,4,6,8 6 in s1False s1 | s2set(1, 2, 3, 4, 5, 6, 8) s1 & s2set(2, 4) s1 - s2set(1, 3, 5) s1 |= s2 s1set(1, 2, 3, 4, 5, 6, 8) len(s2)4 19集合对象集合对象 Python以面向对象方式实现以面向对象方式实现set20字典字典:无序集合体无序集合体 在集合体中查找数据在集合体中查找数据: 序列采用索引查找序列采用索引查找:根据位置检

11、索根据位置检索. 字典采用关联查找字典采用关联查找:根据给定数据检索与之关联的数据根据给定数据检索与之关联的数据. 字典类型字典类型dict:“键键-值对值对”的无序集合的无序集合. 给定给定键键,查找与之关联的查找与之关联的值值 存储存储:按内部最有效的方式按内部最有效的方式,不保持创建顺序不保持创建顺序. 键类型常用字符串键类型常用字符串,整数整数;值类型则任意值类型则任意.21字典的操作字典的操作 字典创建字典创建d = k1:v1, k2:v2, . , kn:vn或或dict() 检索检索:从从ki检索检索vidki 值可修改值可修改dki = 22例例:字典创建字典创建 d = L

12、ucy:1234,Tom:5678,Mary:1357 print dMary: 1357, Lucy: 1234, Tom: 5678 d1 = dict(name=Lucy,age=8,hobby=(bk,gm) d1hobby: (bk, gm), age: 8, name: Lucy d2 = dict(5,1),Worker,(6,1),Child,(7,1),CPC) d2(5, 1): Worker, (6, 1): Child, (7, 1): CPC 23例例:字典检索字典检索 d1nameLucy d1age8 d1hobby(bk, gm) d1genderTraceba

13、ck (most recent call last): File , line 1, in d1genderKeyError: gender d2(6,1)Child d27,1CPC 24例例:字典修改字典修改 修改与指定键对应的值修改与指定键对应的值 如果指定的键不存在如果指定的键不存在,则相当于添加键值对则相当于添加键值对 d1age = 9 d1hobby: (bk, gm), age: 9, name: Lucy d1gender = F d1hobby: (bk,gm), age:9, name:Lucy, gender:F 删除键值对删除键值对del dk25字典对象的方法字典对象的方法 Python将字典实现为对象将字典实现为对象,支持的方法支持的方法: 键存在性键存在性:.has_key() 键列表键列表:.keys() 值列表值列表:.values() 键值对列表键值对列表:.items() 清空字典清空字典:.clear()26例例:字典对象的方法字典对象的方法 d1.keys()hobby, age, name, gender d1.values()(bk, gm), 9, Lucy, F d1.items()0:2(hobby, (bk, gm), (age, 9) d1.has_key(gender)True 27End28