eradata数据库介绍.ppt

《eradata数据库介绍.ppt》由会员分享，可在线阅读，更多相关《eradata数据库介绍.ppt（63页珍藏版）》请在装配图网上搜索。

1、LONGTOP GROUP Longtop Financial Technology Co.,Ltd. Teradata 数据库介绍 范晓亮 2010-12-6 主题 What is Teradata? Teradata数据库竞争优势 Teradata RDBMS 架构 Teradata 系统架构 Teradata 数据库与数据库用户的比较 数据存储和访问 主题 What is Teradata? Teradata数据库竞争优势 Teradata RDBMS 架构 Teradata 系统架构 Teradata 数据库与数据库用户的比较 数据存储和访问 What is Teradata? 主题

2、What is Teradata? Teradata数据库竞争优势 Teradata RDBMS 架构 Teradata 系统架构 Teradata 数据库与数据库用户的比较 数据存储和访问 Teradata数据库竞争优势 数据及用户不限量 经过验证的可升级性：支持小到 (10 GB) 大到 (100+TB) 的数据库 无限的并行性：设计和建立在并行基础上的数据库 成熟的优化技术：能够处理复杂的查询，支持到最多 64个的 join子查询 商业模型 : NF、强大的视图处理、星型模型能力 提供单个真实商业版本： Teradata提供一个中央的，通过抽取各个源系统 数据集成的企业范围的数据库，保证

3、数据的一致性 高可用性 并行装载及卸数处理 强大的并行装载， load与 unload工具可升级性，这些工具如： Fastload、 Multiload、 TPump、 and FastExport 主题 What is Teradata? Teradata数据库竞争优势 Teradata RDBMS 架构 Teradata 系统架构 Teradata 数据库与数据库用户的比较 数据存储和访问 Teradata存储体系架构 V-Net / BY-Net V-AMP V-AMP V-AMP V-AMP V-PE V-PE Teradata存储体系架构 注意： Parsing Engine解释 s

4、ql命令并把 记录转换成一个 AMP消息，分配插 入数据的请求 Message Passing Layer分发行， 并确保每行发送到合适的 AMP AMP格式化行并经其写入与此 AMP相 关的磁盘 一个 AMP管理一个由磁盘阵列中多 个物理磁盘组成的逻辑或虚拟盘 Teradata数据检索体系架构 注意 Parsing Engine优化请求并创 建任务 AMP需要执行的任务 Message Passing Layer分发 PE 创建的任务到相应的 AMP，并激 活它 AMP从各自对应的物理磁盘取出 需要的数据并通过 MPL返回 PE， PE把数据返回给请求的客户应用 程序，如果数据需要格式化，排

5、 序，聚合都由 AMP完成 Teradata架构中几个名词概念 BYNET(Ban Yan NETwork) BYNET是一个为 NCR MPP系统提供高性能网络互连能力的软件与硬件集。 BYNET允许 在各节点之间使用点对点、多点传送、广播通讯。通讯能力的可测量性，每增加一个 节点，每个 BYNET增加 60M(BYNET Version 3 是 90M)的带宽，所以增加一个节点时， 更多的点对点连接可以同时建立，广播和多点传送的固定带宽是每秒 60M(BYNET Version 3 是 90M) ，广播通信只有在需要对所有 AMP操作时才会调用，一般都是点对 点的通信，多点通信在 V2R5

6、版本中才引进进来。 MPP(Massively Parallel Processing) system大量并行数据处理系统 CLI(Call Level Interface) CLI是一个最底层的与 Teradata RDBMS之间的接口 TDP(Teradata Director Program) 它运行于任何客户端系统上的程序，它管理 CLI的 Session通行到 RDBMS，它的功能包 括 SESSION开始，终止，登录，身份认证，备份恢复，重起 Teradata and MPP Systems Teradata 使一个 MPP系统以一个整体的系统形态展现给用户和数据库管 理者 Ter

7、adata RBDMS 的主要组件是 Parsing Engine (PE)和 Access Module Processor (AMP)两个虚拟的处理器 The MPL (包括 PDE and BYNET) 连接并使各节点之间可以通信 Teradata Functional Overview Channel-Attached client software Overview Call Level Interface (CLI) ：访问 Teradata最底层的接口，控制客户端的 请求和响应，创建 session,缓冲区的分配和初始化，信息的打包和解包 Teradata Director Pr

8、ogram (TDP) ： session初始化和终止，登陆，验证， 恢复和重起 ，维护传递到 PE的 session队列 , 错误通知（如应用程序失败， Teradata重起）， session在多个 PEs之间的分配 企业系统连接信道 (ESCON Channel) 和总线和标记信道（ Bus and Tag Channel） Network-Attached client software Overview CLI提供对 Teradata最大限度的连接和访问性， ODBC作为业内标准是更多的应用程序 可以连接到 Teradata Micro Teradata Director Progr

9、am (MTDP) 是 Teradata 提供的网络连接环境下的 TDP实现，它和渠道连接下的 TDP功能基本一致，唯一的区 别是它不负责 session在多个 PEs之间的分配，此功能由运行在 Teradata系统上的 Connect and Assign Servers 实现 Micro Operating System Interface (MOSI) 实现在客户端访问 Teradata时的操作 系统独立性，有了它，只需要一个版本的 MTDP运行在不同的网络连接数据库平台上 Teradata PE(Parsing Engine) Define 包括以下功能 Session control

10、：一个有效的 session一经建立，就由 PE负责在 客户端应用程序和 RDBMS之间的这次对话的管理， session control 主要控制着 logon 和 logoff Parser：解析客户端请求的 sql，判断其语法和语义上的正确性，并 查询数据字典确认所有的请求对象和列是否存在，请求的用户是否 有相应的访问权限 Optimizer：评估所有可选的执行计划并选出最快的一种，并将其转 化成 AMP可执行的步骤，传给 Dispatcher Dispatcher：通过执行控制控制 Optimizer传来的执行步骤一步步传 递给相应的 AMP，通过响应控制把结果返回给客户，根据 sql

11、请求的 不同，执行步骤可能传递给一个 AMP，或者几个 AMP或者所有 AMP The Parsing Engine(分析引擎 ) PE的功能 管理 session（可以管理多达 120个） 解析并优化请求的 sql语句 发送优化过的执行计划给 AMP 输入转换 例如 EBCDIC / ASCII之间 转换，如果需要转换时 发送返回的结果集给请求端 Message Passing Layer Define 它负责处理 Teradata 数据库的内部通讯，即所有 PEs和 AMPs之间的通讯都 要经过 MPL， PE分配给 AMP的执行步骤通过 MPL路由到合适的 AMP，处理完成 后，响应消息

12、再经过 MPL路由由 AMP返回给相应的 PE MPL由 Parallel Database Extensions (PDE) 软件， Bynet软件和 Bynet硬 件组成 根据分发的请求不同，会有以下三种通信 Broadcast 消息传递给系统中所有的 AMPs 和 PEs Multi-Cast 消息传递给一组 AMPs Point-to-Point 消息传递给系统中一个特定的 AMP 或者 PE MPL这种技术是 Teradata并行性的基础 Message Passing Layer MPL功能 在 PE和 AMP之间传送信息 点对点，多点，广播通讯 合成返回结果集并传回 PE Ter

13、adata并行性的基础 MPL组成 Parallel Database Extensions (PDE) 软件 Bynet软件 用于 MPP系统的 Bynet硬件 The Access Module Process(AMP) Define 每个 AMP负责管理数据库的一部分， AMPs完成生成一个结果集时所有 的物理处理工作，包括排序，聚合，格式化，转换 当一个 AMP收到 MPL传递过来的 Parser/Optimizer的执行步骤时，它会 完成相应的请求如从物理磁盘取出数据或对数据进行排序，对于某些 请求， AMPs也可能会将其上的数据拷贝并传递给其他 AMPs Lock数据库或表，创建、

14、修改、删除表，插入、修改、删除表中的数 据 返回结果集给 Dispatcher 空间管理，空间的使用控制和空间分配 输出数据的转换，与 PE做相反的工作，如 PE把 EBCDIC 转换成 ASCII， AMP则把 ASCII转换成 EBCDIC返回 The Access Module Processor(AMP) AMP功能 找出请求的行 Lock管理 行排序 聚合列 输出转换和格式化 为客户请求创建结果集 磁盘空间管理 恢复处理 Linear Growth and Expandability Teradata Parallelism Define Parallelism(并行性 ):是 Te

15、radata数据库的核心 每个 PE能够支持 120个 Session并行处理 每个 Session可以处理多个并发请求，虽然每个时点只有一个请求 是活动的，但每个 Session自已能够管理 16个请求和它们相关的结 果集 每个 AMP能够并行处理 80个任务 ,多线程的同时处理多个请求 每个 AMP作为数据库的一部分一起并行的处理请求，如果 optimizer 传递来的执行步骤之间没有交叉， AMP会同时并行处理一个请求的 多步操作 Teradata Parallenlism Teradata 是建立在并行基础上的系统 每个 PE能够支持 120个 Session并行处理 每个 Sessi

16、on可以处理多个并发请求 MPL能并行处理所有活动的消息 每个 AMP能够并行处理 80个任务 所有的 AMP能并悉心能够处理一个请求 一个 AMP能并行处理多个请求 主题 What is Teradata? Teradata数据库竞争优势 Teradata RDBMS 架构 Teradata 系统架构 Teradata 数据库与数据库用户的比较 数据存储和访问 Teradata Database Version 1 Platforms Teradata Architecture Physical View Teradata Database Version 2 Architecture Te

17、radata Database Version 2 Single Node (SMP) SMP 体系架构 Multi-Node MPP NCR Rack-Based Cabinets NCR MPP系统的一些特性 Teradata数据库软件 :它允许多个 SMP运行在 Teradata数据库上，并扮演单 个实例角色 可升级的 BYNET连接 :当增加节点时，相应的增加了带宽 并行可升级性：通过安装 /升级多个 SMPs 实现软件的并行安装和升级 AWS（ Administration Workstation） :单点操作控制及升级服务管理 SMP： SMP只需要负责管理各自资源 还有一些冗余的

18、组件：两个 BYNET,在一个磁盘组中有两个磁盘控制器 ,又模 拟控制器来增强可用性，个 power来支持节点 . 主题 What is Teradata? Teradata数据库竞争优势 Teradata RDBMS 架构 Teradata 系统架构 Teradata 数据库与数据库用户的比较 数据存储和访问 Teradata 数据库与数据库用户的比较 首先在 Teradata中，数据库与数据库用户同样的重要，在整个系统中数据库名与用户 名必须是唯一的，是 sql语句里最高层次的限定条件 一般来说，一个用户具有登录及访问权限的在很多系统中，一般不会给用户分配永 久的空间，只能授权用户访问包括

19、数据视图或宏的数据库，通过授权给用户去访问数 据库中的表 . 数据库和用户一样是可以为空的，既不包括任何表、视图、宏、触发器、存储过程， 也可以不分配永久空间他们唯一的不同是用户必须有密码，而数据库没有。 在任何时候，一个有权限的用户可以改变另一个用户的 spool空间大小 只有永久空间被分配后，才可以创建表到数据库中，而视图、宏、触发器等可以在任 何时间添加，因为他们不需要永久空间。 数据库与用户都是一个数据库对象的存储库，他们主要的不同是用户能够登录并获得 数据库 SESSION. 在 DBC.DBASE表存放着数据库或用户信息 Database User Comparison Terad

20、ata Database-user 的层次关系 数据库和用户的空间类别 Permanent Space ：分配给用户或数据库的最大存储容量，存放 table rows, Fallback tables, secondary index subtables, stored procedures, and permanent journals. Spool Space ：系统自动获取的临时空间，存放结果集的中间过程和最终 的 sql语句结果 (select语句通常是用 Spool space存放已经 select的数据 ) ， 可变临时表和导出表的数据，不再需要时自动释放 . Temporary

21、Space ：系统自动获取的临时空间，存放 Global Temporary tables 被实例化的数据。 主题 What is Teradata? Teradata A Brief History Teradata数据库竞争优势 Teradata RDBMS 架构 Teradata 系统架构 Teradata 数据库与数据库用户的比较 数据存储和访问 Storing Rows Primary Index Values Primary Keys and Primary Indexes Row Distribution Using a UPI Case 1 Row Distribution U

22、sing a NUPI Case 2 Row Distribution Using a Highly Non-UniquePrimary Index (NUPI) Case Secondary Indexes 跟 Oracle的索引差不多 每一个表可以有零或多个次索引 可以是唯一或非唯一 在数据仓库并不常用次索引 建立次索引需要额外资源和空间 Teradata 性能本身很高，用次索引的需要不高 不影响表在 AMP中的分布 可以在需要时动态添加，不用时再 drop掉 添加改善查询性能 Unique Secondary Index (USI) Access Non-Unique Secondary

23、 Index (NUSI) Access Comparison of Primary and Secondary Indexes Full Table Scans Partitioned Primary Indexes (PPI) Teradata 数据库的一种索引机制，数据按分区字段在 AMP中分组摆放 每一个表可有零或一个表分区 访问只看有关系的分区 用表分区字段作过滤条件 直接比较 = = 不用分区字段作运算 大大加快速度 例子： select * from prdview.Tbl_a where sum_date = 20030101 从一个分区取数 定义 PPI CREATE MUL

24、TISET TABLE prdmiddle.Ft_mid_subtotal_item ,NO FALLBACK , NO BEFORE JOURNAL, NO AFTER JOURNAL ( user_id DECIMAL(15,0), gen_amt DECIMAL(12,0), gen_month DECIMAL(6,0), subtotal_bill_item DECIMAL(12,0), deal_id DECIMAL(12,0), sum_date INTEGER) PRIMARY INDEX XIE1Ft_mid_subtotal_item ( user_id ) PARTITIO

25、N BY RANGE_N(sum_date BETWEEN 20030701 AND 20091231 EACH 1 , NO RANGE OR UNKNOWN); Partitioned Primary Indexes (PPI)和 NPPI对照 表分区 Explain select * from devview.Tb_seu_first_bill_item where load_time is null 非表分区 Explain select * from devview.Tb_seu_first_bill_item where load_time /100 is null PI Expl

26、ain select * from devview.Tb_seu_first_bill_item where cdr_id = 123 非 PI Explain select * from devview.Tb_seu_first_bill_item where rate_id = 123 数据库锁 Locking 关键字 Locking关键字能重写 Teradata默认的锁策略，可以升级锁的级别： 例如： LOCKING ROW FOR ACCESS SELECT * FROM Table_A; 一个 ACCESS锁允许用户访问一个有 writer 或 read锁的对象，在上例中即 使定义的

27、是 locking row，但是因为是全表扫描，所以还是锁的 table。 LOCKING TABLE Table_B FOR EXCLUSIVE UPDATE Table_B SET A = 2007; 上例给 Table_B一个排它锁，实际上升级了锁级别。 LOCKING TABLE Table_C FOR WRITE NOWAIT UPDATE Table_C SET A = 2008; nowait选项在不想让锁排队的情况下使用，如果不能立即对表置锁则 报 Error code 7423 Rules of Locking Access Locks Rank()与 row_number(

28、)的使用 PARTITION BY后的列为排队的粒度； ORDER BY后的内容为排序的依据。 例如： qualify rank() over ( partition by jiejuh order by jiluzt) = 1 在某个 jiejuh内部 jiluzt最小（默认升序排第 1）的记录才会选出来。 但是 rank()函数的结果是有排名并列的情况的，如果某 jiejuh的 jiluzt最小的是两条 记录，那么这两条记录 rank()的返回值都是 1。 为了避免并列的情况我们可以改用 row_number()函数。 row_number()函数的用法 与 rank()函数完全相同，只是不会出现并列的情况，于是 select语句中的 qualify子 句写成如下的样子： qualify row_number() over ( partition by jiejuh order by jiluzt) = 1 Thank you for your time!