PowerCenter培训教材

《PowerCenter培训教材》由会员分享，可在线阅读，更多相关《PowerCenter培训教材（89页珍藏版）》请在装配图网上搜索。

1、12 产品体系介绍产品体系介绍 产品安装配置产品安装配置 系统管理介绍系统管理介绍 开发六大步骤开发六大步骤 组件介绍组件介绍3INFA产品线产品线4PowerCenter选件选件丰富的丰富的ETL功能功能 Real-Time 实时功能 Partitioning 分区功能 High Availability 高可靠性功能 Pushdown 功能 Enterprise Grid网格功能 Team-based Development 团队开发功能 Metadata Exchange 元数据交换功能 Unstructured Data 非结构化数据功能 Visio 模板Mapping生成器功能 Da

2、ta Federation 数据联邦功能 Data Profiling 数据质量探查功能 异构数据源，异构目标 实现多种缓慢变化维 全局变量及参数，参数文件 局部变量，前后记录比较 条件汇总 异构数据源关联 行/列转换 静态、动态Lookup支持 ETL事务处理 自定义SQL Pre SQL和Post SQL 复用组件 复用Mapping 调用存储过程 调用外部用户自定义过程 可视化Debug 强大函数支持、丰富转换语言 数据源为文件列表 Session Recovery 基于多目标表约束装载 错误数量控制 FTP 源和FTP目标 ETL任务分区 增量汇总 测试装载 Bulk Loading

3、External Loader(Oracle、DB2.)复用Workflow 功能丰富的Workflow控制 任务串行、并行控制 基于时间、事件和指示文件触发 任务 Workflow中调用OS外部命令 Workflow中调用Email 多ETL Server协同工作 Informatica 8INFA8系列产品功能情况系列产品功能情况5Informatica客户端客户端数据源数据源ODBCNATIVE目标目标ODBCNATIVEDomainAdministrator ConsoleUNIX(AIX,HPUX,Solaris,Linux)WindowsIntegration ServiceRep

4、ository Service-Repository AgentPowerCenter 服务端服务端TCP/IPTCP/IPTCP/IPNATIVENATIVE6数据源数据源源数据源数据目标目标已转换数据已转换数据资料库资料库PowerCenter Server来自元数来自元数据的指令据的指令PowerCenter Server、资料库、源和目标之间的处理路径、资料库、源和目标之间的处理路径7 服务端组件服务端组件 客户端组件客户端组件Informatica Service：PowerCenter服务引擎Integration Service：数据抽取、转换、装载服务引擎Repository

5、Service：知识库Service，管理ETL过程中产生的元数据Administratortion Console：用于知识库的建立与维护Repository Manager：知识库管理，包括安全性管理等Desinger：设计开发环境，定义源及目标数据结构；设计转换规则，生成ETL映射Workflow Manager：合理地实现复杂的ETL工作流，基于时间、事件的作业调度Workflow Monitor：监控Workflow和Session运行情况，生成日志和报告8 产品体系介绍产品体系介绍 产品安装配置产品安装配置 系统管理介绍系统管理介绍 开发六大步骤开发六大步骤 组件介绍组件介绍9产品

6、安装产品安装 服务器安装 客户端安装 详见安装手册样例安装样例安装 数据库准备 RDBU（资料库数据库）SDBU（样例源数据库）TDBU（样例目标数据库）BDBU（样例参考数据库）样例数据准备 样例参考导入10 产品体系介绍产品体系介绍 产品安装配置产品安装配置 系统管理介绍系统管理介绍 开发六大步骤开发六大步骤 组件介绍组件介绍11 Informatica Server管理管理http:/localhost:6001Domain ManagerNode ManagerRepository Service ManagerIntegration Service ManagerLicense Ma

7、nager 资料库内容管理资料库内容管理Repository ManagerFolder ManagerPrivilege Manager12 产品体系介绍产品体系介绍 产品安装配置产品安装配置 系统管理介绍系统管理介绍 开发六大步骤开发六大步骤 组件介绍组件介绍13S T ST WF M定义源定义目标创建映射定义任务创建工作流工作流调度监控Designer:Workflow Manager:Workflow Monitor:14引入源的类型 Relational database Flat file COBOL file XML object Application源分析器Informati

8、ca ServiceODBC Mapped DriveNFS MountingLocal DirectorySave Meta Data of Sources:OPB_SRCOPB_SRC_OPB_SRC_FLDOPB_SRC_FLD_15引入目标的类型 Relational database Flat file COBOL file XML object Application目标分析器Save Meta Data of Targets:OPB_TARGOPB_TARG_OPB_TARG_FLDOPB_TARG_FLD_ODBC Mapped DriveNFS MountingLocal D

9、irectoryInformatica Service16目标目标源源转换组件转换组件17Session Task工作目录工作目录Task工作区工作区181920 产品体系介绍产品体系介绍 产品安装配置产品安装配置 系统管理介绍系统管理介绍 开发六大步骤开发六大步骤 组件介绍组件介绍21 Source Qualifier:从数据源读取数据 Expression:行级转换 Filter:数据过滤 Sorter:数据排序 Aggregator:聚合 Joiner:异构数据关接连接 Lookup:查询连接 Update Strategy:对目标编辑 insert,update,delete,reje

10、ct Router:条件分发 Sequence Generator:序列号生成器22 Normalizer:记录规范化 Rank:对记录进行TOPx Union:数据合并 Transaction Control:对装载数据按条件进行事务控制 Stored Procedure:存储过程组件 Custom:用户自定义组件 HTTP:WWW组件 Java:Java自编程组件4其它应用组件其它应用组件23Passive组件组件 流入流出组件的行数不发生变化 例如：Expression、Lookup、HTTP组件Active组件组件 流入流出组件的行数会发生变化 例如：Aggregator、Router

11、、Filter组件PA24聚合函数聚合函数字符串函数字符串函数转换函数转换函数数据清洗函数数据清洗函数日期函数日期函数编码函数编码函数财务函数财务函数数值函数数值函数数学函数数学函数特有函数特有函数判断函数判断函数用户自定义函数用户自定义函数2526 Expression组件组件 Source Qualifier、Filter与与Router Joiner与与Lookup27组件功能组件功能 基于行级的数据项赋值、修改、计算 在同行记录中可新增、减少数据项组件类型组件类型 Passive组件应用范围应用范围 数据类型转换，例如Expression：to_date(Port1,yyyymmdd)

12、数据项计算，例如Expression：(Port1+Port2)/Port3 新增变量，例如Expression：i=i+128当数据项为空时的默认值当数据项为空时的默认值流入组件的数据项流入组件的数据项流出组件的数据项流出组件的数据项组件中定义的变量组件中定义的变量29描述描述将原始客户信息记录转换成合格标准的数据导入到暂存区。源表：customer_east.txt customer_west.txt customer_central.txt目标：TDBU.STG_CUSTOMERS要点要点姓与名合并为姓名；电话号码转换成易读格式的电话号码，如：(466)766-283；性别转换，将F 转

13、换成FEMALE、M 转换成MALE、其它转换成UNK；年龄分段，20 岁以下29、3039、4049、5060、60 岁以上；解决方案解决方案详见m_LAB_0130 Expression组件组件 Source Qualifier、Filter与与Router Joiner与与Lookup31组件功能组件功能 对流入组件中的记录数据进行过滤 类似于关系型数据库Where应用 与Source Qualifier的过滤功能区别在执行位置上组件类型组件类型 Active组件应用范围应用范围 数据过滤32流入组件的数据项流入组件的数据项在日志中显示详细级别在日志中显示详细级别Source Quali

14、fier组件中的过滤条件设置组件中的过滤条件设置注意：注意：在在Source Qualifier中的中的User Defined Join、Source Filter、Number of Sorted Ports中定中定义了义了SQL条件，那么，在条件，那么，在Sql Query中就不要在重写相关的中就不要在重写相关的SQL条件，否则，将不会生效。条件，否则，将不会生效。33组件功能组件功能 对流入组件中的记录数据按照条件进行分发 类似于Java语言中的Switch语句组件类型组件类型 Active组件应用范围应用范围 数据分发34流入组件的数据项流入组件的数据项35描述描述将暂存区的客户信息

15、按照性别分别导入到男、女、性别不明三张表内。源表：TDBU.STG_CUSTOMERS目标：TDBU.STG_CUSTOMERS_FEMALE TDBU.STG_CUSTOMERS_MALE TDBU.STG_CUSTOMERS_UNK要点要点偿试用Filter组件多种方法对目标进行装载解决方案解决方案 详见m_LAB_0236描述描述将暂存区的客户信息按照性别分别导入到男、女、性别不明三张表内。源表：TDBU.STG_CUSTOMERS目标：TDBU.STG_CUSTOMERS_FEMALE TDBU.STG_CUSTOMERS_MALE TDBU.STG_CUSTOMERS_UNK要点要点

16、使用Router组件对数据进行分发比较Filter与Router各种方法的应用特点、性能解决方案解决方案详见m_LAB_0337 Expression组件组件 Source Qualifier、Filter与与Router Joiner与与Lookup38组件功能组件功能 对异构数据进行关联（同构关联用Source Qualify组件）类似于SQL 中的Join语句组件类型组件类型 Active组件应用范围应用范围 2个异构数据类型的表关联39同构同构Joins同种结构数据Source Qualify组件从源直接Joinsn个源可用1个SQ组件在源中先定义连接关系异构异构Joins不同DB或F

17、lat与Flat之间Joiner组件在PowerCenter中Joinsn-1个Joiner组件在Joiner中定义连接条件40MasterDetailMaster SourceDetail SourceJoinerJoin ResultsJoin条件：Master.ProductID=Detail.ProductID Join条件条件41流入组件的数据项流入组件的数据项MasterDetail=+MasterDetail=MasterDetail+=MasterDetail+42描述描述将员工信息与员工工资2个异构表关联后，将关联结果数据倒入到暂存区。源表：Employees_layout结

18、构Employees_list.txt文件目录Employees_east.txtEmployees_west.txtEmployees_central.txt Salary.txt 目标：TDBU.STG_EMPLOYEES要点要点用Joiner组件进行Mapping设计注意Master与Detail的设置选择(关联时建议将数据量少的设置为关联时建议将数据量少的设置为Master.)解决方案解决方案详见m_LAB_0443描述描述将员工信息与员工工资2个同构表关联后，将关联结果数据倒入到暂存区。源表：SDBU.EMPLOYEES SDBU.SALARY目标：TDBU.STG_ EMPLOYE

19、ES要点要点用Source Qualify组件进行Mapping设计注意关联关系设置建议建议N个同构数据源只需用1个Source Qualifier组件关联，关联时建议将在Source设计区将需要关联的源表手工用连线关联起来，在Mapping设计区删除各个源所带的Source Qualifier组件，用一个新的Source Qualifier组件包含所有源的字段内容。解决方案解决方案详见m_LAB_0544组件功能组件功能对Flat File或数据库根据关联的条件进行查询返回符合条件的值，否则为空连接关联与非连接关联类似于SQL 中的Join语句组件类型组件类型Passive组件应用范围应用范

20、围查询文本文件的关联数据查询数据库的关联数据45Lookup源源Lookup组件组件查询条件：ITEM_ID=IN_ITEM_ID PRICE=IN_PRICE流入值查询输出值流入值查询到的值Lookup组件组件组件组件查询条件：IIF(ISNULL(customer_id),:lkp.MYLOOKUP(order_no),customer_id)是否查询 Y返回查询到的值46查询的数据项，返回关联的值查询的数据项，返回关联的值 返回值返回值47描述描述将员工信息去员工工资文本文件查询员工工资信息，未查到的工资默认为0，最后将结果数据倒入到暂存区。源表：Employees_layout结构Em

21、ployees_list.txt文件目录Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目标：TDBU.STG_EMPLOYEES要点要点用连接Lookup组件进行Mapping设计注意Salary（Flat File）的设置解决方案解决方案详见m_LAB_0648描述描述将合格的员工信息去员工工资文本文件查询员工工资信息，未查到的工资默认为0，最后将结果数据倒入到暂存区。源表：Employees_layout结构Employees_list.txt文件目录Employees_east.txtEmployee

22、s_west.txtEmployees_central.txtSalary.txt目标：TDBU.STG_EMPLOYEES要点要点用非连接Lookup组件进行Mapping设计注意Salary（Flat File）的设置注意数据查询的条件解决方案解决方案详见m_LAB_0749 Aggregator组件组件 Update Strategy组件组件 Sequence Generator 其他组件简介其他组件简介50组件功能组件功能 对数据集进行聚合 聚合分有SUM、AVG、Count、Max、Min组件类型组件类型 Active组件应用范围应用范围 分组汇总 平均值、最大值51Group By

23、 选项选项变量和流出数据项的表达式变量和流出数据项的表达式52注意区别：注意区别：SUM(IN_count,IIF(ID 20,IN_count)将不符合条件的值默认赋值为将不符合条件的值默认赋值为nullIIF(ID 20,SUM(IN_count)将不符合条件的值默认赋值为将不符合条件的值默认赋值为053参与参与Group By的字段是否经过排序的字段是否经过排序参与聚集汇总的变量和输出参与聚集汇总的变量和输出数据项的表达式所占内存数据项的表达式所占内存参与参与Group By的字段所占用的字段所占用的内存的内存54IDNAMEQUANTITY1北京1002上海803北京904江苏905北

24、京120IDNAMEQUANTITY1北京1003北京905北京1202上海904江苏90按北京分组指针按北京分组指针按北京分组指针按北京分组指针不对流入到不对流入到Aggregator组件的数据进行排序组件的数据进行排序对流入到对流入到Aggregator组件的数据进行排序组件的数据进行排序55描述描述将采购清单按照数据仓库星型设计原则进行标准化存储，对货物库存量、订单量和货物费用按照采购编号、货物品名、代理商、订单日期、接收日期和发货日期进行汇总。源表：TDBU.STG_INVENTORY目标：TDBU.FACT_INVENTORYLOOKUP表：产品维表为DIM_PRODUCT日期维表为

25、DIM_DATE 要点要点订单文本文件与产品表的关联汇总前排序分组汇总解决方案解决方案详见m_LAB_0856 Aggregator组件组件 Update Strategy组件组件 Sequence Generator 其他组件简介其他组件简介57组件功能组件功能 对流过组件的每一条记录赋一个操作标志 根据操作标志对目标关系型数据库表生成SQL操作 操作标志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT组件类型组件类型 Active组件应用范围应用范围 数据增量更新 对目标编辑58对记录标记对记录标记记录是在当前丢弃还是到下个组件丢弃记录是在当前丢弃还是到下个

26、组件丢弃59描述描述将暂存区的发生变更了的员工信息倒入到员工维表中。源表：TDBU.STG_EMPLOYEES 目标：TDBU.DIM_EMPLOYEES要点要点使用Router组件对数据按不同要求进行编辑操作偿试用一个Update Strategy组件完成上述功能解决方案解决方案详见m_LAB_0960 Aggregator组件组件 Update Strategy组件组件 Sequence Generator 其他组件简介其他组件简介6162 练习一练习一多个目标，要生成重复和不重复的代理主键多个目标，要生成重复和不重复的代理主键Incresement by 10 current value

27、 10011、从从SEQ_1中出来的中出来的nextval不经过任何组件直接到目标表，源表的不经过任何组件直接到目标表，源表的num字段也直接到目标表字段也直接到目标表2、从、从SEQ_2中出来的中出来的nextval和和currval经过经过Expression组件直接到目组件直接到目标表，源表的标表，源表的num字段不经过任何组件直接到目标表字段不经过任何组件直接到目标表3、从、从SEQ_3中出来的中出来的nextval和和currval经过经过Expression组件直接到目组件直接到目标表，源表的标表，源表的num字段也经过字段也经过Expression组件到目标表组件到目标表4、从、

28、从SEQ_4出来的出来的currval直接连到目标表，直接连到目标表，nextval没有输出没有输出参照：参照：m_SequenceGenerator63 增量抽取实例增量抽取实例 参数文件控制参数文件控制 断点续传实例断点续传实例 存储过程实例存储过程实例 行列转换实例行列转换实例 系统性能调优系统性能调优 64实例描述实例描述 对流过组件的每一条记录赋一个操作标志 根据操作标志对目标关系型数据库表生成SQL操作 操作标志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT解决方案解决方案 全表比较方法 时间戳方法详见m_LAB_10 字段压缩比较 PowerEx

29、change65 增量抽取实例增量抽取实例 参数文件控制参数文件控制 断点续传实例断点续传实例 存储过程实例存储过程实例 行列转换实例行列转换实例 系统性能调优系统性能调优 66系统级变量系统级变量 SYSDATE系统日期 SESSSTARTTIMESESSION启动时间$SessStartTime 返回Session启动时间的字符串值Mapping级参数与变量级参数与变量 SETMAXVARIABLE($Variable,value)设置最大值变量 SETMINVARIABLE($Variable,value)设置最小值变量 SETVARIABLE($Variable,value)设置变量值

30、 SETCOUNTVARIABLE($Variable)设置递增、减变量文件级参数与变量文件级参数与变量 固定格式67从Designer 中的Mappings/Mapplets 菜单中进行定义在相应的Mapping或Mapplet中进行引用即可设置变量变化类型初始值设置变量或参数名称定义：$类型设置68全局变量域级服务变量节点级服务处理变量Workflow级变量 优先于前几级定义的变量 69Task参数文件设置参数文件设置Workflow参数文件设置参数文件设置70GLOBALSERVICESERVICE PROCESSWORKFLOWSESSION使用范围执行优先权高低低高71Mapping

31、与与Workflow/Worklet之间进行变量传递之间进行变量传递72使用不同参数文件并行运行同一个使用不同参数文件并行运行同一个Workflow73实例描述实例描述对源文本文件名进行参数化对源表名进行参数化对目标输出文本文件名进行参数化对源与目标的数据库连接进行参数化对日志文件及路径进行参数化解决方案解决方案详见m_LAB_11注意事项注意事项注意变量的命名规则：特别是固定的前缀74 增量抽取实例增量抽取实例 参数文件控制参数文件控制 断点续传实例断点续传实例 存储过程实例存储过程实例 行列转换实例行列转换实例 系统性能调优系统性能调优 75实例描述实例描述当在数据抽取时，因意外致使数据抽

32、取发生中断，重新启动服务时仍可从断点执行数据抽取解决方案解决方案通过表pm_recovery和PM_TGT_RUN_ID记载最近提交点的位置，当session失败(或停止)后可从断点处接着装载数据，在monitor中，recover task。在源表数据未发生变化的前提下详见m_LAB_12监控脚本监控脚本select*from pm_recovery;select row_count from pm_recovery;select*from PM_TGT_RUN_ID;select count(*)from SessionRecovery_Target;truncate table Sess

33、ionRecovery_Target;7677 增量抽取实例增量抽取实例 参数文件控制参数文件控制 断点续传实例断点续传实例 存储过程实例存储过程实例 行列转换实例行列转换实例 系统性能调优系统性能调优 78实例描述实例描述将原始客户信息记录转换成合格标准的数据倒入到暂存区，转换处理在存储过程中完成 源表：customer_east.txt customer_west.txt customer_central.txt目标：TDBU.STG_CUSTOMERS解决方案解决方案见存储过程EMP_INFA_TRANSFORM详见m_LAB_1379 增量抽取实例增量抽取实例 参数文件控制参数文件控制

34、 断点续传实例断点续传实例 存储过程实例存储过程实例 行列转换实例行列转换实例 系统性能调优系统性能调优 80实例描述实例描述 源数据一条记录有多个字段格式一样，经过格式化，到目标生成多条记录，并且只保留一个该格式字段。解决方案解决方案 使用Normalizer组件，实现列/行转变 详见m_LAB_14_1 行列转转用Aggregator组件实现，详见m_LAB_14_281 增量抽取实例增量抽取实例 参数文件控制参数文件控制 断点续传实例断点续传实例 存储过程实例存储过程实例 行列转换实例行列转换实例 系统性能调优系统性能调优 82 Source瓶颈瓶颈 Target瓶颈瓶颈 Mapping

35、瓶颈瓶颈 Session瓶颈瓶颈 System瓶颈瓶颈83源为文本文件源为文本文件调优Line Sequential Buffer Length(1024)源为关系型数据库源为关系型数据库在Source Qualify优化SQL在源数据增加索引增加Database network Packet size当DB跟Informatica在同一机器上，使用IPC协议 84目标为文本文件目标为文本文件调优Line Sequential Buffer Length(1024)目标为关系型数据库目标为关系型数据库删除目标索引和约束增加checkpoint interval使用Bulk loading和Ex

36、ternal Loading增加Database network Packet sizeOracle调优数据库：Large intial and next value(storage clause)Rollback segments最优化redo log，见：init.ora当Oracle跟Informatica在同一机器上，使用IPC协议85最少化转换组件减少不必要的link对Aggregator,Joiner,Rank,Lookup 等组件，减少连接的input/output和output字段。Single Pass：读一次数据，多处使用。减少数据类型转换：数值的比较比字符串要快。减少转换

37、错误：使用session tracing terse。组件调优：lookup组件、Filter组件、Aggregator组件、Joiner组件、调优Sequence Generator调优表达式86增加增加Partition调优调优Session参数参数增加：DTM buffer pool size:可以增加Buffer Block的数目。增加：buffer block size:可以增加一次处理的数据的行数。增加：Commit IntervalEnable high precision：double 15 to decimal 2887增加network speed：本地速度一般是网络的5-20倍；文件拷贝到本地。使用Informatica Grid当只处理7-bit ASCII 或EBCDIC数据时，选用ASCII data movement mode：只使用一个字节存储数据。减少Paging(虚拟内存)：在UNIX系统下，使用processor binding将资源分配给Informatica88个人观点供参考，欢迎讨论