PowerCenter中文说明

《PowerCenter中文说明》由会员分享，可在线阅读，更多相关《PowerCenter中文说明（9页珍藏版）》请在装配图网上搜索。

1、PowerCenter中文说明1.1 RepositoryManager的使用 1.1.1创建Repository。 前提：a.在ODBC数据源管理器中新建一个数据源连接至你要创建Repository的数据库（例：jzjxdev） b.要在你要连接的数据库中新建一个用户（例：name:ETLpassword:ETL） 现在你可以创建一个Repository了。选择RepositoryCreateRepository,输入RepositoryName（例：JZJX），DatabaseUsername（例：etl），DatabasePassword（例：etl），ODBCDataSource（例：

2、jzjxdev），NativeConnectString（数据库所在ip例：141.20.52.108） 1.1.2添加Repository。 通过这一步你可以添加别人已经建好的Repository。 选择RepositoryAddRepository,输入RepositoryName（例：JZJX），Username(例：etl),点击ok就可以看到名为JZJX的Repository在左边的浏览器中，但是此时还看不到它的内容，要看到它的内容或者对它进行操作必须先连接它。 1.1.3添加Folder 选择FolderCreate,输入文件夹名称即可。 1.2Designer的使用 首先连接Re

3、pository，可以看到该Repository在RepositoryManager中创建的文件夹。 1.2.1Sources Sources文件夹下的表是抽取的来源表。 导入方法：选择Tools菜单下的SourceAnalyzer,然后选择Sources菜单下的Import fromdatabase，连接想要连接的数据库，连接上后选择你要抽取的表点击ok你所选择的表就会出现在Sources文件夹下。 说明：上面的导入过程导入的只是表结构，你也可以自己创建来源表，只要你创建的表 的结构跟真实存在的那张表的表结构一致就行。 1.2.2Targets Targets文件夹下的表是抽取的目标表,也就

4、是抽取结果的存放表. 导入方法:选择Tools菜单下的WarehouseDesigner,然后选择Targets菜单下的Importfromdatabase，连接想要连接的数据库，连接上后选择你要抽取的表点击ok你所选择的表就会出现在Targets文件夹下。 说明：上面的导入过程导入的只是表结构，你也可以自己创建目标表，只要你创建的表 的结构跟真实存在的那张表的表结构一致就行。 1.2.3Mappings的设计 选择Tools菜单下的MappingDesigner才能进行Mapping的设计。 每个apping都由来源表,transformation和目标表组成，描述数据抽取的过程。来源表和目

5、标表可以从Sources和Targets文件夹拖拽到工作区，但是transformation一般来说是需要自己创建的。Mapping的设计关键是transformation的使用，它的使用关系到数据抽取的正确性和效率。下面说明各个transformation的作用和用法。 （Active：表示该transformation可以改变通过它的数据的行数； Passive：表示该transformation不改变通过它的数据的行数； Connected：表示该transformation要连接到数据流； Unconnected：表示该transformation可以不连接到数据流） 1.2.3.1S

6、ourceQualifier 作用：根据查询SQL文从关系表或平坦文件查出所要记录 用法：创建好SourceQualifier(下简称SQ)后，将需要的用的字段从来源表拖拽到SQ,双击SQ,对SQ的属性进行设置。 SelectDistinct属性:选中的话表明结果记录将去除重复值; TracingLevel属性:共有四级,表示log的复杂程度; NumberOfSortedPorts属性:排序的字段个数,值大于0时SqlQuery中的sql文将出现orderby从句; SqlFilter属性:属性值将出现在SqlQuery属性值的where表达式中; UserDefinedJoin属性:用户如

7、果要定义外部连接可在此写(例:REG_CUSTOMERLEFTOUTERJOINPURCHASESon(REG_CUSTOMER.CUST_ID=PURCHASES.CUST_IDANDPURCHASES.AMOUNT100.00) SqlQuery属性:值是一条sql文，session运行时会执行这条sql文进行查询。 命名方式：SQ_Name 类型：Active/Connected 注意：SQ的输入只能来自来源表;UserDefinedJoin属性值必须用括起来;在更改了SQ的属性值之后一定要点击SqlQuery属性的generatesql按钮重新生成sql文。 1.2.3.2Update

8、Strategy 作用：决定该行进行插入，删除，更新，忽略中的哪一种操作 用法：创建好UpdateStrategy(下简称US)后，将需要的用的字段从transformation拖拽到US,双击US,对US的属性进行设置。US的设置关键是UpdateStrategyExpression属性的设置，这个表达式使用IIF或DECODE函数对记录的每一行进行判断，为每一行赋予DD_INSERT，DD_UPDATE，DD_DELETE，DD_REJECT（这四个是常量，值分别为0，1，2，3）中任意一个值，表明该行在数据库中将进行何种操作。 命名方式：UPD_Name 类型：Active/Connec

9、ted 注意：mapping中有US时,mapping对应的session的在配置属性时必须把Treatrows属性设置为DataDriven,否则US将不起作用。 1.2.3.3Expression 作用：计算一个值 用法：创建好Expression(下简称EXP)后，将需要的用的字段从来源表拖拽到EXP,双击EXP, 新增输出端口，编辑该端口的表达式。 命名方式：EXP_Name 类型：Passive/Connected 注意：要进行列运算一般用这个transformation;此种transformation可以使用本地变量 1.2.3.4StoredProcedure 作用：调用一个存

10、储过程 用法：创建StoredProcedure(下简称SP)的时候连接数据库选择必要的存储过程。SP有连接和不连接到数据流两种用法。 连接到数据流方式跟一般的transformation类似，通过拖拽端口来实现数据流。 不连接到数据流分表达式调用和Pre-/PostSession两种方式。表达式调用方式中SP被Mapping中另一个transformation中的表达式调用。Pre-/PostSession方式就是在Session的属性中配置SP的运行时间，SourcePre-load(Session从源表查询数据之前)，SourcePost-load（Session从源表查询数据之后），T

11、argetPre-load（Session将数据插入目标表之前），TargetPost-load（Session将数据插入目标表之后） 命名方式：SP_Name 类型：Passive/ConnectedorUnconnected 注意： 1.2.3.5SequenceGenerator 作用：产生主键 用法：创建好SequenceGenerator(下简称SEQ)后，双击SEQ,对SEQ的属性进行设置。StartValue属性是开始值，此属性只在选择了Cycle选项才有效；IncrementBy属性值是每次增加的值；EndValue属性值是结束值;CurrentValue属性值是当前开始值；C

12、ycle选项被选择的话NEXTVAL的值达到EndValue值之后会重新从StartValue开始；Reset选项被选择的话,服务器会为每个使用了该SEQ的session的NEXTVAL值都从CurrentValue开始。 命名方式：SEQ_Name 类型：Passive/Connected 注意：这是一个只有两个输出端口没有输入端口的transformation.； 如果该SEQ时可重复使用的话，不能选择Reset选项。 1.2.3.6Aggregator 作用：执行分组聚合运算 用法：创建好Aggregator(下简称AGG)后，将需要的用的字段从其他transformation拖拽到AG

13、G,双击AGG,在端口tab中每个端口有groupby选项。钩上想要分组的列，新增端口，编写聚合表达式实现分组聚合运算。 命名方式：AGG_Name 类型：Active/Connected 注意：可使用本地变量 1.2.3.7Filter 作用：过滤记录 用法：创建好Filter(下简称FIL)后，将需要的用的字段从transformation拖拽到FIL,双击FIL,对FIL的属性进行设置。FIL的配置主要是对FilterCondition的配置，FilterCondition写入类似where条件的表达式即可。 命名方式：FIL_Name 类型：Active/Connected 注意： 1

14、.2.3.8Lookup 作用：查询值 用法：创建Lookup(下简称:LKP)的时候选择要查询的表。和StoredProcedure一样SP有连接和不连接到数据流两种用法。 连接到数据流方式将要关联查询的字段从其他的transformation拖拽过来，然后双击LKP进行属性的配置。LookupPolicyOnMultipleMatch属性表明当查询到多个行时采取取第一行,取第二行,报错中哪个策略.LookupCondition属性值是查询的条件。LookupSqlOverride属性值是查询执行的Sql文,我们可以在里面直接写Sql。LookupCachingEnabled属性表明是否使用

15、缓存，此项一般选择为好，有利提高效率。LoopupCachePersistent属性表明是否使用永久的缓存。 命名方式：LKP_Name 类型：Passive/ConnectedorUnconnected 注意：如果Lookup表的类型是来源表的话，请尽量使用Joiner; 一个已连接的LKP不能再被其他transformation的表达式调用； 如果查询表在session运行过程中不会改变，使用LoopupCachePersistent属性可提高性能； 尽量不要在LookupSqlOverride中书写orderby子句，因为cachedLKP默认有orderby； 1.2.3.9Joine

16、r 作用：连接查询来自不同数据库的表或平坦文件 用法：创建好Joiner(下简称JNR)后，将需要的用的字段从transformation拖拽到JNR,双击JNR,对JNR的属性进行设置。用于连接的两个表一个称为detail表，一个称为master表。JNR属性中可配置JoinType(连接类型)为NormalJoin,MasterOuterJoin,DetailOuterJoin和FullOuterJoin中任意一种。NormalJoin相当于常规的innerjoin;MasterOuterJoin相当于常规的DetailleftouterjoinMaster;DetailOuterJoin

17、相当于常规的DetailrightouterjoinMaster;FullOuterJoin相当于常规的fullouterjoin。JoinCondition属性值就是常规sql文on后带的条件。 命名方式：JNR_Name 类型：Active/Connected 注意：尽量使用NormalJoin,MasterOuterJoin.这两个的效率比另外两个更好 1.2.3.10Normalizer 作用：格式化记录，这些记录可以是来自COBOL源 用法： 命名方式：NRM_Name 类型：Active/Connected 注意： 1.2.3.11Router 作用：根据一组表达式将记录分类路由到

18、多个transformation 用法：创建好Router(下简称RTR)后，将需要的用的字段从transformation拖拽到RTR,双击RTR,对RTR的属性进行设置。在Grouptab中添加组,为每组编辑该组的过滤条件。 命名方式：RTR_Name 类型：Active/Connected 注意：组过滤条件表达式的计算值必须是真或者假。 1.2.3.12Rank 作用：排序记录，只输出最顶层或最低层的n个记录 用法：创建好Rank(下简称RNK)后，将需要的用的字段从transformation拖拽到RNK,双击RNK,对RNK的属性进行设置。在Portstab中有一个名为R的列，选择你

19、要排序的列。你还可以选择你想分组的列。在Propertiestab中Top/Bottom属性，Top表示选择顶层的记录，Bottom表示选择底层的记录；NumberOfRanks属性值是整数，表示要选择的记录条数。假设你在R列中选择了名为Price的列，而且GroupBy选择了Name列，Top/Bottom属性选择的是Top,NumberOfRanks属性值是2,那么将抽取过程是这样的：以name分组取出每组中Price最大的2列记录。 命名方式：RNK_Name 类型：Active/Connected 注意：可以使用本地变量 1.2.3.13ERPSourceQualifier 作用：根据

20、查询SQL文从ERP文件查出所要记录 用法： 命名方式： 类型：Active/Connected 注意： 1.2.3.14XMLSourceQualifier 作用：根据查询SQL文从XML文件查出所要记录 用法： 命名方式：XSQ_Name 类型：Passive/Connected 注意： 1.2.4MappingParameters(参数)和Variables（变量）的使用 如果你在一个mapping中多次用到同一个值，又或者mapping中要用到一个在session运行才能决定的值，这时候可以使用mappingparameters或variable。添加参数或变量的方法是：选择Mappi

21、ngs-ParametersandVariables,在窗口新增变量或者参数，并对它的数据类型，数据大小，初始值进行设置。添加的参数和变量在本mapping的transformation的表达式中就可以使用了。这些参数和变量的值还可以设置在.txt文件中，建session或者batch的时候把这个文件的路径设置在Parameter输入框中就行了。 Mapping参数变量的命名方式：$NAME 存放参数变量的.txt文件的格式：folder_name可写可不写 folder_name.session_name parameter_name=value variable_name=value ma

22、pplet_name.parameter_name=value folder_name.session2_name parameter_name=value variable_name=value mapplet_name.variable_name=value folder2_name.session_name parameter_name=value variable_name=value mapplet_name.parameter_name=value 1.2.5Mapping的调试 选择MappingsDebuggerStartDebugger,在点击下一步的过程中选择调试过程运行在

23、哪台服务器然后为来源表选择数据库，最后到完成。等调试初始化好之后点击MappingsDebuggerContinue(或按F5),即可开始调试，选择某个目标表即可看该表的结果数据。如果还想看中间某个transformation的数据，在开始调试前为该transformation增加一个断点。 1.3 ServerManager的使用 1.3.1 RegisterServer(注册服务器) 任何session都必须运行在某个服务器上，所以如果ServerManager里没有服务器的话必须注册一个，当然你也可注册多个服务器。服务器的注册过程如下： 选择ServerConfigurationRegi

24、sterServer，Server输入的是要注册的服务器的名称;HostName输入的是运行了informaticaserver的机器名或ip;Protocol选择TCP/IP;PortNumber输入4001。最下面的是服务器的变量设置，设置的是session或batch运行时一些文件的存放位置，比如说log文件bad文件cache文件，一般不用更改。这样一个服务器就注册到repository了，不过后面你可以双击它重新编辑。 1.3.2 AddDataBaseConnection（添加数据库连接） 选择ServerConfigurationDataBaseConnection,点击Add,

25、然后选择数据库的类型。不同类型的数据库配置起来不一定一样，下面说明Oracle和SQLServer两种数据库连接的配置。 Oracle类型数据库连接配置：DataSource输入数据源名称；UserName输入数据库连接的用户名；Password输入数据库连接的密码；ConnectString输入OracleTNS服务名。 SQLServer类型数据库连接配置:DataSource输入数据源名称；UserName输入数据库连接的用户名；Password输入数据库连接的密码；DatabaseName输入数据库名称；ServerName输入数据库的ip地址；DomainName输入数据库的域名。

26、1.3.3 AddSession(添加抽取任务) Mapping只是数据抽取过程的设计，要使这个过程运行必须为该Mapping建立对应的session,然后运行该session。选择Operations-AddSession,在窗口中选择一个Mapping点击ok会出现编辑该session的窗口。 Session输入框输入该session的名称； server选择该session将运行在的服务器； Treatrows有Insert,Delete,Update,DataDriven四个选项，表明抽取出来的数据在目标表中作何种操作，只有在session对应的mapping中有UpdateState

27、gy时才能选择DataDriven而且也必须选择DataDriven; Source框选择来源表所在的数据库； TargetOptions中的Insert,Update(asUpdate),Update(asInsert),Update(elseInsert),Delete,Truncatetable选项的意思分别是：将insert作insert操作，将Update作insert操作，将Update先做Update操作不成功再作insert操作,将delete作delete操作,在对目标表操作前删除目标表所有数据。这些选项如果与UpdateStategy冲突server将以这里的设置为准,也就

28、是说这里的设置可以覆盖UpdateStategy的设置； Parameter输入框中输入session要用到的参数或变量的所在文件的路径； 其他设置比较简单或者保持原来的值即可，这里就不再详细说明了。 除了在添加session的过程中可编辑session之外，双击已添加的session也对session重新设置。 注：如果mapping中有Joiner的话，session的编辑窗口的SourceType就变成heterogeneous(不同类)，这样就无法通过设置Source来设置来源表的位置，只能在SourceLocationtab中为每个来源表设置位置。 1.3.4 AddBatch(添加

29、批操作任务) 添加Batch可以将一系列的session串起来,这样就可以让必须按顺序执行的session有序的执行。添加方法：选择Operations-AddBatch,在窗口中对batch进行编辑。 Batch输入框中输入batch的名称； Parameter输入框中输入batch中的session要用到的参数或变量的所在文件的路径，由于每个session都可以设置自己的parameter,所以batch中可以不设置，即使batch的parameter进行了设置也会被各个session自己的parameter设置所覆盖，但如果session用到了parameter在同一个文件中的话，把pa

30、rameter文件的位置设置在batch的parameter输入框就显得更方便; Enabled选项表明是否让该batch有效； Concurrent选项表明是否让batch中的所有session并行地运行； Schedule中可设置batch的运行时间和运行频率。 1.3.5 Session和Batch的运行 右键单击要运行的session或者batch，选择start即可让该session或者batch立刻运行。如果你的session或者batch的Schedule设置不是选择的Runonlyondemand,那么该session或者batch就会在设置完后就处在Scheduled状态，时

31、间一到就会自动运行。（可以右击服务器选择monitor来监视运行在该服务器下的session或者batch当前状态）。1.2 2.1 INFORMATICASERVER的配置 一般用户不需要安装informaticaserver,而是操作repository的整个组共用一个server。但是整个组的抽取数据工作都在一个server上工作会慢一些,所以每个人都可以创建自己的server。 安装完informaticaserver后进行如下配置： l 在计算机上创建一个新帐户。(例如：用户名：etl密码：123123123) l 打开开始-程序-InformaticaServer-Informat

32、icaServerSetup,选择configureinformaticaserver,单击continue。 l 选择Keystab,输入LicenseKeys l 选择Networktab,选择TCP/IP,输入HOST(一般为本机ip和PORT（4001）. l 选择Repositorytab,输入Repositoryname(例：JZJX),Database(例：Oracle),Repositoryuser(例：etl),Repositorypassword(例：etl),Databaseuser(例：etl),Databasepassword(例：etl),Connect(例：jzj

33、xdev)。 2.2INFORMATICASERVER的运行 打开服务，配置名为informatica服务的属性如下： l 选择登录tab,输入此账户（例：.etl）和密码（例：123123123） l 选择常规tab,设置启动类型为自动。你也可以设置为手动，但是这样你就要在每次使用server前手工启动。1.3 2.3 INFORMATICASERVER在Solaris上的配置（Solaris） （安装程序路径:/space/pc/solaric; 目标路径:/informatica/pc; oracle:安装路径/space/oracle/oracle/9.2.0/） 1） 将PowerC

34、enter安装文件（Solaris文件夹）上传到Solaris机器上 2） 设置安装环境变量 LANG=en;exportLANG LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/space/pc/solaris exportLD_LIBRARY_PATH; PATH=$PATH:/space/pc/server 3） 设置install、icipc为可执行； 4） 运行./install;选择安装版本、安装路径； 5） 设置运行环境变量 LANG=zh;exportLANG NLS_LANG=american_america.ZHS16GBK;exportNLS_LANG

35、 LD_LIBRARY_PATH=/informatica/pc:/space/oracle/oracle/product/9.2.0/lib32:/opt/odbc/lib:/usr/lib;exportLD_LIBRARY_PATH TNS_ADMIN=/space/oracle/oracle/product/9.2.0/network/admin;exportTNS_ADMIN PATH=$PATH:/space/oracle/oracle/product/9.2.0/bin:/informatica/pc:/opt/odbc/bin;exportPATH ORACLE_HOME=/sp

36、ace/oracle/oracle/product/9.2.0;exportORACLE_HOME ODBCHOME=/opt/odbc;exportODBCHOME 注：我这儿只能使用oracle的lib32库，是否与我使用PowerCenter5.1版本较低有关 6） 切换至/informatica/pc路径，运行./pmconfig进行配置，一般只需要配置知识库的参数，以及License即可； 7） 运行./pmserver；运行后可以打开pmserver.err文件，察看服务是否运行成功: MonMar2121:47:062005 LM_2000PowerCenterRelease5.

37、1Build0611startingup. 8） 设置ODBC；安装Solaris的ODBC；将ODBC安装至/opt/odbc下； 9） 设置ODBC环境变量 LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/odbc/lib:/usr/lib;exportLD_LIBRARY_PATH PATH=$PATH:/opt/odbc/bin;exportPATH ODBCINI=/opt/odbc/odbc.ini;exportODBCINI 10） 设置odbc.ini文件 SQLSERVER配置如下： PLAN_MRPLANNER_5 Driver=/opt/odb

38、c/lib/DWmsss15.so Description=SQLServer Database=MrPlanner_5 Address=141.20.16.21,1433 LogonID=test Password=test QuotedId=No AnsiNPW=No MYSQL配置如下： DESKTOP DSN=DESKTOP DESCRIPTION=MySQLODBC3.51DriverDSN DRIVER=/usr/lib/libmyodbc3.so SERVER=141.20.57.41 DATABASE=eos USER=njds PASSWORD=njds PORT=3306 SOCKET=/tmp/mysql.sock OPTION=3 STMT= 注：PowerCenter5.1版本自带的ODBC不带有mysql的ODBC库，需要重新下载，我是从站点上重新下载的一个， MyODBC-3.51.11-sun-solaris2.8-sparc.pkg