Kettle用户操作手册1

《Kettle用户操作手册1》由会员分享，可在线阅读，更多相关《Kettle用户操作手册1（39页珍藏版）》请在装配图网上搜索。

1、Kettle 用户操作手册1. kettle 介绍1。1 什么是 kettleKettle 是“ Kettle E。T.T。L. Envirnonment只取首字母的缩 写，这意味着它被设计用来帮助你实现你的 ETTL 需要: 抽取、转换、 装入和加载数据；它的名字起源正如该项目的主程序员 MAT所说：希 望把各种数据放到一个壶里然后以一种指定的格式流出。Spoon是一个图形用户界面，它允许你运行转换或者任务。1。2 Kettle 的安装要运行此工具你必须安装 Sun 公司的 JAVA 运行环境 1。 4 或者 更高版本 ,相关资源你可以到网络上搜索 JDK 进行下载 ,Kettle 的下 载

2、可以到 http:/kettle 。 pentaho.org/ 取得最新版本。1.3 运行 SPOON面是在不同的平台上运行 Spoon 所支持的脚本：Spoon.bat:在 windows 平台运行 Spoon。Spoon.sh：在Linux、Apple OSX、Solaris 平台运行 Spoon.1。4 资源库一个Kettle资源库可以包含那些转换信息，这意味着为了从数据库资源中加载一个转换就必须连接相应的资源库。在启动SPOO的时候,可以在资源库中定义一个数据库连接，利用启动spoon时弹出的资源库对话框来定义 , 如图所示 : 单击加号便可新增；j.：眩0 户 itfiry Conn

3、ection-7 Show this didlog at siaruipI c关于资源库的信息存储在文件 “reposityries 。xml”中，它位于你 的缺省home目录的隐藏目录“。kettle ”中.如果是wi ndows系统, 这个路径就是c：。kettle c如果你不想每次在Spoon启动的时候都显示这个对话框，你可以在“编辑/选项菜单下面禁用它。admin用户的缺省密码也是admin。 如果你创建了资源库，你可以在“资源库/编辑用户”菜单下面修改缺 省密码。1。5定义1。5.1转换主要用来完成数据的转换处理。转换步骤，可以理解为将一个或 者多个不同的数据源组装成一条数据流水线

4、然后最终输出到某一个 地方，文件或者数据库等。Step :转换步骤，数据流中的处理步骤，对数据进行处理Hop：节点连接，一个Hop代表两个步骤之间的一个或者多个数据流. 一个Hop总是代表着一个步骤的输出流和一个步骤的输入流。1.5.2作业完成整个工作流的控制，执行数据处理任务，由一个或多个任务条目 (Job Entries )组成，一个任务条目也可以引用一个转换，也可以执 行一些文件处理(比较,删除等)，还可以ftp上传，下载文件，发送 邮件，执行shell命令等。1.5。3 变量(Variables)试用变量的方法可以如下制定：$ Variable ( unix )% Variable%

5、(wi ndows)1.6基本操作1。6.1拖拽对象按住左键“拖拽对象到工作区，如下图将表输入拖拽到右侧工作区。0三灼嫌閒.匱心旺曇食、3 Kforct Jrrpui帘 SAP lnpOl 営 XBaA农 XMI Input StrTi ；5t4X)乞 Varnl Input.文布文廿怕人41生成记录n.i盘取刪佶豆te齐临人 iA hH( /ucomj：ic DocDanioticri 6静 Jtcr d:pct 男 LD2 6itpu：6g Micnncfl Acw Output* Microccft Excel Output - | M；r rOiC-ft Ffel tAfr；t(?r

6、C- Ptntoho Reporting Output 曲Prcptrti Output 蜓 RSS Output& Sicsf&rco Delete*|obtrance汕沽 血恼3氏&100%162右键编辑功能如图点击“表输入右键,选择“编辑步骤编辑表输入属性设置的刃越第SELECT 壬 Fran rjJtJEffl（或双击）日324如果语句中有变量，就要在上图中“替换 SQL语句里的变量”打勾；变量在Parameters中设置如下图所示：点击工作区空白处，编辑“转换的属性设置，如下图:IB国册目姬吒叱卢羽CBft，齢戊all亡*3話IeOC申fift和FlIraisfc rmffiior

7、討日 前：- 益亡匸 bx| sfib*r 宝中 ztrfirnuncr- 口耳 lab e .oqgr g cHmrl Lc与 taeleid Wrirttn Lpdtlrd Jnp Ou轻 RejrteJE即口w CaA riri lUdi lil# iinr trd L&g drivHgdranwtw$日詢日肅耀对35證|性釜更辰0 |sa 1 或颅g163连接线1）按住shift功能键后左键按住要连接的起始对象指向终止对象2）在连接线上右键可以删除节点连接。如下图,按住shift功能键后左键按住“表输入”后指向“表输出表输入1。6.4执行、调试、停止如图所示:耳轄P題外囤m转换实例（T

8、ransformation ）2. 1数据转移（库-库）a.文件一新建-转换b.从左侧的核心对象中拖动你想要的步骤至右侧的空白区（此例 中只需拖入表输入与表输出即可），并用节点连接。在左侧的核心对象常用的步骤有：输入、输出、转换、连接、查询和脚本。c .双击表输入-数据库连接-新建-填写你要连接的数据库信息Test-okDatabase CprmectionAdvancedOptions FoolingTESTDBI特征列表I岗號 TestClusteringd.根据需要编写你的sql语句确定表输入皿珂网隴新1艇茯取国谨询语旬.步嗾名称数据库连接也憲倉入n lxSELECT * FROM od

9、s d&mo VHEEE rovninrownum表示输出的语句的条数，设置如下:在空白处点击右键允许延迟转抿普换SQL语旬里的变量0晶友礙拯入数据7执疔毎一孑龙录数呈限制D4确定迫)预鲨0)取消()转換属性转按Fsi-ameters .日志日期依赖杂顶监控P*rin*ter瞌P arameterHefauLt ValueDescription”1rotfmuii300确定阿取消)e.表输出设置数据库连接：同表输入，根据需要将生成的表导入到相同或不同的数据库；目标表：即生成的表的名字丟鸯出TI回区表分区数据u分区手段亍4毎个月分区數据 毎天分区数据使扌比星插入0表名定义在一于于駁里?包含表名酌

10、字段：存储表容亨段0返回一个目动产生的关键字;确定辺眼消运I氯LSepecify database files 要打勾，当要在 Database files 里要获 得字段就可以点击Get files就可以获得字段，可以根据自己的需要 是否删掉不想要的字段。En ter field mapp ing 是设置流里与生成表 里的字段的映射关系；如下图所示：邑表输出Bllx步骤名称数据库连按目标覆式目掠表41000忍略插入诸误Speci y database ieldsMin epU &ns Bit Abase fi elds12 3 4 5O12 3 4SC eta - - 14 1X- 1A -

11、 - 1Table i eldStrean i eldORDERIDOKMH_IDIMUEK IDIHMX IDTYPE IDTYPE IDTYPE NAMETYPE tiAMERULE NAMERULE NAMEEVLE IDao IDCOMM INDOOMM IMDIC.COMH IHT.oomm imc.DETAIL ffl.DETAIL WOff IDDETAIL NAMEDETAIL KAMEFIRSr_FU(；FIEST.FUGMER(?E_CO,.MERtE.COLU .A(FNT_IDAGENTlTAMEagehtZitateTirniTr-AT*&ttm-Trat- ifGe

12、t ieldsEftUr fild mappingSream field是表的输入流，也就是输入表的字段，Table field 是 输出表的字段，可以根据自己的需要，起字段名称。1字段添加完成后，要执行 Sql，在数据库空中就创建了表及表的 结构。最后，我们就可以点击运行按钮了辭 iob fj?- irarce 育 _r 套 E ! .丄00%如果执行成功，就可以到数据库查看你所生成的表了2.2值映射a.界面设计值映射b.值映射如图所示：值映射即把某一字段的源值改变成目标值 或者 将某一字 段名更改成目标字段名并给其赋值。2。3去除重复记录a.界面设计表愉入b.去除重复记录如图所示：选择某一

13、个或某些字段将字段中的重复值去掉；较的字段是多个时，他们之间是and的关系增加计数器到输出：如果你想知道多少重复行被去掉, 此选项.2。4增加常量当用来比就选择Si如图所示：给表中增加字段，并可以给其赋值.2.5字段选择i孚播若秣1TVPE.1D2TYPE MAMEift走(D)或星口!：迂捧战名苣严旦T步琢1?|WS 寒3壷斟蜓f托igfi：曲咸 超栏!S踊燮 ein*ryToNom*71 MEJDtypejd.A -吞2 TV=E.NAME”500香豌戟其1000总刃耒jfefflft HSA 4&ySk I ISpecify database fields JMain nptiicn%

14、OaitahijixrF he Ids fee- IhSiiertTable fie-ldStream fielcdtype idftyptidASet|I Er Lt-r fild nidupiii4 I如图所示：从表输入中选择字段，对字段进行处理后输出；若无移 除，则选择和修改中的字段要与元数据中的字段保持一致;输出可以进行两种选择：分发与复制。分发就是将所选字段的数据依次分配到所选的输出表中 这个步骤常常用来:1、选择字段2、重命名字段3、指定字段长度或者精度以下是三个不同标签的功能：1、选择和修改：指定输出流中字段的精确顺序和名称。2、删除：指定必须从输出流中删除的字段。3、元数据：修

15、改数据字段的名称、类型、长度和精度。选项：1、字段名称：选择或者修改的字段名称。2、改名：如果不想改名就留空白。3、长度、精度：输入数字指定长度、精度（-1 :代表没有长度、精度 指定）2 . 6拆分字段如图所示：可以把某一字段拆分成多个字段，例如：type_name二 代收话费，新装天翼手机，可以拆分成type_name_a=代收话费， type_name_b=新装天翼手机；这个例子中只有type_name1有值， type_ name 为空*拆分的字段类型必须是Stri ng。2。7排序记录如图:即根据需要将某一字段排序（升序或降序）后输出2.8行扁平化效果如图：PltldlFUld2Rl

16、*ld34C工二ABCDEDEFFnii平 It 肖以 ILT*FicldlPicld2TarffetLTaretl4BCOnerwciD-FFour卜i帥!用刚.阵皿谱薛虬把多条记录中不存在重复值的字段进行扁平化：具体设置如下2.9计算器金監占赫计肆垦ssf：cj)a?请口单击计算，会出现各种计算方法来完成你需要的计算。O, 3输出3。1文本文件输出与xml文件输出只需定义输出文件的存放位置并在字段选项中获取字段就可以了3.2插入/更新口叵区不执行任何更新- 用乘查询的養肆字:遞职宇段更新宇段#養宇段流宇段Up A荻取和更新字段ORDEK TBORDER ITYr 一IW1EX IIINDE

17、X IDYEdi t mappingTYFE IDTYFE IDYTYFEJAfflETYFE.MEXRULE.NAfflERULE.JTAMETRUL_IDRIOJDI7rnMM TMTiTrTnn mrriFJM TWUTriW tn7 v |确定）取消（）sgtg如果是只想做新插入的话，就把“不执行任何更新”打勾3。3更新错误!查询4。1数据库查询数据库查询一可用于多表连接错误!连接5. 1 Merge Joi n算一驛：義揃入第二个步蠹-LEFT OUTER|【MhJERLEFT OUTERRIGHT OUTER FULL OUTER如上图条件选项：可以根据条件来限制输出的行数与内容5

18、。3合并记录错误!脚本6。1执行SQL脚本 口果直接在脚本中创建表的结构，可以这样做创建一个job可以设置不需要定时，如下图所示在SQL脚本中写sql语句:SQL丈仲名Send SQL 苗 singLe statenent?使用变量替换卩SOL腳本:create table ods_demo_p as sel&ct * from odsd&m.o vh.er& 1=2： insert into 口d3_demo_p select * from ods_deino职消(c)口果不需要用sql语句来创建表的结构，可以这样做，创建一个转换。不需要我教你了吧，相信你能行的6。2 Modify java

19、 script value表输入和表输出不需要我在给你做了吧，你也看了这么多了自己动手做吧，下面我们来说说 Modify java script value里面的设注意：你定义新的字段，要设置字段的类型错误分组注意：分组前要把分组的那个字段进行排序这给你看到这吧，上面也给你展示过去除重复记录的例子了，剩下的自己弄吧哈哈生成记录gen erate rows主要是用于：生成一些固定字段的记录，主要用来模拟一些数据进行 测试。Generate Ro wsava Script ValueXMLJ俞出这个例子是根据路径获取文件名并将文件名输出到文本中;获取文件名是通过js脚本实现。& 下面进入我们的实战

20、升级：追加模式概念：全量追加模式（一天创建一个表，保存历史数据）增量追加模式（一共一个表，只更新每天新插入的数据）全量追加模式展示:Modified Java Scripl Valus思考：这个模式的关键是每天创建一张表，只要每天创建一个动态的表即可。I- 11 LT錚ScrirtsTC qg泊越临i/ 1 ;?rVSGript heSTr-HTTfftfTnt FlTirtLffK匕Inpct 3 ! 11-rild.L . p口0叶更u field?L h a j *| 4-.。工 iaT&s = f i - Tz-Dt * TESTDBfi P * select to chard&te

21、卡刊叭CttBUdat 曰看.Irci dgJ/JMF idbl&Haw d4kt03(i】Q.try(iTcTrDBCTESTCTB1 .dree- Mtble B+tGbleHa)j卜皿-z Ta 71( TEZTLB1 _ -EieaLte- t-ahle +tabli=W3aL-+ - as select zoi: ads_dex3* ) J7冷)*an搭扫手；书1 占0十 74LT3F T1 -14T Vife dtf EfJiW* t itbleyweSin ui2driieiJaAe in Maj saw ixio 脚本里写的就是每天创建一个表，相信你能看懂怎样来控制每天执行一次

22、呢，不可能每天手动的执行一次吧，这回就 该用到job 了。START増壘追加时间设置每天执行一次再放你需要绑定的转换；转换文件名：是放你不链资源库做的转换下面那俩个是连接资源库做的转换，要选好哦口旦凶表输出ES关于这牛韩按的丁血信息设置;Trantfrvnitiflm rc*ci Fi citicn前 谩日志肆jBT|F*rttEFmO鞋拱文件名： “JI C増量塩加令|2|/ 7允许延迟转按替换SQL语句里的喪星0从步骤插入数据廳输入7执荷毎一行，H记录数星眼制I訂金确定肋我览迥取消这个过程用？来接受传过来的参数。注意：“从步骤插入数据要选上一步骤的名称哦葫入/更新m&ifxA用来直询的关键

23、字:345e7e10表予段出较箝婕里的字段1ORDER_I1)DRMR IDtmcex rnIlTOEIt IDTYFE IDTYPE IDTfPE KAMETYPE 的HEEULE_NAMERULE JJAMERULE 卫RULE _IDC0MM_IMDICA.T0K_IDCOMM .JMBICATORn)COMM IMDICA.T0H WANE二COMM INDICATOR MADETAIL m IIDETAIL m IDDETAIL NAMEDETAIL NAME=聽取字段更新芋段:#表宇段r疣宇检1OEDER IDORDER LD2IKDEX IDINEEI LD3TYPE IDTYP

24、E IB4TYPE NAMETYPE KAJ1EERULE NAMERULE HXME!7SQLEdit mapping确定匹1注意：因为只更新新插入的数据，所以“不执行任何更新”要打勾。因为也是每天执行，所有还是创建一个job来绑定这个转换，看了这么多，不要我教你了吧，自己快动手做吧 传参数：可以用 %变量%或$ 变量这是一个简单的抽取数据表输出xx步骤名称数堀库连援TEST1B疋輕|赃 |x菽取戲谨询谱句4S9LSELECT 寸口色_且” t vpe_FROM &ds_dBito UH ERE L1 Xtype_idZ?C允许延迟转拥 替换阴L语旬里的变量0从步骤插入数据 执行毎一行？ 记

25、录数星限制在执行的时候，会出现变量，在相应的变量的后面的值上，写上sql语句,例子 and type_id=1O0辛那力武1MTJ：”I|F玷 p4Ert in:xuli#n 為口壬xxtwi: tirsF w an * irAlhAIr_*_* Kfiulilt Ak- T|a! Jut f沖虽pfeTwCl d|f2LB.tur-ijdL. Joti.fLleB.we Hw亡fart 丁砧 Fi-ld firet E 3r=ii.t Job FiLeituit3I( ef ?idl Jsfc UBH?FslL*lli. Ju MitfW!4 IL.pwsitfj-y Dir* ete_id=lnxx