ETL工具Kettle用户手册
Spoon 2.5.0用户手册
Spoon 2.5.0用户手册 ................................................................................................................... 1
1、Spoon介绍 ............................................................................................................................... 14
1、1 什么是Spoon ......................................................................................................... 14
1、2 安装 ......................................................................................................................... 14
1、3 运行Spoon ............................................................................................................. 14
1、4 资源库 ..................................................................................................................... 14
1、5 资源库自动登录 ..................................................................................................... 15
1、6 定义 ......................................................................................................................... 15
1、6、1 转换 .............................................................................................................. 15
1、6、2 任务 .............................................................................................................. 16
1、7 工具栏 ..................................................................................................................... 17
1、8 选项 ......................................................................................................................... 17
1、8、1 General标签 .................................................................................................... 18
1、8、2 Look Feel标签 ................................................................................................ 19
1、9 搜索元数据 ............................................................................................................. 19
1、10设置环境变量 .............................................................................................................. 20
2、创建一个转换或任务(Creating a Transformation or Job) ....................................................... 21
3、数据库连接(Database Connections) ........................................................................................ 21
3、1 描述 ......................................................................................................................... 21
3、2 设置窗口 ................................................................................................................. 22
3、3 选项 ......................................................................................................................... 22
3、4 数据库用法 ............................................................................................................. 22
4、SQL编辑器(SQL Editor) ......................................................................................................... 23
4、1 描述 ......................................................................................................................... 23
4、2 屏幕截图 ................................................................................................................. 23
4、3 局限性 ..................................................................................................................... 24
5、数据库浏览器(Database Explorer) .......................................................................................... 24
5、1 屏幕截图 ................................................................................................................. 24
5、2 描述 ......................................................................................................................... 24
6、节点连接(Hops) .................................................................................................................. 25
6、1 描述 ......................................................................................................................... 25
6、1、1 转换连接 ...................................................................................................... 25
6、1、2 任务连接 ...................................................................................................... 25
6、2 屏幕截图 ................................................................................................................. 25
6、3 创建一个连接 ......................................................................................................... 26
ETL工具Kettle用户手册
6、4 拆分一个连接 ......................................................................................................... 26
6、5 转换连接颜色 ......................................................................................................... 26
7、变量(Variables) .................................................................................................................... 27
7、1 变量使用 ................................................................................................................. 27
7、2 变量范围 ................................................................................................................. 27
7、2、1 环境变量 ..................................................................................................... 27
7、2、2 Kettle变量 .................................................................................................. 27
7、2、3 内部变量 ..................................................................................................... 27
8、转换设置(Transformation Settings) .................................................................................... 28
8、1 描述 ......................................................................................................................... 28
8、2 屏幕截图 ................................................................................................................. 29
8、3 选项 ......................................................................................................................... 32
8、4 其它 ......................................................................................................................... 33
9、转换步骤(Transformation steps) ......................................................................................... 33
9、1 描述 ......................................................................................................................... 33
9、2 运行步骤的多个副本 ............................................................................................. 33
9、3 分发或者复制 ......................................................................................................... 35
9、4 常用错误处理 ......................................................................................................... 35
9、5 Apache虚拟文件系统(VFS)支持 .................................................................... 37
9、6 转换步骤类型 ......................................................................................................... 39
9、6、1 文本文件输入(Text Input) ..................................................................... 39
9、6、1、1 屏幕截图 ............................................................................................. 39
9、6、1、2 图标 ....................................................................................................... 41
9、6、1、3 常用描述 ............................................................................................... 42
9、6、1、4 选项 ....................................................................................................... 42
9、6、1、5 格式化 ................................................................................................... 47
9、6、1、6 其它 ....................................................................................................... 48
9、6、2 表输入(Table Input) ................................................................................ 49
9、6、2、1 屏幕截图 ............................................................................................. 49
9、6、2、2 图标 ....................................................................................................... 49
9、6、2、3 常用描述 ............................................................................................... 49
9、6、2、4 选项 ....................................................................................................... 50
9、6、2、5 示例 ....................................................................................................... 50
9、6、2、6 其它 ....................................................................................................... 51
9、6、3 获取系统信息(Get System Info) ............................................................ 51
9、6、3、1 屏幕截图 ............................................................................................. 51
9、6、3、2 图标 ....................................................................................................... 52
9、6、3、3 常用描述 ............................................................................................... 52
9、6、3、4 选项 ....................................................................................................... 53
9、6、3、5 用法 ....................................................................................................... 53
9、6、4 生成行(Generate Rows) ......................................................................... 54
9、6、4、1 屏幕截图 ............................................................................................. 54
9、6、4、2 图标 ....................................................................................................... 54
9、6、4、3 常用描述 ............................................................................................... 55
ETL工具Kettle用户手册
9、6、5 文件反序列化(De-serialize from file)(原来名称为Cube Input) ....... 55
9、6、5、1 屏幕截图 ............................................................................................. 55
9、6、5、2 图标 ....................................................................................................... 55
9、6、5、3 常用描述 ............................................................................................... 55
9、6、6 XBase输入(XBase input) ....................................................................... 56
9、6、6、1 屏幕截图 ............................................................................................. 56
9、6、6、2 图标 ....................................................................................................... 56
9、6、6、3 常用描述 ............................................................................................... 56
9、6、6、4 选项 ....................................................................................................... 56
9、6、7 Excel输入(Excel Input) .......................................................................... 57
9、6、7、1 屏幕截图 ............................................................................................. 57
9、6、7、2 图标 ....................................................................................................... 59
9、6、7、3 常用描述 ............................................................................................... 59
9、6、7、4 选项 ....................................................................................................... 59
9、6、8 XML输入(XML input) ................................................................................ 60
9、6、8、1 屏幕截图 ............................................................................................. 60
9、6、8、2 图标 ....................................................................................................... 61
9、6、8、3 常用描述 ............................................................................................... 61
9、6、8、4 选项 ....................................................................................................... 62
9、6、9 获取文件名(Get File Names) ...................................................................... 63
9、6、9、1 屏幕截图 ............................................................................................. 63
9、6、9、2 图标 ....................................................................................................... 63
9、6、9、3 常用描述 ............................................................................................... 63
9、6、10 文本文件输出(Text File Output) ............................................................... 64
9、6、10、1 屏幕截图 ........................................................................................... 64
9、6、10、2 图标 ..................................................................................................... 65
9、6、10、3 常用描述 ............................................................................................. 65
9、6、11 表输出(Table output) ................................................................................. 67
9、6、11、1 屏幕截图 ........................................................................................... 67
9、6、11、2 图标 ..................................................................................................... 67
9、6、11、3 常用描述 ............................................................................................. 67
9、6、11、4 选项 ..................................................................................................... 68
9、6、11、5 其它 ..................................................................................................... 68
9、6、12 插入/更新(Insert/Update) .......................................................................... 69
9、6、12、1 屏幕截图 ........................................................................................... 69
9、6、12、2 图标 ..................................................................................................... 69
9、6、12、3 常用描述 ............................................................................................. 69
9、6、12、4 选项 ..................................................................................................... 70
9、6、12、5 其它 ................................................................................................... 70
9、6、13 更新(Update) ........................................................................................ 71
9、6、13、1 屏幕截图 ........................................................................................... 71
9、6、13、2 图标 ..................................................................................................... 71
9、6、13、3 常用描述 ............................................................................................. 71
ETL工具Kettle用户手册
9、6、14、1 屏幕截图 ........................................................................................... 72
9、6、14、2 图标 ..................................................................................................... 72
9、6、14、3 常用描述 ............................................................................................. 72
9、6、15 序列化到文件(Serialize to file)(以前是Cube Output) ............................. 73
9、6、15、1 屏幕截图 ........................................................................................... 73
9、6、15、2 图标 ..................................................................................................... 73
9、6、15、3 常用描述 ............................................................................................. 73
9、6、16 XML输出(XML output) ....................................................................... 74
9、6、16、1 屏幕截图 ........................................................................................... 74
9、6、16、2 图标 ..................................................................................................... 75
9、6、16、3 常用描述 ............................................................................................. 75
9、6、16、4 选项 ..................................................................................................... 75
9、6、17 Excel输出(Excel Output) ........................................................................... 76
9、6、17、1 屏幕截图 ........................................................................................... 76
9、6、17、2 图标 ..................................................................................................... 78
9、6、17、3 常用描述 ............................................................................................. 78
9、6、17、4 选项 ...................................................................................................... 78
9、6、18 Access输出(Microsoft Access Output) ................................................. 79
9、6、18、1 屏幕截图 ........................................................................................... 79
9、6、18、2 图标 ..................................................................................................... 79
9、6、18、3 常用描述 ............................................................................................. 79
9、6、18、4 选项 ..................................................................................................... 79
9、6、19 数据库查询(Database lookup) .................................................................. 80
9、6、19、1 屏幕截图 ........................................................................................... 80
9、6、19、2 图标 ..................................................................................................... 80
9、6、19、3 常用描述 ............................................................................................. 80
9、6、19、4 选项 ..................................................................................................... 81
9、6、20 流查询(Stream lookup) ........................................................................ 81
9、6、20、1 屏幕截图 ........................................................................................... 81
9、6、20、2 图标 ..................................................................................................... 81
9、6、20、3 常用描述 ............................................................................................. 82
9、6、20、4 选项 ..................................................................................................... 82
9、6、20、5 其它 ................................................................................................... 82
9、6、21 调用数据库存储过程(Call DB Procedure) ............................................... 83
9、6、21、1 屏幕截图 ........................................................................................... 83
9、6、21、2 图标 ..................................................................................................... 83
9、6、21、3 常用描述 ............................................................................................. 83
9、6、21、4 选项 ..................................................................................................... 83
9、6、21、5 其它 ..................................................................................................... 84
9、6、22 HTTP客户端(HTTP Cient) ........................................................................ 84
9、6、22、1 屏幕截图 ........................................................................................... 84
9、6、22、2 图标 ..................................................................................................... 84
9、6、22、3 常用描述 ............................................................................................. 84
ETL工具Kettle用户手册
9、6、23 字段选择 (Select values) .......................................................................... 85
9、6、23、1 屏幕截图 ........................................................................................... 85
9、6、23、2 图标 ..................................................................................................... 87
9、6、23、3 常用描述 ............................................................................................. 87
9、6、23、4 选项 ..................................................................................................... 87
9、6、24 过滤行(Filter rows) .................................................................................... 88
9、6、24、1 屏幕截图 ........................................................................................... 88
9、6、24、2 图标 ..................................................................................................... 88
9、6、24、3 常用描述 ............................................................................................. 88
9、6、24、4 选项 ..................................................................................................... 88
9、6、25 行排序(Sort rows) ................................................................................ 89
9、6、25、1 屏幕截图 ........................................................................................... 89
9、6、25、2 图标 ..................................................................................................... 89
9、6、25、3 常用描述 ............................................................................................. 89
9、6、25、4 选项 ..................................................................................................... 89
9、6、25、5 其它 ..................................................................................................... 90
9、6、26 添加序列(Add sequence) ........................................................................... 90
9、6、26、1 屏幕截图 ........................................................................................... 90
9、6、26、2 图标 ..................................................................................................... 90
9、6、26、3 常用描述 ............................................................................................. 90
9、6、26、4 选项 ..................................................................................................... 91
9、6、27 空操作-什么都不做(Dummy-do nothing) ................................................ 91
9、6、27、1 屏幕截图 ........................................................................................... 91
9、6、27、2 图标 ..................................................................................................... 91
9、6、27、3 常用描述 ............................................................................................. 91
9、6、27、4 选项 ..................................................................................................... 92
9、6、28 行转列(Row Normaliser) ........................................................................... 93
9、6、28、1 屏幕截图 ........................................................................................... 93
9、6、28、2 图标 ..................................................................................................... 93
9、6、28、3 常用描述 ............................................................................................. 93
9、6、28、4 选项 ..................................................................................................... 94
9、6、28、5 其它 ..................................................................................................... 94
9、6、29 拆分字段(Split Fields).......................................................................... 95
9、6、29、1 屏幕截图 ........................................................................................... 95
9、6、29、2 图标 ..................................................................................................... 95
9、6、29、3 常用描述 ............................................................................................. 95
9、6、29、4 选项 ..................................................................................................... 95
9、6、30 去除重复记录(Unique rows) ..................................................................... 96
9、6、30、1 屏幕截图 ........................................................................................... 96
9、6、30、2 图标 ..................................................................................................... 96
9、6、30、3 常用描述 ............................................................................................. 97
9、6、30、4 选项 ..................................................................................................... 97
9、6、30、5 其它 ..................................................................................................... 97
ETL工具Kettle用户手册
9、6、31、1 屏幕截图 ........................................................................................... 98
9、6、31、2 图标 ..................................................................................................... 98
9、6、31、3 常用描述 ............................................................................................. 98
9、6、31、4 选项 ..................................................................................................... 99
9、6、32 设置为空值(Null if) ................................................................................... 99
9、6、32、1 屏幕截图 ........................................................................................... 99
9、6、32、2 图标 ..................................................................................................... 99
9、6、32、3 常用描述 ........................................................................................... 100
9、6、33 计算器(Calculator) ............................................................................. 100
9、6、33、1 屏幕截图 ......................................................................................... 100
9、6、33、2 图标 ................................................................................................... 100
9、6、33、3 常用描述 ........................................................................................... 101
9、6、33、4 功能列表 ........................................................................................... 101
9、6、34 增加XML(XML Add) ............................................................................. 102
9、6、34、1 屏幕截图 ......................................................................................... 102
9、6、34、2 图标 ................................................................................................... 102
9、6、34、3 常用描述 ........................................................................................... 102
9、6、34、4 选项 ................................................................................................... 103
9、6、35 增加常量(Add constants) ................................................................ 103
9、6、35、1 屏幕截图 ......................................................................................... 103
9、6、35、2 图标 ................................................................................................... 103
9、6、35、3 常用描述和使用 ............................................................................... 104
9、6、36 行转列(Row Denormaliser) .............................................................. 104
9、6、36、1 屏幕截图 ......................................................................................... 104
9、6、36、2 图标 ................................................................................................... 104
9、6、36、3 常用描述 ........................................................................................... 105
9、6、36、4 选项 ................................................................................................... 105
9、6、37 行扁平化(Flattener) ........................................................................ 105
9、6、37、1 屏幕截图 ......................................................................................... 105
9、6、37、2 图标 ................................................................................................... 105
9、6、37、3 常用描述 ........................................................................................... 105
9、6、37、4 选项 ................................................................................................... 106
9、6、37、5 示例 ................................................................................................... 106
9、6、38 值映射(Value Mapper) ...................................................................... 107
9、6、38、1 屏幕截图 ......................................................................................... 107
9、6、38、2 图标 ................................................................................................... 107
9、6、38、3 常用描述 ........................................................................................... 107
9、6、39 被冻结的步骤(Blocking step) ........................................................ 108
9、6、39、1 屏幕截图 ......................................................................................... 108
9、6、39、2 图标 ................................................................................................... 108
9、6、39、3 常用描述 ........................................................................................... 108
9、6、40 记录关联(笛卡尔输出)(Join Rows-Cartesian Product) .......... 109
9、6、40、1 屏幕截图 ......................................................................................... 109
ETL工具Kettle用户手册
9、6、40、3 常用描述 ........................................................................................... 109
9、6、40、4 选项 ................................................................................................... 110
9、6、41 数据库连接(Database Join) ............................................................ 110
9、6、41、1 屏幕截图 ......................................................................................... 110
9、6、41、2 图标 ................................................................................................... 111
9、6、41、3 常用描述 ........................................................................................... 111
9、6、41、4 选项 ................................................................................................... 111
9、6、42 合并记录(Merge rows) ...................................................................... 112
9、6、42、1 屏幕截图 ......................................................................................... 112
9、6、42、2 图标 ................................................................................................... 112
9、6、42、3 常用描述 ........................................................................................... 112
9、6、43 存储合并(Stored Merge) .................................................................... 113
9、6、43、1 屏幕截图 ......................................................................................... 113
9、6、43、2 图标 ................................................................................................... 113
9、6、43、3 常用描述 ........................................................................................... 113
9、6、44 合并连接(Merge Join) ............................................................................. 114
9、6、44、1 屏幕截图 ......................................................................................... 114
9、6、44、2 图标 ................................................................................................... 114
9、6、44、3 常用描述和使用 ............................................................................... 114
9、6、44、4 选项 ................................................................................................... 114
9、6、45 Java Script值(Java Script Value) ......................................................... 115
9、6、45、1 屏幕截图 ......................................................................................... 115
9、6、45、2 图标 ................................................................................................... 115
9、6、45、3 常用描述 ........................................................................................... 115
9、6、45、4 选项 ................................................................................................... 115
9、6、45、5 其它 ................................................................................................... 116
9、6、45、6 值函数 ............................................................................................... 116
9、6、45、7 JavaScript示例 .................................................................................. 120
9、6、45、7、1 回忆先前的行 .............................................................................. 120
9、6、45、7、2 设置地址名称到大写 .................................................................. 120
9、6、45、7、3 从日期字段提取信息 .................................................................. 120
9、6、46 改进的Java Script值(Modified Java Script Value) .............. 121
9、6、46、1 屏幕截图 ......................................................................................... 121
9、6、46、2 图标 ................................................................................................... 121
9、6、46、3 常用描述 ........................................................................................... 121
9、6、46、4 Java Script函数 ................................................................................ 121
9、6、46、5 Java Script ......................................................................................... 122
9、6、46、6 字段 ................................................................................................... 122
9、6、46、7 其它 ................................................................................................... 122
9、6、47 执行SQL语句(Execute SQL script) .............................................. 123
9、6、47、1 屏幕截图 ......................................................................................... 123
9、6、47、2 图标 ................................................................................................... 123
9、6、47、3 常用描述 ........................................................................................... 123
ETL工具Kettle用户手册
9、6、48 维度更新/查询(Dimension lookup/update) ....................................... 126
9、6、48、1 屏幕截图 ......................................................................................... 126
9、6、48、2 图标 ................................................................................................... 126
9、6、49 联合更新/查询(Combination lookup/update) .................................... 127
9、6、49、1 屏幕截图 ......................................................................................... 127
9、6、49、2 图标 ................................................................................................... 127
9、6、49、3 常用描述 ........................................................................................... 127
9、6、50 映射(Mapping) ................................................................................... 128
9、6、50、1 屏幕截图 ......................................................................................... 128
9、6、50、2 图标 ................................................................................................... 128
9、6、50、3 常用描述和使用 ............................................................................... 128
9、6、51 从结果获取记录(Get rows from result) ............................................. 129
9、6、51、1 屏幕截图 ......................................................................................... 129
9、6、51、2 图标 ................................................................................................... 129
9、6、51、3 常用描述 ........................................................................................... 129
9、6、52 复制记录到结果(Copy rows to result) ............................................... 129
9、6、52、1 屏幕截图 ......................................................................................... 129
9、6、52、2 图标 ................................................................................................... 130
9、6、52、3 常用描述 ........................................................................................... 130
9、6、53 设置变量(Set Variable) ...................................................................... 130
9、6、53、1 屏幕截图 ......................................................................................... 130
9、6、53、2 图标 ................................................................................................... 130
9、6、53、3 常用描述 ........................................................................................... 131
9、6、53、4 变量使用 ........................................................................................... 131
9、6、54 获取变量(Get Variable) ...................................................................... 131
9、6、54、1 屏幕截图 ......................................................................................... 131
9、6、54、2 图标 ................................................................................................... 132
9、6、54、3 常用描述 ........................................................................................... 132
9、6、55 从以前的结果获取文件(Get files from result) .................................. 132
9、6、55、1 屏幕截图 ......................................................................................... 132
9、6、55、2 图标 ................................................................................................... 132
9、6、55、3 常用描述 ........................................................................................... 132
9、6、56 复制文件名到结果(Set files in result) ............................................... 133
9、6、56、1 屏幕截图 ......................................................................................... 133
9、6、56、2 图标 ................................................................................................... 133
9、6、56、3 常用描述 ........................................................................................... 133
9、6、57 记录注射器(Injector) ......................................................................... 134
9、6、57、1 屏幕截图 ......................................................................................... 134
9、6、57、2 图标 ................................................................................................... 134
9、6、57、3 常用描述 ........................................................................................... 134
9、6、58 套接字读入器(Socket Reader) ........................................................... 135
9、6、58、1 屏幕截图 ......................................................................................... 135
9、6、58、2 图标 ................................................................................................... 135
9、6、58、3 常用描述和使用 ............................................................................... 135
ETL工具Kettle用户手册
9、6、59 套接字输写器(Socket Writer) ............................................................ 135
9、6、59、1 屏幕截图 ......................................................................................... 135
9、6、59、2 图标 ................................................................................................... 136
9、6、59、3 常用描述和使用 ............................................................................... 136
9、6、60 聚合行(Aggregate Rows) .................................................................. 136
9、6、60、1 屏幕截图 ......................................................................................... 136
9、6、60、2 图标 ................................................................................................... 136
9、6、60、3 常用描述 ........................................................................................... 136
9、6、60、4 选项 ................................................................................................... 137
9、6、61 流XML输入(Streaming XML Input) .............................................. 137
9、6、61、1 屏幕截图 ......................................................................................... 137
9、6、61、2 图标 ................................................................................................... 138
9、6、61、3 常用描述 ........................................................................................... 139
9、6、61、4 选项 ................................................................................................... 139
9、6、61、5 完整的示例 ....................................................................................... 140
9、6、62 中止(Abort) ........................................................................................ 142
9、6、62、1 屏幕截图 ......................................................................................... 142
9、6、62、2 图标 ................................................................................................... 142
9、6、62、3 常用描述 ........................................................................................... 143
9、6、62、4 选项 ................................................................................................... 143
9、6、63 Oracle批量装载(Oracle bulk loader) .......................................... 144
9、6、63、1 屏幕截图 ......................................................................................... 144
9、6、63、2 图标 ................................................................................................... 144
9、6、63、3 常用描述 ........................................................................................... 145
9、6、63、4 选项 ................................................................................................... 145
10、任务设置(Job Settings) ................................................................................................... 145
10、1 描述 ....................................................................................................................... 145 10、2 屏幕截图 ............................................................................................................... 146 10、3 选项 ....................................................................................................................... 146 10、4 其它 ....................................................................................................................... 146
11、任务条目(Job Entries) ..................................................................................................... 147
11、1 描述 ....................................................................................................................... 147 11、2 任务条目类型 ....................................................................................................... 147
11、2、1特殊的任务条目 .......................................................................................... 147
11、2、1、1 屏幕截图 ............................................................................................ 147
11、2、1、2 图标 .................................................................................................... 147
11、2、1、3 常用描述 ............................................................................................ 148
11、2、1、3、1 启动 ............................................................................................. 148
11、2、1、3、2 Dummy ........................................................................................ 148
11、2、1、3、3 OK ............................................................................................... 148
11、2、1、3、4 ERROR ........................................................................................ 148
11、2、2 转换 .......................................................................................................... 149
11、2、2、1 屏幕截图 ............................................................................................ 149
11、2、2、2 图标 .................................................................................................... 149
ETL工具Kettle用户手册
11、2、2、4 选项 .................................................................................................... 149
11、2、3 任务 ......................................................................................................... 151
11、2、3、1 屏幕截图 ............................................................................................ 151
11、2、3、2 图标 .................................................................................................... 151
11、2、3、3 常用描述 ............................................................................................ 151
11、2、3、4 选项 .................................................................................................... 151
11、2、4 Shell ......................................................................................................... 152
11、2、4、1 屏幕截图 ............................................................................................ 152
11、2、4、2 图标 .................................................................................................... 153
11、2、4、3 常用描述 ............................................................................................ 153
11、2、4、4 选项 .................................................................................................... 153
11、2、5 Mail ......................................................................................................... 154
11、2、5、1 屏幕截图 ............................................................................................ 154
11、2、5、2 图标 .................................................................................................... 154
11、2、5、3 常用描述 ............................................................................................ 155
11、2、5、4 选项 .................................................................................................... 155
11、2、6 SQL ......................................................................................................... 156
11、2、6、1 屏幕截图 ............................................................................................ 156
11、2、6、2 图标 .................................................................................................... 156
11、2、6、3 常用描述 ............................................................................................ 156
11、2、6、4 选项 .................................................................................................... 156
11、2、7 FTP .......................................................................................................... 157
11、2、7、1 屏幕截图 ............................................................................................ 157
11、2、7、2 图标 .................................................................................................... 157
11、2、7、3 常用描述 ............................................................................................ 157
11、2、7、4 选项 .................................................................................................... 157
11、2、8 Table Exists ............................................................................................. 158
11、2、8、1 屏幕截图 ............................................................................................ 158
11、2、8、2 图标 .................................................................................................... 159
11、2、8、3 常用描述 ............................................................................................ 159
11、2、8、4 选项 .................................................................................................... 159
11、2、9 File Exists ................................................................................................ 159
11、2、9、1 屏幕截图 ............................................................................................ 159
11、2、9、2 图标 .................................................................................................... 159
11、2、9、3 常用描述 ............................................................................................ 159
11、2、9、4 选项 .................................................................................................... 160
11、2、10 Evaluation(javascript) ........................................................................... 160
11、2、10、1 屏幕截图 .......................................................................................... 160
11、2、10、2 图标 .................................................................................................. 160
11、2、10、3 常用描述 .......................................................................................... 160
11、2、10、4 选项 .................................................................................................. 161
11、2、11 SFTP ...................................................................................................... 161
11、2、11、1 屏幕截图 .......................................................................................... 161
ETL工具Kettle用户手册
11、2、11、3 常用描述 .......................................................................................... 162
11、2、11、4 选项 .................................................................................................. 162
11、2、12 HTTP ..................................................................................................... 163
11、2、12、1 屏幕截图 .......................................................................................... 163
11、2、12、2 图标 .................................................................................................. 163
11、2、12、3 常用描述 .......................................................................................... 163
11、2、12、4 选项 .................................................................................................. 163
11、2、13 Create a file ........................................................................................... 164
11、2、13、1 屏幕截图 .......................................................................................... 164
11、2、13、2 图标 .................................................................................................. 165
11、2、13、3 常用描述 .......................................................................................... 165
11、2、13、4 选项 .................................................................................................. 165
11、2、13、5 其它 .................................................................................................. 165
11、2、14 Delete a file ........................................................................................... 165
11、2、14、1 屏幕截图 .......................................................................................... 165
11、2、14、2 图标 .................................................................................................. 165
11、2、14、3 常用描述 .......................................................................................... 166
11、2、14、4 选项 .................................................................................................. 166
11、2、14、5 其它 .................................................................................................. 166
11、2、15 Wait a file .............................................................................................. 166
11、2、15、1 屏幕截图 .......................................................................................... 166
11、2、15、2 图标 .................................................................................................. 166
11、2、15、3 常用描述 .......................................................................................... 167
11、2、15、4 选项 .................................................................................................. 167
11、2、15、5 其它 .................................................................................................. 167
11、2、16 File compare .......................................................................................... 167
11、2、16、1 屏幕截图 .......................................................................................... 167
11、2、16、2 图标 .................................................................................................. 168
11、2、16、3 常用描述 .......................................................................................... 168
11、2、16、4 选项 .................................................................................................. 168
11、2、16、5 其它 .................................................................................................. 168
11、2、17 Put files with secureFTP ........................................................................ 169
11、2、17、1 屏幕截图 .......................................................................................... 169
11、2、17、2 图标 .................................................................................................. 169
11、2、17、3 常用描述 .......................................................................................... 169
11、2、17、4 选项 .................................................................................................. 169
11、2、18 Ping a host ............................................................................................. 170
11、2、18、1 屏幕截图 .......................................................................................... 170
11、2、18、2 图标 .................................................................................................. 170
11、2、18、3 常用描述 .......................................................................................... 170
11、2、18、4 选项 .................................................................................................. 170
11、2、19 Wait for .................................................................................................. 171
11、2、19、1 屏幕截图 .......................................................................................... 171
ETL工具Kettle用户手册
11、2、19、3 常用描述 .......................................................................................... 171
11、2、19、4 选项 .................................................................................................. 171
11、2、20 Display Msgbox info ............................................................................. 172
11、2、20、1 屏幕截图 .......................................................................................... 172
11、2、20、2 图标 .................................................................................................. 172
11、2、20、3 常用描述 .......................................................................................... 172
11、2、20、4 选项 .................................................................................................. 172
11、2、21 Abort job ............................................................................................... 173
11、2、21、1 屏幕截图 .......................................................................................... 173
11、2、21、2 图标 .................................................................................................. 173
11、2、21、3 常用描述 .......................................................................................... 173
11、2、21、4 选项 .................................................................................................. 173
11、2、22 XSL transformation ............................................................................... 174
11、2、22、1 屏幕截图 .......................................................................................... 174
11、2、22、2 图标 .................................................................................................. 174
11、2、22、3 常用描述 .......................................................................................... 174
11、2、22、4 选项 .................................................................................................. 174
11、2、23 Zip files ................................................................................................. 175
11、2、23、1 屏幕截图 .......................................................................................... 175
11、2、23、2 图标 .................................................................................................. 175
11、2、23、3 常用描述 .......................................................................................... 175
11、2、23、4 选项 .................................................................................................. 175
12、图形界面(Graphical View) .............................................................................................. 176
12、1 描述 ....................................................................................................................... 176 12、2 添加步骤或者任务条目 ....................................................................................... 176
12、2、1 拖放创建步骤 .......................................................................................... 176
12、2、2 从步骤类型树创建步骤 .......................................................................... 177
12、2、3 在你想要的位置创建步骤 ...................................................................... 177
12、3 隐藏步骤 ............................................................................................................... 177 12、4 转换步骤选项(右键上下文菜单) ................................................................... 177
12、4、1 编辑步骤 .................................................................................................. 177
12、4、2 编辑步骤描述 .......................................................................................... 177
12、4、3 数据迁移 .................................................................................................. 177
12、4、4 复制 .......................................................................................................... 177
12、4、5 复制步骤 .................................................................................................. 178
12、4、6 删除步骤 .................................................................................................. 178
12、4、7 显示输入字段 .......................................................................................... 178
12、4、8 显示输出字段 .......................................................................................... 178
12、5 任务条目选项(右键上下文菜单) ................................................................... 178
12、5、1 打开转换/任务 ......................................................................................... 178
12、5、2 编辑任务入口 .......................................................................................... 178
12、5、3 编辑任务入口描述 .................................................................................. 178
12、5、4 复制任务入口 .......................................................................................... 178
ETL工具Kettle用户手册
12、5、5 复制选择的任务入口到剪贴板 .............................................................. 178
12、5、6 排列/分布 ................................................................................................. 179
12、5、7 拆开节点 .................................................................................................. 179
12、5、8 删除所有任务入口的副本 ...................................................................... 179
12、6 添加节点连接 ....................................................................................................... 179 12、7 运行转换 ............................................................................................................... 179 12、8 屏幕截图 ............................................................................................................... 179 12、9 执行选项 ............................................................................................................... 180
12、9、1 在哪里执行 .............................................................................................. 180
12、9、2 预览 .......................................................................................................... 180
12、9、3 使用安全模式 .......................................................................................... 180
12、9、4 日志级别 .................................................................................................. 180
12、9、5 重放日期 .................................................................................................. 180
12、9、6 参数 .......................................................................................................... 180
12、9、7 变量 .......................................................................................................... 180
12、10 设置远程或者从属服务器 ............................................................................... 181
12、10、1 概述 ........................................................................................................ 181
12、10、2 屏幕截图 ................................................................................................ 181
13、日志(Logging) ................................................................................................................. 181
13、1 日志描述 ............................................................................................................... 181 13、2 屏幕截图 ............................................................................................................... 182 13、3 日志网格 ............................................................................................................... 182
13、3、1 转换日志网格 .......................................................................................... 182
13、3、2 任务日志网格 .......................................................................................... 183
13、4 按钮 ....................................................................................................................... 183
13、4、1 转换按钮 .................................................................................................. 183
13、4、1、1 开始转换 ............................................................................................ 183
13、4、1、2 预览 .................................................................................................... 183
13、4、1、3 显示错误行 ........................................................................................ 183
13、4、1、4 清除日志 ............................................................................................ 184
13、4、1、5 日志设置 ............................................................................................ 184
13、4、1、6 仅仅显示活动的步骤 ....................................................................... 184
13、4、2 任务按钮 .................................................................................................. 184
13、4、2、1 启动任务 ............................................................................................ 184
13、4、2、2 停止任务 ............................................................................................ 185
13、4、2、3 刷新日志 ............................................................................................ 185
13、4、2、4 清除日志 ............................................................................................ 185
13、4、2、5 日志设置 ............................................................................................ 185
13、4、2、6 自动刷新 ............................................................................................ 186
14、网格(Grids) ...................................................................................................................... 186
14、1 描述 ....................................................................................................................... 186 14、2 功能 ....................................................................................................................... 186 14、3 导航 ....................................................................................................................... 186
15、资源库浏览器(Repository Explorer) .............................................................................. 187
ETL工具Kettle用户手册
15、1 描述 ....................................................................................................................... 187 15、2 屏幕截图 ............................................................................................................... 187 15、3 右键单击功能 ....................................................................................................... 187 15、4 备份/资源库 .......................................................................................................... 188
16、共享对象(Share objects) ................................................................................................. 188
1、Spoon介绍
1、1 什么是Spoon
Kettle是”Kettle E.T.T.L. Envirnonment”只取首字母的缩写。这意味着它被
设计用来帮助你实现你的ETTL需要:抽取、转换、装入和加载数据。
Spoon是一个图形用户界面,它允许你运行转换或者任务,其中转换是用Pan工具
来运行,任务是用Kitchen来运行。Pan是一个数据转换引擎,它可以执行很多功能,例如:从不同的数据源读取、操作和写入数据。Kitchen是一个可以运行利用XML或数据资源库描述的任务。通常任务是在规定的时间间隔内用批处理的模式自动运行。 1、2 安装
要运行此工具你必须安装Sun公司的JAVA运行环境1.4或者更高版本,相关资源
你可以从http://上下载。
1、3 运行Spoon
下面是在不同的平台上运行Spoon所支持的脚本:
Spoon.bat: 在windows平台运行Spoon。
Spoon.sh: 在Linux、Apple OSX、Solaris平台运行Spoon。
1、4 资源库
一个Kettle资源库可以包含那些转换信息,这意味着为了从数据库资源中加载一
个转换,你必须连接相应的资源库。
要实现这些,你需要在资源库中定义一个数据库连接,你可以在Spoon启动的时候,利用资源库对话框来定义。
ETL工具Kettle用户手册
资源库登陆屏幕截图
关于资源库的信息存储在文件 “reposityries.xml”中,它位于你的缺省home目录
的隐藏目录“.kettle”中。如果是windows系统,这个路径就是c:\Documents and Settings\<username>\.kettle。
如果你不想每次在Spoon启动的时候都显示这个对话框,你可以在“编辑/选项”
菜单下面禁用它。
***:admin用户的缺省密码也是admin。如果你创建了资源库,你可以在“资源库
/编辑用户”菜单下面修改缺省密码。
1、5 资源库自动登录
你可以设置以下的环境变量,来让Spoon自动登录资源库。
环境变量:KETTLE_REPOSITORY,KETTLE_USER,KETTLE_PASSWORD。
1、6 定义
1、6、1 转换
Value:Values是行的一部分,并且是包含以下类型的的数据:Strings、floating point Numbers、unlimited precision BigNumbers、Integers、Dates、或者Boolean。
Row:一行包含0个或者多个Values。
ETL工具Kettle用户手册
Output Stream:一个Output Stream是离开一个步骤时的行的堆栈。
Input Stream:一个Input Stream是进入一个步骤时的行的堆栈。
Hop:一个Hop代表两个步骤之间的一个或者多个数据流。一个Hop总是代表着一个步骤的输出流和一个步骤的输入流。
Note:一个Note是一个转换附加的文本注释信息。
1、6、2 任务
Job Entry:一个Job Entry是一个任务的一部分,它执行某些内容。
Hop:一个Hop代表两个步骤之间的一个或者多个数据流。一个Hop总是代表着两个Job Entry之间的连接,并且能够被原始的Job Entry设置,无条件的执行下一个Job Entry,直到执行成功或者失败。
Note:一个Note是一个任务附加的文本注释信息。