ETL开发指南(DataStage EE)V2.0

DataStage EE开发指南

在Constraint及Derivation中可以使用Job parameters及Stage Variables。 注意：

Transformer Stage功能强大，但在运行过程中是以牺牲速度为代价的。在只有简单的变换，拷贝等操作时，最好用Modify Stage，Copy Stage，Filter Stage等来替换Transformer Stage。

示例Derivation转换表达式:

if (isnull(LK_to_transform.CI_CUST_NO)) then 1 else if (IsNull(LK_to_transform.CI_CRLMT_NO)) then 2 else 0

3.1.8 Sort Stage

功能说明：

只能有一个输入及一个输出，按照指定的Key值进行排列。可以选择升序还是降序，是否去除重复的数据等等。

Option具体说明

Allow Duplicates：是否去除重复数据。为False时，只选取一条数据，当Stable Sort为True时，选取第一条数据。当Sort Unility为UNIX时此选项无效。

DataStage EE开发指南

Sort Utility：选择排序时执行应用程序，可以选择DataStage内建的命令或者Unix的Sort命令。

Output Statistics：是否输出排序统计信息到job日志。 Stable Sort：是否对数据进行二次整理。

Create Cluster Key Change Column：是否为每条记录创建一个新的字段：clusterKeyChange。当Sort Key Mode为Don’t Sort(Previously Sorted) 或 Don’t Sort (Previously Grouped)时，对于第一条记录该字段被设置为1，其余的记录设置为0。

Create Key Change Column：是否为每一条记录创建一个新的字段KeyChange。

3.1.9 LookUp Stage

功能说明：

LookUp Stage把数据读入内存执行查询操作，将匹配的字段输出，或者在在符合条件的记录中修改或加入新的字段。

DataStage EE开发指南

参数说明:

? Condition中可以通过BASIC表达式指定在reference link上做Lookup的前提条

件.

? Condition Not Met指定前提条件不满足时的处理方式.

? Fail 中止JOB,报Fatal Error错误.

? Drop 抛弃此条数据,继续执行下一个lookup. ? Continue 查找不到的数据赋空值,继续处理下一行. ? Reject 输出至Reject link.

? Lookup Failure指定Lookup操作失败时的处理方式.

? Fail 中止JOB,报Fatal Error错误.

? Drop 抛弃此条数据,继续执行下一个lookup. ? Continue 查找不到的数据赋空值,继续处理下一行. ? Reject 输出至Reject link.

3.1.10 Join Stage

功能说明：

将多个表连接后输出

DataStage EE开发指南

3.1.11 LookUp Stage 和 Join Stage的区别

LookUp Stage将数据读入到内存中，所以效率很高，但是占用了较多的物理