datastagedads

工作总结 2007 [PRINTDB_JQS] Driver=/SGMEDWETL/dshome/Ascential/DataStage/branded_odbc/lib/VMmsss.so Description=DataDirect SQL Server Wire Protocol Database=SGMPRINT LogonID=sgmprint Password=sgmprint Address=210.75.67.1,1022 IANAAppCodePage=113 QuotedId=No AnsiNPW=No

[SAPSTAGING] QEWSD=39400

Driver=/SGMEDWETL/dshome/Ascential/DataStage/branded_odbc/lib/VMor820.so

Description=DataDirect 5.00 Oracle ApplicationUsingThreads=1 ArraySize=60000

CatalogIncludesSynonyms=1 CatalogOptions=0

DefaultLongDataBuffLen=1024 DescribeAtPrepare=0 EnableDescribeParam=0 EnableNcharSupport=0 EnableScrollableCursors=1

EnableStaticCursorsForLongData=0 EnableTimestampWithTimeZone=0 LocalTimeZoneOffset= LockTimeOut=-1 LogonID=

OptimizeLongPerformance=0 Password=

ProcedureRetResults=0 ServerName=SWAPRD UseCurrentSchema=1

12.3 修改$DSHOME/uvodbc.config, 来指定DSN(data source name).

在$DSHOME/../branded_odbc/IBM_Tools 下也有uvodbc.config示例；

DBMSTYPE = ODBC ----注意“=”两边有空格

DNS的名字要和.odbc.ini中的名字一样，如下：

DBMSTYPE = ODBC

Individual 2007-10 45 /

65

工作总结 2007 DBMSTYPE = ODBC Note: 一般情况下Project directory下也要放置一个uvodbc.config,默认情况

下,DataStage在Projects directory下寻找uvodbc.config文件,找到了就在工程目录里使用它，否则会到$DSHOME下寻找uvodbc.config文件。

14

ETL系统扩展

当系统资源不足时,有两种方式扩展系统性能:SMP和MPP

1. SMP和MPP的区别

SMP是均衡的多处理系统,增加的CPU和Memory被所有的Project共享,好处

是扩展实施简单,只需修改Config File;缺点是受机器Time Window的限制,最高可扩展到64 CPU.

MPP是多数据量的并行处理系统,扩展的服务器与原服务器之间没关系,CPU

和Memory各自独占, 分别独立运行; 扩展的服务器与原服务器基于应用的工作量，将应用分别分配到两台机器独立运行.

2. 两种扩展方式可结合使用: 当SMP的扩展超出极限，选择MPP作为补充,即

应用切分扩展

3. 共有三种方式扩展MPP系统，前提是：每两台机器间通过Rsh交互；每台机器

都必须创建相同的dsadm用户及dstage主组；每台机器上的安装路径或者挂载路径必须完全一致。 ?

扩展节点安装一套新的Datastage服务器，通过修改Configuration File和原有的DataStage服务器组成MPP系统。 ?

使用$install_dir/install/ copy-orchdist脚本复制Datastage Engine到新的扩展节点，修改Configuration File加载新的节点。 ?

通过NFS共享已有的Datastage目录，使新扩展的节点可以访问到DataStage目录。修改configuration file添加新的节点。

15 Remote Shell (rsh)的配置

sisiu056, sisiu057, sisiu058, sisiu060四台机器任意两台之间都相互信任（即rlogin都可以成功），相互之间都可以通信,任意两个结点之间可以不需要密码，通过rsh执行命令或者登陆，主要涉及到两个文件的修改: .rhosts文件和 hosts.equiv文件。

14.1 创建并配置 .rhosts文件

Individual 2007-10 46 /

65

工作总结 2007 ? 用户以qdb01登录sisiu056, sisiu057, sisiu058, sisiu060中的任意一台机器。 ? 在/home/qdb01目录下创建名为.rhosts的文件。 vi /home/qdb01/.rhosts

? 将如下内容填加到.rhosts文件中。

sisiu056 qdb01--------hostname username sisiu057 qdb01 sisiu058 qdb01 sisiu060 qdb01

14.2 修改/etc/hosts.equiv文件

将如下内容分别追加到sisiu056, sisiu057, sisiu058, sisiu060四台机器的/etc/hosts.equiv文件末尾。

sisiu056 qdb01 sisiu057 qdb01 sisiu058 qdb01 sisiu060 qdb01

运行rlogin hostname命令查看rsh是否配置成功。

16 dsadmin命令的使用

15.1 dsadmin命令的使用

登陆DataStage服务器,输入:cd $DSHOME/bin;在输入dsadmin 回车,进入dsadmin命令;

Command Syntax:

dsadmin [-file | [-server ][-user ][-password ]] []

Valid primary command options are: -createproject -deleteproject -oshvisible -enablercp

-enablejobadmin -envadd -envdelete

Individual 2007-10 47 /

65

工作总结 2007 -envset -advancedruntime -basedirectory -deploymentdirectory -customdeployment -listprojects -listproperties -listenv

-enablegeneratexml

命令 -createproject -deleteproject -oshvisible -enablercp -enablejobadmin 命令说明 创建一个工程Project 删除一个工程Project 使产生的OSH代码可见 使RCP有效或失效 使JOB处于可管理状态 语法 dsadmin -createproject [-location ] dsadmin -deleteproject dsadmin -oshvisible TRUE | FALSE dsadmin -enablercp TRUE | FALSE dsadmin -enablejobadmin TRUE | FALSE -envadd 增加环境变量，也即可作为JOB的参数 dsadmin -envadd -type STRING | ENCRYPTED -prompt \ -envdelete -envset -advancedruntime -basedirectory 删除环境变量 设置环境变量的值 dsadmin -envdelete dsadmin -envset -value \dsadmin -advancedruntime \runtime options>\dsadmin -basedirectory dsadmin -deploymentdirectory dsadmin -customdeployment \deployment commands>\dsadmin -listprojects dsadmin -listproperties -deploymentdirectory -customdeployment -listprojects -listproperties 显示一台机器上所有的工程名 显示一个工程的属性，包括OSHVisible=1 JobAdminEnabled=1 RTCPEnabled=1 PXAdvRTOptions= PXRemoteBaseDirectory= PXDeployJobDirectoryTemplate= PXDeployCustomAction= Individual 2007-10 48 /

65