KETTLE安装以及学习笔记

文档名称

Windows/linux下的KETTLE安装

1 Windows下安装

1.1 安装JDK

1.下载JDK8 2.设置环境变量

JAVA_HOME为C:\\Program Files\\Java\\jdk1.8.0_60 在PATH中增加;%JAVA_HOME%\\bin

1.2 安装KETTLE

1.官网下载data-integration5 2.解压到指定目录中 3.安装完毕

1.3 运行KETTLE

打开data-integration，找到spoon.bat,双击运行，进入kettle可视化界面

2 LINUX下安装

2.1 安装jdk

2.1.1 在/usr/local新建文件夹 java mkdir /usr/local/java

把jdk安装文件jdk-8u60-linux-x64.tar.gz传入到/usr/local/java下 2.1.2 安装jdk

cd /usr/local/java

tar -zxvfjdk-8u60-linux-x64.tar.gz

2.1.3 配置环境变量

vi /etc/profile 在最末行加入

第1页共10页

文档名称

export JAVA_HOME=/usr/local/java/jdk1.8.0_60

export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:. export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 然后保存退出

执行source /etc/profile 使之环境变量立即生效

2.1.4 测试

可以小测一把jdk是否配置好了 执行命令java –version java version \

Java(TM) SE Runtime Environment (build 1.8.0_60-b27)

Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)

出现这个则说明jdk环境变量配置OK

2.1.5 删除安装包

rm /usr/local/java/jdk-8u60-linux-x64.tar.gz

2.2 Kettle部署

新建文件夹

mkdir –p /usr/local/kettle

将kettle的软件包data-interation.zip上传到/usr/local/kettle文件夹 解压

unzip data-interation.zip

另外将相关kettle程序代码拷贝到/usr/local/scripts目录下 [root@ada ~]# mkdir .kettle

第2页共10页

文档名称

[root@ada ~]# chmod 775 .kettle [root@ada ~]# ll -d .kettle/

drwxrwxr-x 2 root root 4096 Oct 9 20:24 .kettle/

另外把其中的kettle.properties shared.xml文件拷贝到 /root/.kettle 目录下 [root@ada .kettle]# chmod 664 * [root@ada .kettle]# ll total 20

-rw-rw-r-- 1 root root 365 Sep 17 19:58 kettle.properties -rw-rw-r-- 1 root root 14854 Sep 17 19:59 shared.xml

修改kettle.properties文件 infilepath=/data/collect_dir/csv/ outfilepath=/data/di_dir/csv/ shellpath=/usr/local/scripts/

如果文件夹不存在建立

[root@ada data]# mkdir -p /data/collect_dir/csv/ [root@ada data]# chmod 777 -R /data/collect_dir/ [root@ada data]# mkdir -p /data/di_dir/csv/ [root@ada data]# chmod 777 -R /data/di_dir

第3页共10页

文档名称

2.3 Shell脚本布置

将scripts.zip 解压到/usr/local/scripts Chmod 775 /usr/local/scripts 增加可执行权限 Cd /usr/local/scripts/ Chmod a+x *.sh

3 常见问题

3.1 新建数据库连接，点击测试报错

默认安装包中不带对应JDBC的连接驱动程序，需要下载对应数据库的连接程序(Oracle/Mysql/PostgreSQL),将驱动库放在在lib文件夹下

Mysql驱动：mysql-connector-java-5.1.32-bin.jar PostgreSQL驱动：postgresql-9.4-1203.jdbc42.jar Oracle驱动：ojdbc6_g.jar

3.2 相关配置文件说明

windows文件路径：C:\\Users\\[用户名]\\.kettle linux文件路径:~/.kettle/ kettle.properties：配置变量 shared.xml：配置公共数据库连接

3.2.1 kettle.properties

infilepath=C:\\\\ outfilepath=C:\\\\

3.3 增加日志

1.双击空白处-->跳出对话框-->选择日志选项卡-->选择日志通道-->选择日志数据库连接，填入对应的表，点击SQL，然后按确认就可以创建

3.4 Kitchen执行说明

Kitchen——作业执行器

是一个作业执行引擎，用来执行作业。这是一个命令行执行工具，没啥

第4页共10页