ETL Automation完整安装方法_(元数据存放在mysql数据库)
安装前介质准备:
DBI-1.636.tar.gz
DBD-mysql-4.037.tar.gz
ETL.tar
mysql-5.6.12-linux-glibc2.5-x86_64.tar.gz
Perl下载地址:http://www.cpan.org/modules/by-module/
第一部分 Mysql数据库安装
链接如:http://jingyan.baidu.com/article/a378c9609eb652b3282830fd.html
第二部分 Perl模块安装
1) 检查当前perl版本命令:perl -v
查看已安装perl模块命令:perldoc perllocal
2) DBI模块为DBI-1.636.tar.gz
方法与DBD模块一样
3) DBD模块为 DBD-mysql-4.037.tar.gz
tar xvzf DBD-mysql-4.037.tar.gz
cd DBD-mysql-4.037
perl Makefile.PL
make
make test
make install
5) 其它模块 …
6) 在/etc/profile 增加如下变量
export PATH=/usr/local/mysql/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/lib/mysql
7) Perl模块安装完后,需要写个mysql_test.perl脚本,测试连接mysql数据库是否成功
第三部分 Automation安装
1) 在linux系统下,创建etl用户
groupadd etl
useradd -g etl -m -d /home/etl -s /bin/bash etl
2) 切换到etl用户,在/home/etl添加环境变量 vi .bashrc,然后使之生效 source .bashrc
AUTO_HOME=/opt/ETL; export AUTO_HOME;
AUTO_DSN=tdvm; export AUTO_DSN;
AUTO_DB=etlauto; export AUTO_DB;
AUTO_SERVER=ETL1; export AUTO_SERVER;
AUTO_SERVER_IP=192.168.152.100; export AUTO_SERVER_IP;
AUTO_AGENT_PORT=6346; export AUTO_AGENT_PORT;
AUTO_WDOG_PORT=6346; export AUTO_WDOG_PORT;
AUTO_PRIMARY_SERVER=0; export AUTO_PRIMARY_SERVER;
ODBCINI=$HOME/.odbc.ini;export ODBCINI
LD_LIBRARY_PATH=$LD_LIBRARY_PATH :/opt/teradata/client/14.00/odbc_64/lib:/usr/local/lib; export LD_LIBRARY_PATH
3) 上传ETL.tar到/opt/目录,并解压
tar xvf ETL.tar
5) 修改etl_unix.pm和tools.pm两个文件的数据库连接信息
my $dbh = DBI->connect("DBI:mysql:database=etlauto;host=10.161.166.51", "root", "123456",
6) 切换到root用户,授予etl用户/opt/ETL权限
chown -R etl:etl /opt/ETL
7) 上传yhddw.pm到该目录下 /usr/lib64/perl5/vendor_perl/
8) 切换到etl用户,清空 /opt/ETL/lock 下的文件 rm –rf etl*
然后在/opt/ETL/bin目录下执行sh start.sh
9) 查看Automation 5个进程是否启动:
方法一:ps –ef | grep pl
方法二:/opt/ETL/LOG
主要查看etlmaster.out
第四部分 配置ETLAdmin
4.1 导入项目
1) 将ETLAdmin261复制到workspace文件夹下
2) 打开eclipse.ext,作如下操作:
File → Import → General → Existing Projects into Workspace,点击next到下一步;
在出现的对话框中选中Select root directory,点击 Browse后可选择第一步“ETLAdmin261”的文件位置,
然后在options中,勾选copy projects into workspace,点击 Finish
4.2 导入jar包
1) 打开ETLAdmin261 project → lib,选中需要删除的jia包,点击Delete
2) 选择Build Path → Configure Build Path → Java Buidl Path → Libraries,选中需要删除的jia包,点击Remove
3) 将mysql-connector-java-5.1.0-bin(1).jar 和 jintellitype-1.3.9-SNAPSHOT.jar 复制到当前项目lib文件夹下,
回到Build Path → Configure Build Path → Java Buidl Path → Libraries,点击 Add JARs,添加这两个.jia包.
4.3 修改数据库配置信息