06 2015 档案

摘要:thiveInput->tmap->tMysqloutput thiveInput: tmap: tmysqlOutput:注意编码问题:noDatetimeStringSync=true&useUnicode=true&characterEncoding=UTF-8 阅读全文
posted @ 2015-06-29 16:58 justinzhang 阅读(674) 评论(1) 推荐(0) 编辑
摘要:先使用Tos建立模型,将Oracle中的数据导入到本地: build job后,形成独立可以运行的程序: 将生成的zip文件,上传到hadoop集群上,有hive环境的机器上: [hive@h1 work]$ ls file.zip jobInfo.properties join lib [hive@h1 work]$ cd join/ [hive@h1 join]$ ls bigd... 阅读全文
posted @ 2015-06-29 13:52 justinzhang 阅读(5128) 评论(0) 推荐(0) 编辑
摘要:ubuntu 14.04以后不支持 /etc/init.d/networing restart命令,使用ifdown et0 和ifup eth0 使用echo $?查看上一次命令执行的结果 ifdown --exclude=lo -a && sudo ifup --exclude=lo -a 关闭或者启动除了lo之外所有的网卡 sudo service network-manager... 阅读全文
posted @ 2015-06-19 15:03 justinzhang 阅读(923) 评论(0) 推荐(0) 编辑
摘要:Talend将设计的模型直接生成了java代码,可以直接对模型生成的java代码进行调试,排查问题比kettle灵活很多, 设计的模型如下: 生成的代码如下: 点击 Java Debug进入调试模式,可以设置断点,单步跟进,和eclipse一模一样的调试,非常方便: 阅读全文
posted @ 2015-06-15 18:48 justinzhang 阅读(916) 评论(0) 推荐(0) 编辑
摘要:使用Talend open studio ,从mysql数据源中读取数据,将数据导出到excel文档,另外一个mysql数据库,和一个普通文件,遇到标题的错误,模型如下图所示: tMap将30.7中的每一个字段都要输出到excel字段中,如下图所示: 但是其中有两个字段,update_time和last_msg_intime为date类型,到了excel中,应该设置为... 阅读全文
posted @ 2015-06-15 18:40 justinzhang 阅读(439) 评论(0) 推荐(0) 编辑
摘要:1 开源数据汇集工具 1.1 Talend Open Studio Talend Open Studio 是一个 ETL (Extract, Transform, and Load) 工具,可执行数据仓库到数据库之间的数据同步,提供基于 Eclipse RCP 的图形操作界面。 项目源码:http://talendforge.org/trac/tos 项目主页: http://www.talen... 阅读全文
posted @ 2015-06-10 11:39 justinzhang 阅读(7921) 评论(0) 推荐(0) 编辑