摘要：
需求：redis缓存的数据隔段时间往MySQL中写入一次。如果按照job的增量导入，比如上次redis向mysql导入数据时间为8:00,下一次导入时间为9:00,8:20sqoop进行增量导入，导入的时*~8:20的数据，sqoop把job中的最后导入时间设置为8:20。当9:00... 阅读全文
posted @ 2015-12-05 14:06 ggzone 阅读(752) 评论(0) 推荐(0) 编辑
摘要：
ubuntu默认没有开启cron日志记录 1. 修改rsyslog sudo vim /etc/rsyslog.d/50-default.conf cron.* /var/log/cron.log #将cron前面的注释符去掉 2.重启rsyslog su... 阅读全文
posted @ 2015-12-05 13:42 ggzone 阅读(170) 评论(0) 推荐(0) 编辑
摘要：
ubuntu默认没有开启cron日志记录 1. 修改rsyslog sudo vim /etc/rsyslog.d/50-default.conf cron.* /var/log/cron.log #将cron前面的注释符去掉 2... 阅读全文
posted @ 2015-12-05 13:42 ggzone 阅读(237) 评论(0) 推荐(0) 编辑
摘要：
MR代码：package merge;import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.fs.Path;import org.apache.hadoop... 阅读全文
posted @ 2015-12-05 13:39 ggzone 阅读(274) 评论(0) 推荐(0) 编辑
摘要：
MR代码：package merge;import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritab... 阅读全文
posted @ 2015-12-05 13:38 ggzone 阅读(679) 评论(0) 推荐(0) 编辑
摘要：
sqoop job --create incretest -- import --connect jdbc:mysql://10.8.2.19:3306/db --table table1 --username op_root --password root -m 1 --hi... 阅读全文
posted @ 2015-12-05 13:26 ggzone 阅读(350) 评论(0) 推荐(0) 编辑
摘要：
sqoop job --create incretest -- import --connect jdbc:mysql://10.8.2.19:3306/db --table table1 --username op_root --password ro... 阅读全文
posted @ 2015-12-05 13:26 ggzone 阅读(123) 评论(0) 推荐(0) 编辑
摘要：
hadoop-env.shexport HADOOP_SSH_OPTS="-p 16022" 阅读全文
posted @ 2015-12-05 13:16 ggzone 阅读(257) 评论(0) 推荐(0) 编辑
摘要：
hadoop-env.shexport HADOOP_SSH_OPTS="-p 16022" 阅读全文
posted @ 2015-12-05 13:15 ggzone 阅读(1682) 评论(0) 推荐(0) 编辑