导航

2015年12月5日

Sqoop修改sqoop元信息实现job的增量导入

摘要： 最简单方式是按主键增量导入：http://blog.csdn.net/ggz631047367/article/details/50185319以下方法只做存档需求：redis缓存的数据隔段时间往MySQL中写入一次。如果按照job的增量导入，比如上次red... 阅读全文

posted @ 2015-12-05 14:07 ggzone 阅读(172) 评论(0) 推荐(0) 编辑

Sqoop实现自定义job的增量导入

摘要： 需求：redis缓存的数据隔段时间往MySQL中写入一次。如果按照job的增量导入，比如上次redis向mysql导入数据时间为8:00,下一次导入时间为9:00,8:20sqoop进行增量导入，导入的时*~8:20的数据，sqoop把job中的最后导入时间设置为8:20。当9:00... 阅读全文

posted @ 2015-12-05 14:06 ggzone 阅读(752) 评论(0) 推荐(0) 编辑

ubuntu14.04开启crontab日志

摘要： ubuntu默认没有开启cron日志记录 1. 修改rsyslog sudo vim /etc/rsyslog.d/50-default.conf cron.* /var/log/cron.log #将cron前面的注释符去掉 2.重启rsyslog su... 阅读全文

posted @ 2015-12-05 13:42 ggzone 阅读(170) 评论(0) 推荐(0) 编辑

ubuntu14.04开启crontab日志

摘要： ubuntu默认没有开启cron日志记录 1. 修改rsyslog sudo vim /etc/rsyslog.d/50-default.conf cron.* /var/log/cron.log #将cron前面的注释符去掉 2... 阅读全文

posted @ 2015-12-05 13:42 ggzone 阅读(237) 评论(0) 推荐(0) 编辑

hive数据文件简单合并

摘要： MR代码：package merge;import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.fs.Path;import org.apache.hadoop... 阅读全文

posted @ 2015-12-05 13:39 ggzone 阅读(274) 评论(0) 推荐(0) 编辑

hive数据文件简单合并

摘要： MR代码：package merge;import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritab... 阅读全文

posted @ 2015-12-05 13:38 ggzone 阅读(679) 评论(0) 推荐(0) 编辑

Sqoop增量从MySQL中向hive导入数据

摘要： sqoop job --create incretest -- import --connect jdbc:mysql://10.8.2.19:3306/db --table table1 --username op_root --password root -m 1 --hi... 阅读全文

posted @ 2015-12-05 13:26 ggzone 阅读(350) 评论(0) 推荐(0) 编辑

Sqoop增量从MySQL中向hive导入数据

摘要： sqoop job --create incretest -- import --connect jdbc:mysql://10.8.2.19:3306/db --table table1 --username op_root --password ro... 阅读全文

posted @ 2015-12-05 13:26 ggzone 阅读(123) 评论(0) 推荐(0) 编辑

Hadoop修改SSH端口号

摘要： hadoop-env.shexport HADOOP_SSH_OPTS="-p 16022" 阅读全文

posted @ 2015-12-05 13:16 ggzone 阅读(257) 评论(0) 推荐(0) 编辑

Hadoop修改SSH端口号

摘要： hadoop-env.shexport HADOOP_SSH_OPTS="-p 16022" 阅读全文

posted @ 2015-12-05 13:15 ggzone 阅读(1682) 评论(0) 推荐(0) 编辑

Spark-1.5.2安装

摘要： 1.下载scala-2.10.6包解压到指定目录#SCALA VARIABLES STARTexport SCALA_HOME=/usr/local/scala-2.10.6export PATH=$PATH:$SCALA_HOME/bin#SCALA VARIABLES END2.... 阅读全文

posted @ 2015-12-05 13:03 ggzone 阅读(533) 评论(0) 推荐(0) 编辑

Spark-1.5.2安装--Standalone和Yarn

摘要： Spark Standalone1.下载scala-2.10.6包解压到指定目录，添加环境变量#SCALA VARIABLES STARTexport SCALA_HOME=/usr/local/scala-2.10.6export PATH=$PATH:$... 阅读全文

posted @ 2015-12-05 13:03 ggzone 阅读(151) 评论(0) 推荐(0) 编辑

Git简单使用

摘要： 1.初始化一个git项目：git init2.添加一个新文件，执行git statusPS D:\gittest> git statusOn branch masterInitial commitUntracked files: (use "git add... 阅读全文

posted @ 2015-12-05 12:37 ggzone 阅读(108) 评论(0) 推荐(0) 编辑

Git简单使用

摘要： 删除本地旧分支，拉取新分支 #!/bin/bashset -e cd /project/git pullgit fetch ori --prunegit branch -r|sed 's/ori\///g'|grep -v HEAD > $(dirname "$0")/version... 阅读全文

posted @ 2015-12-05 12:36 ggzone 阅读(107) 评论(0) 推荐(0) 编辑