2019年1月9日

关于查看HDFS上的文件,文件目录,文件是否为空的命令总结

摘要: 今天做sqoop的增量导入操作,但是在第一次执行的时候,数据是全量的,后面数据就是按照增量的方式对数据进行导入操作。不想手动的去操作shell命令,就对 是否是全量导入还是变量导入做了一个判断操作但是使用下面的shell命令好像不管用 -test -[defsz] <path> : Answer v 阅读全文

posted @ 2019-01-09 16:58 gxg123 阅读(8432) 评论(0) 推荐(0) 编辑

关于sqoop增量导入oracle的数据到HDFS的出现的错误总结

摘要: 今天在将公司的oracle的数据抽取到hive当中,根据时间字段做增量插入,然后合并采用按照id唯一主键的方式进行合并操作。 ERROR tool.ImportTool: Import failed: java.io.IOException: Could not load jar /tmp/sqoo 阅读全文

posted @ 2019-01-09 10:49 gxg123 阅读(2369) 评论(0) 推荐(0) 编辑

导航