sqoop job 增量导入

使用sqoop job做增量导入

在执行导入模式为 incremental 的sqoop job 时，sqoop会获取上次导入操作的 –check-column的value值，也就是说使用sqoop job在做增量导入的时候，不用手动指定 --last-value的值
但是也有这样的一种情况，sqoop job中如果指定了--incremental 为append模式导入，在指定了增量列--check-column之后，比如id为增量列，并且指定了--last-value的值，比如设置为100，那么在执行sqoop job的时候就会将id>100的行导入到hive中去

增量导入举个例子

• mysql建表

CREATE TABLE `sqoop_job_incremental` (
  `id` int(11) DEFAULT NULL,
  `name` varchar(255) DEFAULT NULL,
  `last_mod` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
) ENGINE=InnoDB DEFAULT CHARSET=latin1

• mysql插入数据

insert into sqoop_job_incremental(id,name) values(1,'name1');
insert into sqoop_job_incremental(id,name) values(2,'name2');
insert into sqoop_job_incremental(id,name) values(3,'name3');

• 此时mysql中的数据

1    name1    2017-09-27 10:41:56
2    name2    2017-09-27 10:42:13
3    name3    2017-09-27 10:42:20

• 将mysql表结构同步到hive中

sqoop create-hive-table --connect jdbc:mysql://localhost:3306/sqooptest --username root --password 123qwe --table sqoop_job_incremental 
--hive-table sqoop_job_incremental --fields-terminated-by ','

• 新建增量导入的sqoop job

sqoop job --create sqoop_job_incremental -- import --connect jdbc:mysql://localhost:3306/sqooptest --username root --password 123qwe --table sqoop_job_incremental 
--hive-import --hive-table sqoop_job_incremental --check-column last_mod --incremental lastmodified --fields-terminated-by ',' -m 1

• 执行job 

sqoop job --exec sqoop_job_incremental

• 查看hive结果

hive> select * from sqoop_job_incremental
    > ;
OK
1    name1    2017-09-27 10:41:56.0
2    name2    2017-09-27 10:42:13.0
3    name3    2017-09-27 10:42:20.0

• 加入增量数据

insert into sqoop_job_incremental(id,name) values(4,'name4');
insert into sqoop_job_incremental(id,name) values(5,'name5');

• 此时mysql表中的数据

1    name1    2017-09-27 10:41:56
2    name2    2017-09-27 10:42:13
3    name3    2017-09-27 10:42:20
4    name4    2017-09-27 13:20:02
5    name5    2017-09-27 13:20:09

• 执行job

sqoop job --exec sqoop_job_incremental

　　因为--check-column 为 last_mod(数据更改时间)，sqoop在本次执行任务的时候获取到上次任务执行的last_mod值，只导入大于last_mod的数据.

• 查看hive中的结果

hive> select * from sqoop_job_incremental;
OK
1    name1    2017-09-27 10:41:56.0
2    name2    2017-09-27 10:42:13.0
3    name3    2017-09-27 10:42:20.0
4    name4    2017-09-27 13:20:02.0
5    name5    2017-09-27 13:20:09.0
Time taken: 1.649 seconds, Fetched: 5 row(s)

发现第二次执行job任务只导入了两条，这两条就是上次任务之后新添加的数据。

 

每次执行任务都会提示输入密码，可通过配置取消这一提示，直接使用job中指定的密码

在conf/sqoop-site.xml文件中配置
sqoop.metastore.client.record.password
设置为true即可。