原始导数命令:bin/sqoop import -connect jdbc:mysql://192.168.169.128:3306/yubei -username root -password 123456 -table yl_city_mgr_evt_info --split-by rec_id -m 4 --fields-terminated-by "\t" --lines-terminated-by "\n" --hive-import --hive-overwrite -create-hive-table -delete-target-dir -hive-database default -hive-table yl_city_mgr_evt_info
原因分析:可能是mysql中字段里面有’\n’等分隔符,导入hive时默认以’n’作换行符,导致hive中的记录数变多。

解决方法:导入数据时加上--hive-drop-import-delims选项,会删除字段中的\n,\r,\01。
最终导数命令:bin/sqoop import -connect jdbc:mysql://192.168.169.128:3306/yubei -username root -password 123456 -table yl_city_mgr_evt_info --split-by rec_id -m 4 --hive-drop-import-delims --fields-terminated-by "\t" --lines-terminated-by "\n" --hive-import --hive-overwrite -create-hive-table -delete-target-dir -hive-database default -hive-table yl_city_mgr_evt_info
参考官方文档:https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html

posted on 2020-05-28 14:42  京东  阅读(659)  评论(0编辑  收藏  举报