sqoop导出hive数据到mysql注意事项

1.hive表和mysql表的编码格式

  　　如果通过sqoop出现中文乱码情况

　　  请修改mysql的配置文件/etc/my.cnf

　　   vim /etc/my.cnf

         添加如下两行

init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake

2.sqoop 导入数据过程中因为空格等脏字符报错

  解决办法　加上--input-null-non-string '\\N'

sqoop export --connect jdbc:mysql://master:3306/jd_comment --username  **** --password ******* --table pinglun --fields-terminated-by ';'
 --input-null-non-string '\\N' --export-dir /user/hive/warehouse/jd.db/pinglun_dateformat;