sqoop配置从HDFS(Hive表) EXPORT 数据到MySQL

sqoop export 参数相关

注：使用sqoop不管从mysql导到hive还是hive导到mysql，参数的最后一定不能有空格，否则报错执行不成功！

 ps:--columns方式应可以解决mysql自增主键的问题

-----------------------------------------------

 2.sqoop导出export数据到mysql

sqoop中--update-key，--update-mode （两种方式：updateonly <默认方式>、allowinsert）配合使用 

 

--update-mode参数详解：

--update-mode模式有两种updateonly（默认）和allowinsert   <在--update-key的参数的基础上操作>

 第一种方式：updateonly为默认方式，如果插入数据与原始数据相同，则不做任何改变。如果插入数据与原始数据不同，则进行更新 --update-key参数中指定的字段。

 第二种方式：allowinsert方式，如果插入数据与原始数据相同，则不做任何改变，同第一种方式。如果插入数据与原始数据不同，则进行插入新的数据行，而不是更新数据行 

注：使用此种（--update-key 中updateonly ，即默认方式）方式时，mysql中要有对应的联合索引，否则报错

 

更新前：

 

 

更新后：

 

 

 

参考官网：

http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_export

--------------------------------------------

 https://donaldhan.github.io/bigdata/2020/04/16/Sqoop%E7%AE%80%E4%BB%8B%E5%8F%8A%E4%BD%BF%E7%94%A8.html

 参考压缩和--direct参数

https://blog.csdn.net/qq_38617531/article/details/87179936

 

参考：http://sqoop.apache.org/docs/1.4.7