摘要: 详见:https://blog.csdn.net/a904364908/article/details/99704907 >>> 分隔符为: FIELDS TERMINATED BY '\t' ,而从postgresql或者mysql来的数据的分隔符则应该为: FIELDS TERMINATED B 阅读全文
posted @ 2020-11-11 17:57 PEAR2020 阅读(480) 评论(0) 推荐(0)
摘要: 把hive-jdbc-1.1.0-cdh5.14.2-standalone加入sqoop的lib中 阅读全文
posted @ 2020-11-11 17:28 PEAR2020 阅读(584) 评论(0) 推荐(0)
摘要: 引用:https://www.cnblogs.com/30go/p/9517162.html 解决:缺少了hive-common-2.3.3.jar包,在hive的lib目录下,拷贝到sqoop的lib目录下即可。 阅读全文
posted @ 2020-11-11 17:03 PEAR2020 阅读(821) 评论(0) 推荐(0)
摘要: 简单了解概念版本:https://blog.csdn.net/houfengfei668/article/details/79619215 一、拉链表 记录每个订单状态的历史变化 dw_begin_date表示该条记录的生命周期开始时间,dw_end_date表示该条记录的生命周期结束时间; dw_ 阅读全文
posted @ 2020-11-11 12:25 PEAR2020 阅读(555) 评论(0) 推荐(0)
摘要: 一、sqoop作用? 1.sqoop是一个数据交换工具,最常用的两个工具是导入导出。 导入导出的参照物是hadoop,向hadoop导数据就是导入。 RDBMS <-> Hadoop(HDFS/HIVE/HBASE) 2.命令翻译成MapReduce并行操作,如何确认数据没有丢失? wc -l 显示 阅读全文
posted @ 2020-11-11 11:42 PEAR2020 阅读(302) 评论(0) 推荐(0)
摘要: https://blog.csdn.net/wx1528159409/article/details/87948866 阅读全文
posted @ 2020-11-11 10:30 PEAR2020 阅读(145) 评论(0) 推荐(0)