摘要: 增量导入 一、说明 当在生产环境中,我们可能会定期从与业务相关的关系型数据库向Hadoop导入数据,导入数仓后进行后续离线分析。这种情况下我们不可能将所有数据重新再导入一遍,所以此时需要数据增量导入。 增量导入数据分为两种方式: 一是基于递增列的增量数据导入(Append方式)。 二是基于时间列的数 阅读全文
posted @ 2019-05-13 18:50 xiaolaotou 阅读(11701) 评论(0) 推荐(1) 编辑
摘要: 一、说明: 将关系型数据库中的数据导入到 HDFS(包括 Hive, HBase) 中,如果导入的是 Hive,那么当 Hive 中没有对应表时,则自动创建。 二、操作 1、创建一张跟mysql中的im表一样的hive表im: 过程中报错总结: ERROR Could not register mb 阅读全文
posted @ 2019-05-13 10:17 xiaolaotou 阅读(1296) 评论(0) 推荐(0) 编辑
摘要: 一、常用命令列举 二、命令及参数详解 1、数据库连接 2、import 3、export 4、hive 阅读全文
posted @ 2019-05-13 10:15 xiaolaotou 阅读(355) 评论(0) 推荐(0) 编辑