2018年5月1日
Mysql 上亿级数据导入Hive思路分享
摘要： 前提条件： 数据库容量上亿级别，索引只有id，没有创建时间索引 达到目标： 把阿里云RDS Mysql表数据同步到hive中，按照mysql表数据的创建时间日期格式分区，每天一个分区方便查询 每天运行crontab定时的增量备份数据，还是依据自增的id 遇到的问题： 没法建立创建时间的索引，不能按时 阅读全文
posted @ 2018-05-01 00:14 buoge 阅读(2923) 评论(0) 推荐(0) 编辑