摘要: 背景:由于业务需求,数据需要每天从mysql >hive同步,考虑到资源占用情况,暂定凌晨业务空闲时执行定时任务 方法:1>通过sqoop创建增量写入数据的job,每晚定时执行【pass掉了,因为hive中数据文件格式为压缩snappy类型,presto连接后查询报错】 2>通过kettle先查讯h 阅读全文
posted @ 2021-05-20 09:33 天宇星空 阅读(169) 评论(0) 推荐(0) 编辑