symons

___________每一天都是幸福的!!

  博客园  ::  :: 新随笔  ::  :: 订阅 订阅  :: 管理

我最近发现直接在presto里面插入partition数据,如果原来有数据则不会替换,会产生冗余数据。
但是目前presto又不支持insert overwrite,所以我们现在的做法是在pipeline里面增加一个操作删除即将要写入的partition,就像下面这样
delete_partition --> load_data

目前来看的话,貌似没什么好的办法


posted on 2020-12-25 13:41  symons  阅读(1071)  评论(0编辑  收藏  举报