我最近发现直接在presto里面插入partition数据,如果原来有数据则不会替换,会产生冗余数据。
但是目前presto又不支持insert overwrite,所以我们现在的做法是在pipeline里面增加一个操作删除即将要写入的partition,就像下面这样
delete_partition --> load_data
目前来看的话,貌似没什么好的办法
我最近发现直接在presto里面插入partition数据,如果原来有数据则不会替换,会产生冗余数据。 目前来看的话,貌似没什么好的办法 |