摘要: 转载:https://my.oschina.net/tjt/blog/2250953 在实际使用 spark + parquet 的时候, 遇到了两个不解的地方: 我们只有一个 parquet 文件(小于 hdfs block size), 但是 spark 在某个 stage 生成了4个 task 阅读全文
posted @ 2020-05-14 09:59 sw_kong 阅读(1094) 评论(0) 推荐(0) 编辑