姜小嫌

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2018年8月27日

摘要: hive 元数据修复命令 也可以用于分区表的快速复制 例如你需要从线上往线下导一张分区表,但是网又没有连通,你需要如何操作呢? 大功告成!!! 阅读全文
posted @ 2018-08-27 16:57 姜小嫌 阅读(6218) 评论(0) 推荐(0) 编辑

摘要: 一.spark 分区 partition的理解: spark中是以vcore级别调度task的。 二.coalesce 与 repartition的区别(我们下面说的coalesce都默认shuffle参数为false的情况) 我们还拿上面的例子说: PS: 三.实例: 四.总结: 我们常认为coa 阅读全文
posted @ 2018-08-27 01:53 姜小嫌 阅读(13602) 评论(2) 推荐(4) 编辑