摘要: 先 scan 原表,然后 bulkload 到新表。 采坑纪录1. bulkload 产生 hfile 前,需要先对 hash(key) 做 repartition,在 shuffle 的 read 阶段,产生了以下错误 原因:在 shuffle 的 read 阶段,会申请一个跟 block(或pa 阅读全文
posted @ 2019-02-16 09:47 徐软件 阅读(839) 评论(0) 推荐(1) 编辑
摘要: 日志路径 -> /var/log(软连接到 /mnt/var/log) 在 spark master 机器中,配置的路径为 其中关键的配置 local-dirs: 应用的本地文件,官方解释为: List of directories to store localized files in. An a 阅读全文
posted @ 2019-02-16 09:45 徐软件 阅读(285) 评论(0) 推荐(0) 编辑