摘要:
先 scan 原表,然后 bulkload 到新表。 采坑纪录1. bulkload 产生 hfile 前,需要先对 hash(key) 做 repartition,在 shuffle 的 read 阶段,产生了以下错误 原因:在 shuffle 的 read 阶段,会申请一个跟 block(或pa 阅读全文
摘要:
日志路径 -> /var/log(软连接到 /mnt/var/log) 在 spark master 机器中,配置的路径为 其中关键的配置 local-dirs: 应用的本地文件,官方解释为: List of directories to store localized files in. An a 阅读全文