spark调试遇到的问题--hibench的使用及问题
调试遇到了很多问题,从中总结出最重要的一条就是:一定要看log!!!!!!!!!!
配置hibench跟着github文档就好了,唯一可能出问题的就是版本问题,所以一定要先了解下各个组件的版本限制
运行streaming调试需要的文档:https://github.com/intel-hadoop/HiBench/blob/master/docs/run-streamingbench.md
在我测试的时候出现很多奇怪的问题,第一个:
某个excutor上面的task总是失败,查看日志文件后tmp/spark-76e6a062-e190-46ca-ae05-2ad7ad33810b/executor-340bde76-c792-426c-934c-ccd9e2897f12/spark-9...No space left on device
总之就是没空间了,那么
(1)首先确定是哪个节点的excutor
(2)往后看,因为master需要发送相关东西到worker的/spark/work文件夹中,那么可能这地方就是没空间的问题所在
总之,我删了点work文件中的东西就变好了