摘要: 在spark 1.4 jobserver 0.5 环境执行的时候,程序并没有出错. 在spark1.5 jobserver0.6 环境执行的时候出了上面的错误 所以肯定跟环境是有关系的.在spark-defaults.conf中设置serializer 为 org.apache.spark.seri 阅读全文
posted @ 2016-03-29 15:36 骑小象去远方 阅读(5030) 评论(0) 推荐(0) 编辑
摘要: 今天在用程序通过hdfs拷贝数据至hadoop上的时候报了这个错误 当看到这个错误,以为可能是下面几个原因 1. datanode 挂了 2. datanode 没有空间了 3. datanode 与namenode或者客户端机的连接有问题 但是看了一下,没有这些问题. 接着在集群的客户端机上,通过 阅读全文
posted @ 2016-03-29 15:24 骑小象去远方 阅读(2585) 评论(0) 推荐(0) 编辑