一杯浮生

2018年2月27日

安装CaffeOnSpark过程中遇到的问题及解决方案

摘要: 安装教程来自 http://blog.csdn.net/sadonmyown/article/details/72781393 首先,我使用的节点环境是ubuntu 16.04.1,事先 成功安装了spark和hadoop,版本分别为spark-2.11和hadoop-2.7.3 问题 1:按照教程 阅读全文

posted @ 2018-02-27 10:10 一杯浮生 阅读(455) 评论(0) 推荐(0) 编辑

2017年9月23日

Spark在StandAlone模式下提交任务,spark.rpc.message.maxSize太小而出错

摘要: 1.错误信息org.apache.spark.SparkException: Job aborted due to stage failure:Serialized task 32:5 was 1728746673 bytes, which exceeds max allowed: spark.rp 阅读全文

posted @ 2017-09-23 16:32 一杯浮生 阅读(5877) 评论(0) 推荐(0) 编辑

2017年9月4日

spark提交jar包时出现unsupported major.minor version 52.0错误的解决方案

摘要: 一、问题: 最近在spark集群上做一个项目,打包提交jar包时,出现了unsupported major.minor version 52.0的报错,而在local模式运行却能正常运行! 二、错误原因: 查阅诸多资料得出的结论就是:项目编译得到的class文件的版本高于运行环境中jre的版本号,高 阅读全文

posted @ 2017-09-04 11:00 一杯浮生 阅读(32707) 评论(0) 推荐(2) 编辑

导航