摘要: 什么是Spark Spark 是一种计算框架,是与mapreduce 不一样的计算框架。他与Hadoop mapreduce相比具有以下优势: 1) Spark 通过将中间结果缓存在内存,而不是磁盘,因此很适合于多阶段的作业,如需多次迭代的机器学习。而 mapreduce 则将中间结果每次都存到磁盘 阅读全文
posted @ 2021-01-15 20:32 祈欢 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 安装配置spark环境出错 参照网上解决方法配置python未果,之后将spark版本更换为2.4.7成功 之后是根据经验贴的配置idea插件和环境,参考:https://blog.csdn.net/aisi5656/article/details/101330394?utm_medium=dist 阅读全文
posted @ 2021-01-15 00:33 祈欢 阅读(30) 评论(0) 推荐(0) 编辑