摘要: 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作 阅读全文
posted @ 2016-12-03 16:20 凯心宝牙 阅读(155) 评论(0) 推荐(0) 编辑
摘要: 前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使用Spark。大多数同学 阅读全文
posted @ 2016-12-03 16:15 凯心宝牙 阅读(175) 评论(0) 推荐(0) 编辑
摘要: 错误如下: 解决方法: spark-env.sh添加 具体参考官网spark 阅读全文
posted @ 2016-12-03 00:04 凯心宝牙 阅读(858) 评论(0) 推荐(0) 编辑