yjyyjy

摘要： 在内存中缓存数据 Spark SQL可以通过调用Spark .catalog. cachetable(“tableName”)或datafame .cache()来使用内存中的列格式缓存表。 Spark SQL将只扫描所需的列，并自动调整压缩，以最小化内存使用和GC压力。 调用spark.catal 阅读全文

摘要： 优化资源分配 在Spark的集群管理器(Yarn、Mesos和Spark单机)之间，这里的建议和配置略有不同，但是我们只关注Yarn，Cloudera向所有用户推荐Yarn。 Spark(和YARN) 考虑的两个主要资源是CPU和内存。当然，磁盘和网络I/O也对Spark性能有影响，但是Spark和 阅读全文

摘要： Apache Spark Job 调优以提高性能（一） 假设你已经清楚了Spark 的 RDD 转换，Action 等内容。并且已经知道用web UI来理解为什么Job要花这么长时间时，Job、stage和task 也很清楚了。 如果不清楚可以看我的视频（。。。。） 在本文中，您将了解Spark程序 阅读全文