摘要: Scala List FAQ: Can you share some Scala List class examples? The Scala List class may be the most commonly used data structure in Scala applications. 阅读全文
posted @ 2016-07-05 22:16 XGogo 阅读(252) 评论(0) 推荐(0) 编辑
摘要: Scala List FAQ: How do I add elements to a Scala List? This is actually a trick question, because you can't add elements to a ScalaList; it's an immut 阅读全文
posted @ 2016-07-05 22:12 XGogo 阅读(172) 评论(0) 推荐(0) 编辑
摘要: Scala List/sequence FAQ: How do I iterate over a Scala List (or more generally, a sequence) using theforeach method or for loop? There are a number of 阅读全文
posted @ 2016-07-05 22:10 XGogo 阅读(219) 评论(0) 推荐(0) 编辑
摘要: Scala List FAQ: How do I merge a List in Scala? NOTE: I wrote the solutions shown below a long time ago, and they are not optimal. I'll update this ar 阅读全文
posted @ 2016-07-05 22:09 XGogo 阅读(368) 评论(0) 推荐(0) 编辑
摘要: Scala List class FAQ: How do I create a List in Scala? You can create a Scala List in several different ways, including these approaches: Lisp style J 阅读全文
posted @ 2016-07-05 22:08 XGogo 阅读(359) 评论(0) 推荐(0) 编辑
摘要: Spark history Server产生背景 以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息;但该WEBUI随着Application的完成(成功/失败)而关闭,也就是说,Spark Applicatio 阅读全文
posted @ 2016-07-05 19:29 XGogo 阅读(1650) 评论(0) 推荐(0) 编辑
摘要: 前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使用Spark。大多数同学 阅读全文
posted @ 2016-07-04 22:45 XGogo 阅读(2646) 评论(0) 推荐(0) 编辑
摘要: 本文转自:http://tech.meituan.com/spark-tuning-pro.html 感谢原作者 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能 阅读全文
posted @ 2016-07-04 22:44 XGogo 阅读(29882) 评论(0) 推荐(2) 编辑
摘要: 前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使用Spark。大多数同学 阅读全文
posted @ 2016-07-01 18:56 XGogo 阅读(1146) 评论(0) 推荐(1) 编辑
摘要: 背景 使用spark开发已有几个月。相比于python/hive,scala/spark学习门槛较高。尤其记得刚开时,举步维艰,进展十分缓慢。不过谢天谢地,这段苦涩(bi)的日子过去了。忆苦思甜,为了避免项目组的其他同学走弯路,决定总结和梳理spark的使用经验。 Spark基础 基石RDD spa 阅读全文
posted @ 2016-07-01 17:49 XGogo 阅读(506) 评论(0) 推荐(0) 编辑