摘要: 史鸣飞:大家好,我是叫史鸣飞,来自英特尔公司,接下来我向大家介绍一下Tachyon。我事先想了解一下大家有没有听说过Tachyon,或者是对Tachyon有没有一些了解?对Spark呢? 首先做一个介绍,我来自英特尔的大数据团队,我们团队主要是致力于各种大数据的软件开发以及这些软件在工业界的推广和应 阅读全文
posted @ 2016-07-23 23:15 XGogo 阅读(455) 评论(0) 推荐(0) 编辑
摘要: 本文转之Pivotal的一个工程师的博客。觉得极好。 作者本人经常在StackOverflow上回答一个关系Spark架构的问题,发现整个互联网都没有一篇文章能对Spark总体架构进行很好的描述,作者可怜我们这些菜鸟,写了这篇文章,太感动了。本文读者需要一定的Spark的基础知识,至少了解Spark 阅读全文
posted @ 2016-07-23 18:59 XGogo 阅读(221) 评论(0) 推荐(0) 编辑
摘要: 下面这些关于Spark的性能调优项,有的是来自官方的,有的是来自别的的工程师,有的则是我自己总结的。 基本概念和原则 首先,要搞清楚Spark的几个基本概念和原则,否则系统的性能调优无从谈起: 每一台host上面可以并行N个worker,每一个worker下面可以并行M个executor,task们 阅读全文
posted @ 2016-07-23 15:32 XGogo 阅读(207) 评论(0) 推荐(0) 编辑