文章分类 - spark
摘要：源码学习 Spark源码注释中有下面一句话: Asynchronously passes SparkListenerEvents to registered SparkListeners 即所有spark消息SparkListenerEvents 被异步的发送给已经注册过的SparkListener
阅读全文
摘要：作者：王燚光 链接：http://www.zhihu.com/question/33270495/answer/93424104来源：知乎 梳理一下Spark中关于并发度涉及的几个概念File，Block，Split，Task，Partition，RDD以及节点数、Executor数、core数目的
阅读全文
摘要：转自：http://www.cnblogs.com/bonelee/p/6039469.html 用实例说明Spark stage划分原理 用实例说明Spark stage划分原理 注意：此文的stage划分有错，stage的划分是以shuffle操作作为边界的，可以参考《spark大数据处理技术》
阅读全文
摘要：Spark学习 简述总结 引言 1 Hadoop 和 Spark 的关系 Spark 系统架构 1 spark 运行原理 RDD 初识 shuffle 和 stage 性能优化 1 缓存机制和 cache 的意义 2 shuffle 的优化 3 资源参数调优 4 小结 本地搭建 Spark 开发环境
阅读全文
摘要：1.in 不支持子查询 eg. select * from src where key in(select key from test);支持查询个数 eg. select * from src where key in(1,2,3,4,5);in 40000个 耗时25.766秒in 80000个
阅读全文
摘要：转：http://blog.csdn.net/oopsoom/article/details/39401391 Spark1.1推出了Uer Define Function功能，用户可以在Spark SQL 里自定义实际需要的UDF来处理数据。 因为目前Spark SQL本身支持的函数有限，一些常用
阅读全文
摘要：1.需求描述 将a表的数据与b表的两个字段进行关联，输出结果 a表数据约24亿条 b表数据约30万条 2.优化效果 优化后执行时间从数天减少到数分钟 3.资源配置 spark 1.4.1 200core,600G RAM 4.代码简化版（优化前） 5.代码简化版（优化后） 后来经过排查发现是使用or
阅读全文
摘要：最近两天研究spark直接读取hbase数据，并将其转化为dataframe。之所以这么做， 1、公司的数据主要存储在hbase之中 2、使用dataframe，更容易实现计算。 尽管hbase的官方已经提供了hbase-spark 接口，但是并未对外发布，而且目前的项目又有这方面的需求，且网上关于
阅读全文
摘要：1. 主要参考资料http://spark.incubator.apache.org/docs/latest/scala-programming-guide.htmlhttp://www.eecs.berkeley.edu/Pubs/TechRpts/2011/EECS-2011-82.pdf2.
阅读全文
摘要：运行在mesos上面和 spark standalone模式的区别是： 1）stand alone 需要自己启动spark master 需要自己启动spark slaver（即工作的worker） 2）运行在mesos 启动mesos master 启动mesos slaver 启动spark的
阅读全文
.jpg)
