2015年3月14日

spark 1.3 发布了

摘要: 悄悄地,spark 还是像往常一样,发布了1.3版本,从release notes可以看出,这一版本比较大的变化是1. 增加了DataFrame API,这样以后操作一些结构化的数据集时将会变的非常方便,它可以通过数据源如Hive tables, JSON data, a JDBC databa... 阅读全文

posted @ 2015-03-14 12:52 Ai_togic 阅读(912) 评论(0) 推荐(1) 编辑

spark 源码导读5 列举spark引用的框架和算法

摘要: 谈起spark,我们首先想到的是其运算速度的提升上,另外是其支持批处理、交互式、迭代和流计算等,其实spark还有一个很大的优势是其源码的数量上,非常精简,这对于我们阅读源码,在心理上克服了一个很大的障碍。为什么会这样? 一方面是spark采用了高效(主要从代码量上说)的scala语言编写,另一... 阅读全文

posted @ 2015-03-14 11:49 Ai_togic 阅读(368) 评论(0) 推荐(0) 编辑

导航