2015 Spark 将走向哪里?
在刚刚过去的spark submit上,Matei Zahara简单回顾了下2014年spark的发展,可用一个词来概括那就是"Amazing"!!!
那么2015年,spark 将主要精力放在哪些方面呢?
一个是数据科学,即提供更高级的API接口,使得用户更易上手,像在单台机器上使用。主要的改变是:1.提供DataFrame(此已在1.3版本中看到了)2. 机器学习pipeline化 3. 增加R接口(大概在6月份1.4版中出现)
二是提供更多的数据源接口和packages。