Spark3.0分布,Structured Streaming UI登场
近日,在Spark开源十周年之际,Spark3.0发布了,这个版本大家也是期盼已久。登录Spark官网,最新的版本已经是3.0。而且不出意外,对于Structured Streaming进行了再一次的加强,这样Spark和Flink在实时计算领域的竞争,恐怕会愈演愈烈。
Spark 3.0 主要的新特性如下:
- 相比于Spark2.4,性能提升了2倍,主要体现在自适应查询执行,动态分区修剪等方面。
- Pandas API改动,包括Python类型的提示和UDF函数。
- 对于PySpark的异常处理进行了增强。
- 新的Structured Streaming UI页面。
- 而且解决了大量Jira问题。
Structured Streaming最初于Spark 2.0引入,并且停止了SparkStreaming的更新,很明显Structured Streaming的出现是为了在实时计算领域可以与对水印,窗口等支持更好的Flink一战。
3.0版本添加Structured Streaming的专用UI,可以方便的查看流作业的执行信息。
虽然与Flink比起来,Structured Streaming还有很长的路要走,但是可以期待Spark 3.0版本对于Structured Streaming的持续加强。
更多实时数据分析相关博文与科技资讯,欢迎关注 “实时流式计算”
大数据流动 专注于大数据实时计算,数据治理,数据可视化等技术分享与实践。
请在后台回复关键字下载相关资料。相关学习交流群已经成立,欢迎加入~