stay foolish,stay hungry.

导航

2017年4月10日 #

spark2.0的10个特性介绍

摘要： 1. Spark 2.0 ! 还记得我们的第七篇 Spark 博文里吗？里面我用三点来总结 spark dataframe 的好处： 当时是主要介绍 spark 里的 dataframe，今天是想总结一下 spark 2.0 的一些重大更新，准备过段时间［等到 2.0.1 或者 2.1 出来了就］切 阅读全文

posted @ 2017-04-10 17:53 red_and_black 阅读(2871) 评论(0) 推荐(0) 编辑

spark2.0 DataSet操作的一些问题记录

摘要： 随着新版本的Spark已经逐渐稳定，最近拟将原有框架升级到spark 2.0。还是比较兴奋的，特别是SQL的速度真的快了许多。。 然而，在其中一个操作时却卡住了。主要是dataframe.map操作，这个之前在spark 1.X是可以运行的，然而在spark 2.0上却无法通过。。 看了提醒的问题， 阅读全文

posted @ 2017-04-10 17:10 red_and_black 阅读(346) 评论(0) 推荐(0) 编辑