摘要：今天，在运行Spark SQL代码的时候，遇到了以下错误： Spark SQL关键代码如下： 解决办法： 去掉coalesce。 参考 https://www.e-learn.cn/content/wangluowenzhang/700757 阅读全文

摘要：1、通配符。类似Java中的*。如：import scala.math._ 2、作为一个整体。:_*，告诉编译器你希望将某个参数当作参数序列处理！例如val s = sum(1 to 5:_*)就是将1 to 5当作参数序列处理。 3、指代一个集合中的每个元素。例如我们要在一个Array a中筛出偶 阅读全文

摘要：首先，我先定义一个文件，hello.txt，里面的内容如下： hello sparkhello hadoophello flinkhello storm Scala方式 scala版本是2.11.8。 配置maven文件，三个依赖： 运行结果： Java方式 Java8，用lamda表达式。 运行结 阅读全文

摘要：大数据的浪潮风靡全球的时候，Spark火了。在国外 Yahoo!、Twitter、Intel、Amazon、Cloudera 等公司率先应用并推广 Spark 技术，在国内阿里巴巴、百度、淘宝、腾讯、网易、星环等公司敢为人先，并乐于分享。在随后的发展中，IBM、Hortonworks、微策略等公司纷 阅读全文