随笔分类 - spark
摘要：https://blog.csdn.net/u013514928/article/details/56680825 1. aggregate函数 将每个分区里面的元素进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个函数最终返回的类型不需要和
阅读全文
摘要：https://blog.csdn.net/free356/article/details/72911898 系统为windows。安装配置Scala如下： 一，安装Scala 1，java6以上（建议java 7以上）安装 地址：http://www.oracle.com/technetwork/
阅读全文
摘要：首先在eclipse Java EE中新建一个Maven project具体选项如下 点击Finish创建成功，接下来把默认的jdk1.5改成jdk1.8 然后编辑pom.xml加入spark-core依赖 <!-- https://mvnrepository.com/artifact/org.ap
阅读全文
摘要：前言 在安装Spark之前，我们需要安装Scala语言的支持。在此我选择的是scala-2.11.12版本。jdk8也要保证已经安装好并且配置好环境变量 scala-2.11.12下载 为了方便，我先在我的hserver1主机上先安装，在scala官网下载scala-2.11.12.tgz并且上传到
阅读全文
