06 2017 档案

在eclipse中运行spark examples（二）
摘要：在eclipse中运行spark examples（二） package org.apache.spark.examples.streaming; JavaCustomReceiver 编写辅助测试代码如下。 package tw; import java.io.IOException; import java.io.PrintWriter; import java.net.In... 阅读全文
posted @ 2017-06-06 10:37 阿梁的新博客 阅读(2256) 评论(0) 推荐(0) 编辑
setup spark-cluster并运行sparksql example
摘要：setup spark-cluster并运行sparksql example 准备spark-standalone集群环境 上传spark-2.1.1-bin-hadoop2.7.tgz到/root下 tar zxvf spark-2.1.1-bin-hadoop2.7.tgz 此为演示，生产环境略有不同 cd spark-2.1.1-bin-hadoop2.7/conf cp sp... 阅读全文
posted @ 2017-06-06 10:24 阿梁的新博客 阅读(643) 评论(0) 推荐(0) 编辑
运行spark exmaple 代码2.1.1
摘要：运行spark exmaple 代码 以管理员权限运行eclipse 以JavaSparkHiveExample为例 package :org.apache.spark.examples.sql 搭建代码环境 Figure 1新建maven项目，名称为spark2.1.1example 修改jdk版 阅读全文
posted @ 2017-06-06 10:23 阿梁的新博客 阅读(389) 评论(0) 推荐(0) 编辑