2015年11月28日
Spark向HDFS中存储数据
摘要： 程序如下：import org.apache.spark.sql.Row;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaS... 阅读全文
posted @ 2015-11-28 19:13 ~风轻云淡~ 阅读(5693) 评论(0) 推荐(0) 编辑
Spark从HDFS上读取JSON数据
摘要： 代码如下：import org.apache.spark.sql.Row;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaS... 阅读全文
posted @ 2015-11-28 18:50 ~风轻云淡~ 阅读(2194) 评论(0) 推荐(0) 编辑
Spark中加载本地（或者hdfs）文件以及SparkContext实例的textFile使用
摘要： 原文链接：Spark中加载本地（或者hdfs）文件以及SparkContext实例的textFile使用 默认是从hdfs读取文件，也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读 本地文件读取 sc.textFile("路径").在路径... 阅读全文
posted @ 2015-11-28 16:56 ~风轻云淡~ 阅读(3369) 评论(0) 推荐(0) 编辑
FLume监控文件夹，将数据发送给Kafka以及HDFS的配置文件详解
摘要： 详细配置文件flume-conf.properties如下：############################################# producer config############################################agent sectionp... 阅读全文
posted @ 2015-11-28 11:25 ~风轻云淡~ 阅读(5142) 评论(1) 推荐(0) 编辑
用Spark查询HBase中的表数据
摘要： java代码如下：package db.query;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org.apache.hadoop.conf.Configurati... 阅读全文
posted @ 2015-11-28 11:20 ~风轻云淡~ 阅读(6540) 评论(0) 推荐(1) 编辑
用Spark向HBase中插入数据
摘要： java代码如下：package db.insert;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.spark.SparkConf;import org.apache.spark.api.ja... 阅读全文
posted @ 2015-11-28 11:17 ~风轻云淡~ 阅读(1369) 评论(0) 推荐(0) 编辑
用Java操纵HBase数据库（新建表，插入，删除，查找）
摘要： java代码如下：package db.insert;/* * 创建一个students表,并进行相关操作 */import java.io.IOException;import java.io.Serializable;import java.util.ArrayList;import java.... 阅读全文
posted @ 2015-11-28 11:12 ~风轻云淡~ 阅读(1258) 评论(0) 推荐(0) 编辑