Spark——统计文本中单词出现的次数
示例一:统计所有单词出现的次数
1、在本地创建文件并上传到hdfs中
#vin data.txt //将文件上传到hadoop的根目录下 #hdfs dfs -put data.txt /
2、在spark中,创建一个RDD并读取文件
%spark var data = sc.textFile("/data.txt") data.collect
3、将读取到的文本使用flatMap方法(数据流映射)组合split方法拆分为单个单词
//注意:split("")引号中没有空格是以单个字母的形式拆分
val splitData = data.flatMap(line => line.split(" ")) splitData.collect
4、对每个单词执行映射k-value,k是具体的单词,value都设置为1
var mapData = splitData.map(word => (word,1)) mapData.collect
5、使用reduceByKey()方法进行聚合累加并输出结果
var reduceData = mapData.reduceByKey(_+_) reduceData.collect
示例二:统计指定单词出现的次数
//统计本文中"is"出现的次数
data.filter(line => line.contains("is")).count()
示例三:(更复杂的RDD操作)找到文本的一行中最多的单词数量
data.map(line => line.split(" ").size).reduce((a, b) => if (a > b) a else b)
tip:对于大型数据,可以将数据先加入缓存
例如:
data.cache()
data.count()