寒假第七天

寒假第七天

对Spark进行下一步安装学习

创建RDD

 

 并且进行了简单的RDD操作

1. //获取RDD文件textFile的第一行内容
2. textFile.first()
3. //获取RDD文件textFile所有项的计数
4. textFile.count()
5. //抽取含有“Spark”的行，返回一个新的RDD
6. val lineWithSpark = textFile.filter(line => line.contains("Spark"))
7. //统计新的RDD的行数
8. lineWithSpark.count()

1. //找出文本中每行的最多单词数
2. textFile.map(line => line.split(" ").size).reduce((a, b) => if (a > b) a else b)