Centos7安装netcat运算sparkStreaming进行单词统计
安装命令:
yum install nc
监听端口
nc -l -k -p 6666
启动Sparkstreaming 程序
package streaming import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.DStream import org.apache.spark.streaming.{Seconds, StreamingContext} /** * spark streaming 处理socket数据 */ object NetworkWordCount { def main(args: Array[String]): Unit = { val spar: SparkConf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount") val ssc = new StreamingContext(spar,Seconds(5)) val lines = ssc.socketTextStream("192.168.100.100",6666) val result: DStream[(String, Int)] = lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_) result.print() ssc.start() ssc.awaitTermination() } }
在监听端口 输出单词以空格切割 ,才程序运行端查看结果
传播知识,分享快乐!
作者:IT_BULL
出处:http://www.cnblogs.com/itBulls/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
博客园-博客园。