2018年8月9日
创建RDD队列流
摘要： 程序就开始运行，就可以看到类似下面的结果： 阅读全文
posted @ 2018-08-09 16:36 Bean_zheng 阅读(190) 评论(0) 推荐(0) 编辑
Spark套接字监听
摘要： 在nc第一个终端窗口窗口中随意输入一些单词，监听窗口就会自动获得单词数据流信息，在监听窗口每隔1秒就会打印出词频统计信息，大概会再屏幕上出现类似如下的结果： 阅读全文
posted @ 2018-08-09 16:34 Bean_zheng 阅读(226) 评论(0) 推荐(0) 编辑
Streaming监控指定文件夹文件内容变化
摘要： #导入库 from operator import add from pyspark import SparkContext, SparkConf from pyspark.streaming import StreamingContext #配置创建StreamingContext对象 conf 阅读全文
posted @ 2018-08-09 16:27 Bean_zheng 阅读(692) 评论(0) 推荐(0) 编辑