随笔分类 -  spark streaming

摘要:关于这次总结还是要从一个bug说起。。。。。。。 场景描述:项目的基本处理流程为:从文件系统读取每隔一分钟上传的日志并由Spark Streaming进行计算消费,最后将结果写入InfluxDB中,然后在监控系统中进行展示,监控。这里的spark版本为2.2.1。 Bug:程序开发完成之后,每个ba 阅读全文
posted @ 2018-08-08 15:16 刘姥爷观园子 阅读(2821) 评论(4) 推荐(0) 编辑

点击右上角即可分享
微信分享提示