SparkStreaming+Kafka整合

SparkStreaming+Kafka整合

 

1.需求

使用SparkStreaming，并且结合Kafka，获取实时道路交通拥堵情况信息。

 

2.目的

对监控点平均车速进行监控，可以实时获取交通拥堵情况信息。相关部门可以对交通拥堵情况采取措施。

e.g.1.通过广播方式，让司机改道。

      2.通过实时交通拥堵情况数据，反映在一些APP上面，形成实时交通拥堵情况地图，方便用户查询。

 

3.架构

1.客户端产生数据，并且把数据发送到Kafka集群的spark-real-time-vehicle-log的topic中

2.SparkStreaming从Kakfa集群的Topic: spark-real-time-vehicle-log中读取数据

3.SparkStreaming使用窗口函数对数据流进行处理，每个5秒，处理过去1分钟的数据

4.把结果打印(这里也可以把结果保存到关系型数据库，供WebUI显示)

 

4.源码

RealTimeVehicleSpeedMonitorMain

 

5.效果 

 

6.更多

想要了解更多戳Spark Examples 准没错

 

========================================================

More reading,and english is important.

I'm Hongten

 

大哥哥大姐姐，觉得有用打赏点哦！你的支持是我最大的动力。谢谢。
Hongten博客排名在100名以内。粉丝过千。
Hongten出品，必是精品。

E | hongtenzone@foxmail.com  B | http://www.cnblogs.com/hongten

========================================================