项目设计day1

项目内容:一个实时监控斗鱼TV某个主播弹幕的设计

通过python爬虫获取当前弹幕,通过flume采集数据,接下来数据分为线上和线下两种方案:

线上:实时分析,分为两种方案:(1) flume+kafka+storm+redis

                                                  (2) flume+kafka+spark streaming+ redis

线下:离线分析,两种方案:(1)hadoop1 + (hive/hbase)

                                                 (2) spark RDD / spark SQL

 

posted on 2018-07-26 16:04  叶子不要闹  阅读(86)  评论(0编辑  收藏  举报