项目设计day1
项目内容:一个实时监控斗鱼TV某个主播弹幕的设计
通过python爬虫获取当前弹幕,通过flume采集数据,接下来数据分为线上和线下两种方案:
线上:实时分析,分为两种方案:(1) flume+kafka+storm+redis
(2) flume+kafka+spark streaming+ redis
线下:离线分析,两种方案:(1)hadoop1 + (hive/hbase)
(2) spark RDD / spark SQL
项目内容:一个实时监控斗鱼TV某个主播弹幕的设计
通过python爬虫获取当前弹幕,通过flume采集数据,接下来数据分为线上和线下两种方案:
线上:实时分析,分为两种方案:(1) flume+kafka+storm+redis
(2) flume+kafka+spark streaming+ redis
线下:离线分析,两种方案:(1)hadoop1 + (hive/hbase)
(2) spark RDD / spark SQL