大数据技术常见的几种应用架构

1、离线计算

T+1离线分析的一种经典架构：

1、利用Flume从应用中收集用户行为日志；

2、将用户行为日志存储在HDFS当中；

3、利用Hive将SQL翻译为MapReduce可以处理的作业；

4、在作业中再批处理的结果写入到数据库当中存储；

5、再从数据库当中查询出我们的报表数据。 

 

2、实时计算

T+0实时计算的一种经典架构：

1、利用Kafka收集用户日志（如果物联网的话，采用MQTT收集数据，可能将存入Clickhouse);

2、再利用Flink完成流式实时计算；

3、Flink再将计算结果写入分布式存储系统（如HBase、ElasticSearch)

3、实时推荐

T+0实时推荐系统的一种经典架构：

1、先收集用户的行为数据；

2、再将数据存入推荐算法模型所需要的存储系统当中；

3、利用推荐算法模型完成实时推荐。