lambda架构的简识

what：

　　lambda架构的作者是Nathan Marz。

　　Lambda架构的目标是设计出一个能满足实时大数据系统关键特性的架构，包括有：高容错、低延时和可扩展等。Lambda架构整合离线计算和实时计算，融合不可变性（Immunability），读写分离和复杂性隔离等一系列架构原则，可集成Hadoop，Kafka，Storm，Spark，Hbase等各类大数据组件。

 

　　常见架构：

　　

 

或者架构与可选组件：

 

 

How：

　　lambda架构分两条路径，分别是：speed layer 快速处理数据，供实时查询；batch layer 处理那些对时效性要求不高的数据。

　　Speed Layer处理实时数据 特点是：对计算资源要求很高, 而且逻辑复杂度也会很高， 通常采用的技术比如 Redis，Storm，Kafka，Spark Streaming等。

　　而另外一条路的两层使用的典型技术比如MR或Spark，Hive。特点是：处理延迟比较大， 结果逻辑相对简单

 

 demo：

　　用户浏览购物网站时的推荐系统, 会结合实时分析结果和离线处理结果: 以电商为例, 用户给购物车加了一件商品，根据这个操作"实时处理"会向用户做出推荐（用户把一条裙子加入购物车，立刻推荐这条裙子的搭配商品比如一双鞋子），但同时也要结合用户历史的行为来做推荐（用户喜欢红色，脚的尺码M）, 这依赖于离线处理的结果。两者结合（该鞋子的红色款且尺码M）就是最终用户在网页上看到的推荐商品列表。