【慕课网实战】二、以慕课网日志分析为例 进入大数据 Spark SQL 的世界

MapReduce的局限性：

1）代码繁琐；

2）只能够支持map和reduce方法；

3）执行效率低下；

4）不适合迭代多次、交互式、流式的处理；

 

框架多样化：

1）批处理（离线）：MapReduce、Hive、Pig

2）流式处理（实时）： Storm、JStorm

3）交互式计算：Impala

 

学习、运维成本无形中都提高了很多

 

===> Spark

 

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

 

BDAS:Berkeley Data Analytics Stack