摘要：
一、spark原理及知识体系 想必大家学习大数据的第一件工具就是Hadoop吧，无论是MR1，还是MR2，其实都是存在一些缺陷的，技术发展复合螺旋上升的趋势的，人类社会的发展也是如此。 基于磁盘，无论是MapReduce还是YARN都是将数据从磁盘中加载出来，经过DAG，然后重新写回到磁盘中。计算过 阅读全文
摘要：
一、Hive的知识体系 1.1、概念 Hive是由Facebook开源用于解决海量结构化日志的数据统计；Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射 成一张表，并提供类SQL查询功能，底层计算引擎默认为Hadoop的MapReduce（本质是将sql转化成mapreduc 阅读全文