2018 年 11月 23 日随笔档案 - 狂奔的骆驼

2018年11月23日

摘要： hive自带的sql查询最终是转化成mapreduce任务进行。如何转换的呢？分为如下几步： 1、antlr词法解析器解析SQL成Abstract Syntax Tree即AST树 2、基于AST树解析成若干query block即QB，QB和QBParseInfo其实是hive源码里面的Bea 阅读全文

posted @ 2018-11-23 11:14 狂奔的骆驼阅读(2495) 评论(0) 推荐(0) 编辑

Hadoop mapreduce和Spark mapreduce的区别

摘要：总结一下第一代大数据计算Hadoop的mapreduce和第三代大数据计算Spark mapreduce 具体对比如下表：阅读全文

posted @ 2018-11-23 11:06 狂奔的骆驼阅读(464) 评论(0) 推荐(0) 编辑