随笔分类 - 大数据
摘要：本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。 Hive Hive是什么？Hive
阅读全文
摘要：SqlParser 基本概念 SqlUtil.andExpressions：拼接查询条件。 SqlParser：sql转换器，将sql字符串转换为sql语法树 SqlNode：sql语法树基础元素 SqlParserPos：为当前元素在sql语法树中位置 SqlKind：节点类型 SqlCall：语
阅读全文
摘要：Apache Drill 理解 一、RestApi 二、遇到问题 1. 中文编码问题 2. 升级无法启动问题 3. mysql sql解析执行语法问题 4. 集群模式下 jdbc driver 代替 restapi问题 三、案例解析 四、官网文档 启动drill 单机 集群 安装drill，User
阅读全文
摘要：Apache Calcite 架构理解 一、简介和架构 二、SQL解析 三、案例分析 四、总结 六、参考链接 官网 SQL解析和重构，Calcite 简单使用 【Flink SQL】Apache Calcite 架构剖析 Apache Kafka in 6 minutes
阅读全文
摘要：阅读源码技巧 转载于 https://baijiahao.baidu.com/s?id=1712096392024186044&wfr=spider&for=pc 优秀的程序员一定会阅读很多源码，阅读源码也是有很多技巧的。 通常，根据他人总结的项目文档，先看整体（目录和类图）再看局部（类和函数）。对
阅读全文
摘要：md5 + 签名认证 package com.alibaba.dt.dataphin; import org.apache.commons.codec.binary.Base64; import org.apache.http.Header; import org.apache.http.HttpR
阅读全文
摘要：由于在写这篇博客之前，已经接触一些Hadoop的基础知识，我先把之前所学的一些基本概念和理解分享到这里，导图如下。 遵从着学习新知识的三大入手点（Why What How）出发。首先认识大数据先要理解 什么是 大的数据，为什么会有这项技术的诞生，有那些基本的思想，哪些具体的实现技术以及如何去部署实现
阅读全文
摘要：想学大数据已经很久了，之前接触了java的一些基础知识，但没有仔细的整理成文档和导图，导致学过的东西很容易就会忘记，只留下一些片面的知识点，没有形成一个整体的大局观念，以至于跟别人解释时导致每次想说的东西有很多，但又没有一个清晰的逻辑架构，搞得自己和别人都稀里糊涂，场面很是尴尬…… 这次打算结合着j
阅读全文
摘要：一、引言 1、 简介 Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具。Avro是一个数据序列化的系统。Av
阅读全文
