2021年1月21日
HBase学习笔记——rowkey
摘要： 1.Airbnb rowkey设计案例 在Airbnb的rowkey设计案例中，使用了hash法避免了写入热点问题，其中 Event_key标识了一条日志的唯一性，用于将来自Kafka的日志数据进行去重； Shard_id是将Event_key进行hash（可以参考es的路由哈希算法Hashing. 阅读全文
posted @ 2021-01-21 10:48 tonglin0325 阅读(288) 评论(0) 推荐(0) 编辑
Hive学习笔记——fetch
摘要： 在美团点评的文章中，介绍了HiveSQL转化为MapReduce的过程 1、Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree 2、遍历AST Tree，抽象出查询的基本组成单元QueryBlock 3、遍历QueryBlock，翻译为执行操作树Ope 阅读全文
posted @ 2021-01-21 00:19 tonglin0325 阅读(327) 评论(0) 推荐(0) 编辑