MapReduce Shuffle机制
摘要：Mapper端：每个mapTask有一个环形缓冲区，用于存储map任务的输出。默认大小100M(io.sort.mb属性)，一旦达到阀值0.8（io.sort.spill.percent），一个后台线程把内容写到（spill）磁盘的指定目录（mapred.local.dir）下的新建的一个溢写文件。
阅读全文
posted @
2022-03-26 18:14
wzyy
阅读(49)
推荐(0) 编辑
Hive与Clickhouse对比
摘要：个人理解，欢迎指正 对比指标 Hive Clickhouse 元数据管理 元数据存MySQL，通过HiveMetaStore管理 每个Shard自己管理 数据存储 HDFS 本地磁盘 架构设计 MR架构 MPP架构 资源消耗 运行时申请资源 常驻进程 线程模式 单线程 多线程 写数据过程 可以直接附
阅读全文
posted @
2022-03-23 18:12
wzyy
阅读(2629)
推荐(0) 编辑
《MySQL实战45讲》个人笔记-实战篇
摘要：拜读了林晓斌大佬的《MySQL实战45讲》，特意做个知识点总结，以便后期回忆。 09、普通索引和唯一索引，应该怎么选择？ 查询时：普通索引找到第一个后，还会往下找，直到碰到第一个不满足条件的为止，如果这个条件在页的最后，那么还会加载下一页继续查找；唯一索引找到第一个后直接返回。 更新时： chang
阅读全文
posted @
2022-03-15 11:37
wzyy
阅读(476)
推荐(0) 编辑
《MySQL实战45讲》个人笔记-基础篇
摘要：拜读了林晓斌大佬的《MySQL实战45讲》，特意做个知识点总结，以便后期回忆。 01、基础架构：一条SQL查询语句是如何执行的？ Server 层包括连接器、查询缓存、分析器、优化器、执行器等，涵盖 MySQL 的大多数核心服务功能，以及所有的内置函数（如日期、时间、数学和加密函数等），所有跨存储引
阅读全文
posted @
2022-03-08 11:30
wzyy
阅读(292)
推荐(0) 编辑
