摘要: 一、MapReduce跑的慢的原因: Mapreduce 程序效率的瓶颈在于两点: 1)计算机性能 CPU、内存、磁盘健康、网络 2)I/O 操作优化 (1)数据倾斜 (2)map和reduce数设置不合理 (3)reduce等待过久 (4)小文件过多 (5)大量的不可分块的超大文件 (6)spil 阅读全文
posted @ 2020-01-27 20:11 guoyu1 阅读(467) 评论(0) 推荐(0) 编辑
摘要: 一、B树 1、B树的结构: B树是一种多路搜索树。 定义任意非叶子结点最多只有M个儿子,且M>2。 根结点的儿子数为[2, M]。 除根结点以外的非叶子结点的儿子数为[M/2, M]。 每个结点存放至少M/2-1(取上整)和至多M-1个关键字;(至少2个关键字)。 非叶子结点的关键字个数=指向儿子的 阅读全文
posted @ 2020-01-27 19:15 guoyu1 阅读(542) 评论(0) 推荐(0) 编辑