shan_zhayidian

2021年3月4日

摘要：一：插入缓冲二：二次写三：自适应哈希四：预读 1.插入缓冲（insert buffer)插入缓冲（Insert Buffer/Change Buffer）：提升插入性能，change buffering是insert buffer的加强，insert buffer只针对insert有效，cha 阅读全文

posted @ 2021-03-04 16:12 shan_zhayidian 阅读(638) 评论(0) 推荐(0) 编辑

Hadoop 中shuffle为什么要排序？

摘要：排序对于数学运算来说，加减乘除是基本的运算符。而对于计算机计算处理数据来说，排序、查找等就是它的基本运算符。列一些排序的应用：查找某个元素在数组中的位置。可以将数组排序，之后二分查找找出两个数组都包含的元素。可以将两个数组排序，然后循环对比……在数据处理时，基于有序数据的处理会比无序数据快很多。阅读全文

posted @ 2021-03-04 15:11 shan_zhayidian 阅读(633) 评论(0) 推荐(0) 编辑

Hadoop的三种调度器

摘要： Hadoop的三种调度器（1）FIFO Scheduler 将所有的Applications放到队列中，先按照作业的优先级高低、再按照到达时间的先后，为每个app分配资源。如果第一个app需要的资源被满足了，如果还剩下了资源并且满足第二个app需要的资源，那么就为第二个app分配资源，and so 阅读全文

posted @ 2021-03-04 14:33 shan_zhayidian 阅读(607) 评论(0) 推荐(0) 编辑

2021年3月3日

kafka针对数据丢失和数据重复数据乱序的问题，的配置列表

摘要：引自：https://www.cnblogs.com/cherish010/p/9764810.html 鉴于producer的数据丢失和数据乱序两个问题，我们应该如何规避呢？对于消息丢失的问题，很容易想到的一个方法就是:既然异步发送有可能丢失数据，我改成同步发送总可以吧？比如这样：producer 阅读全文

posted @ 2021-03-03 14:20 shan_zhayidian 阅读(404) 评论(0) 推荐(0) 编辑

2021年2月2日

hadoop安装和配置lzo

摘要： Hadoop经常用于处理大量的数据，如果期间的输出数据、中间数据能压缩存储，对系统的I/O性能会有提升。综合考虑压缩、解压速度、是否支持split，目前lzo是最好的选择。LZO（LZO是Lempel-Ziv-Oberhumer的缩写）是一种高压缩比和解压速度极快的编码，它的特点是解压缩速度非常快，阅读全文

posted @ 2021-02-02 09:51 shan_zhayidian 阅读(844) 评论(0) 推荐(0) 编辑

2021年1月27日

shell脚本中$*,$@,$#的区别

摘要： shell脚本中的$*，$@和$# #!/bin/bash my_fun() { echo "$#" } echo 'the number of parameter in "$@" is '$(my_fun "$@") echo 'the number of parameter in "$*" is 阅读全文

posted @ 2021-01-27 10:50 shan_zhayidian 阅读(1738) 评论(0) 推荐(0) 编辑

Linux脚本任意位置运行

摘要：在 Linux 下写完一个脚本，通常情况下我们需要到脚本所在的目录，才可以执行这个脚本。但是大家有没注意到，像 ls 、cd 、pwd 这样的命令，它们的程序是位于 /bin 目录下，但是我们却可以在系统的任意位置都可以执行这些程序。它们是怎么做到的？那是因为这些命令对应的程序所在路径被加到了阅读全文

posted @ 2021-01-27 10:48 shan_zhayidian 阅读(651) 评论(0) 推荐(0) 编辑

2021年1月9日

红黑树概述和原理

摘要：红黑树概述红黑树和我们以前学过的AVL树类似，都是在进行插入和删除操作时通过特定操作保持二叉查找树的平衡，从而获得较高的查找性能。不过自从红黑树出来后，AVL树就被放到了博物馆里，据说是红黑树有更好的效率，更高的统计性能。这一点在我们了解了红黑树的实现原理后，就会有更加深切的体会。红黑树和AVL 阅读全文

posted @ 2021-01-09 09:21 shan_zhayidian 阅读(155) 评论(0) 推荐(0) 编辑

2021年1月8日

explain查看sql的执行计划

摘要：我们写完一个sql语句，为了让它高性能地执行，一定要explain一下，查看一下它的执行计划。查看心法： 1.首先从查询类型type列开始查看，如果出现all关键字，那么不用继续看了，全表扫描了 2.查看key列，看是否使用了索引，null代表没有使用索引 3.查看rows列，该列代表在SQL执行阅读全文

posted @ 2021-01-08 09:03 shan_zhayidian 阅读(148) 评论(0) 推荐(0) 编辑

2021年1月7日

hive常用函数

摘要： 1数学函数 round(double d) round(double d,int n) floor(double d) ceil(double d) ceiling(double d) rand() rand(int seed) exp(double d) ln(double d) log10(do 阅读全文

posted @ 2021-01-07 09:40 shan_zhayidian 阅读(121) 评论(0) 推荐(0) 编辑

公告