上一页 1 2 3 4 5 6 7 8 9 ··· 12 下一页
摘要: 一:插入缓冲 二:二次写 三:自适应哈希 四:预读 1.插入缓冲(insert buffer)插入缓冲(Insert Buffer/Change Buffer):提升插入性能,change buffering是insert buffer的加强,insert buffer只针对insert有效,cha 阅读全文
posted @ 2021-03-04 16:12 shan_zhayidian 阅读(667) 评论(0) 推荐(0) 编辑
摘要: 排序对于数学运算来说,加减乘除是基本的运算符。而对于计算机计算处理数据来说,排序、查找等就是它的基本运算符。 列一些排序的应用: 查找某个元素在数组中的位置。可以将数组排序,之后二分查找找出两个数组都包含的元素。可以将两个数组排序,然后循环对比……在数据处理时,基于有序数据的处理会比无序数据快很多。 阅读全文
posted @ 2021-03-04 15:11 shan_zhayidian 阅读(655) 评论(0) 推荐(0) 编辑
摘要: Hadoop的三种调度器 (1)FIFO Scheduler 将所有的Applications放到队列中,先按照作业的优先级高低、再按照到达时间的先后,为每个app分配资源。如果第一个app需要的资源被满足了,如果还剩下了资源并且满足第二个app需要的资源,那么就为第二个app分配资源,and so 阅读全文
posted @ 2021-03-04 14:33 shan_zhayidian 阅读(641) 评论(0) 推荐(0) 编辑
摘要: 引自:https://www.cnblogs.com/cherish010/p/9764810.html 鉴于producer的数据丢失和数据乱序两个问题,我们应该如何规避呢?对于消息丢失的问题,很容易想到的一个方法就是:既然异步发送有可能丢失数据,我改成同步发送总可以吧?比如这样:producer 阅读全文
posted @ 2021-03-03 14:20 shan_zhayidian 阅读(421) 评论(0) 推荐(0) 编辑
摘要: Hadoop经常用于处理大量的数据,如果期间的输出数据、中间数据能压缩存储,对系统的I/O性能会有提升。综合考虑压缩、解压速度、是否支持split,目前lzo是最好的选择。LZO(LZO是Lempel-Ziv-Oberhumer的缩写)是一种高压缩比和解压速度极快的编码,它的特点是解压缩速度非常快, 阅读全文
posted @ 2021-02-02 09:51 shan_zhayidian 阅读(940) 评论(0) 推荐(0) 编辑
摘要: shell脚本中的$*,$@和$# #!/bin/bash my_fun() { echo "$#" } echo 'the number of parameter in "$@" is '$(my_fun "$@") echo 'the number of parameter in "$*" is 阅读全文
posted @ 2021-01-27 10:50 shan_zhayidian 阅读(1755) 评论(0) 推荐(0) 编辑
摘要: 在 Linux 下写完一个脚本,通常情况下我们需要到脚本所在的目录,才可以执行这个脚本。但是大家有没注意到,像 ls 、cd 、pwd 这样的命令,它们的程序是位于 /bin 目录下,但是我们却可以在系统的任意位置都可以执行这些程序。 它们是怎么做到的? 那是因为这些命令对应的程序所在路径被加到了  阅读全文
posted @ 2021-01-27 10:48 shan_zhayidian 阅读(732) 评论(0) 推荐(0) 编辑
摘要: 红黑树概述 红黑树和我们以前学过的AVL树类似,都是在进行插入和删除操作时通过特定操作保持二叉查找树的平衡,从而获得较高的查找性能。不过自从红黑树出来后,AVL树就被放到了博物馆里,据说是红黑树有更好的效率,更高的统计性能。这一点在我们了解了红黑树的实现原理后,就会有更加深切的体会。 红黑树和AVL 阅读全文
posted @ 2021-01-09 09:21 shan_zhayidian 阅读(156) 评论(0) 推荐(0) 编辑
摘要: 我们写完一个sql语句,为了让它高性能地执行,一定要explain一下,查看一下它的执行计划。 查看心法: 1.首先从查询类型type列开始查看,如果出现all关键字,那么不用继续看了,全表扫描了 2.查看key列,看是否使用了索引,null代表没有使用索引 3.查看rows列,该列代表在SQL执行 阅读全文
posted @ 2021-01-08 09:03 shan_zhayidian 阅读(151) 评论(0) 推荐(0) 编辑
摘要: 1数学函数 round(double d) round(double d,int n) floor(double d) ceil(double d) ceiling(double d) rand() rand(int seed) exp(double d) ln(double d) log10(do 阅读全文
posted @ 2021-01-07 09:40 shan_zhayidian 阅读(122) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 ··· 12 下一页