摘要:
Hadoop 概述和结构 1. Hadoop 构成 Hadoop 是有两部分构成一个是分布式计算框架MapReduce另一个是分布式存储框架HDFS. 2.HDSF HDFS 是一个Master-Slave结构,其有一个NameNode和多个DataNode,组成,NameNode主要记录HDSF上 阅读全文
摘要:
zookeeper是一个分布式应用程序协调系统,主要会提供配置服务,分布式服务,权限服务,锁定功能以及分布式数据同步,今天主要说明一下zookeeper如何搭建伪分布 1. 下载zk程序,并解压,,略。 2. zk需要一个数据存放目录,其实就是zk各个节点存放数据和日志的目录,日志也可以放到其他文件 阅读全文
摘要:
目前工作中涉及索引,这就像了解一下数据库中的索引设计,进而复习一下大学时候的数据库索引 首先我们索引是在数据表上创建的,索引这个东东在数据库面试时经常问道,一般回答是索引就像一本书的目录一样,可以快速定位需要查找的内容,提高查询效率,简化查询步骤,这样的回答非常正确,但是其实就是废话,没有说明索引真 阅读全文
摘要:
胜者树与败者树 胜者树和败者树都是完全二叉树,是树形选择排序的一种变型。每个叶子结点相当于一个选手,每个中间结点相当于一场比赛,每一层相当于一轮比赛。 不同的是,胜者树的中间结点记录的是胜者的标号;而败者树的中间结点记录的败者的标号。 胜者树与败者树可以在log(n)的时间内找到最值。任何一个叶子结 阅读全文
摘要:
堆是一种特殊的数据结构,首先堆是一个完全二叉树,所有堆满足所有二叉树的特定,对于大顶堆,最大数应用再一位,所有如果向对一个数组排序,可以将堆顶和最后一个元素交换,之后再次调整堆,直到堆元素个数为1,所有堆排序算法很简单: 1. 将数组构建成一个堆(生序:大顶堆,降序:小顶堆) 2. 交换堆顶和最后一 阅读全文
摘要:
堆(英语:heap)是计算机科学中一类特殊的数据结构的统称。堆通常是一个可以被看做一棵树的数组对象。堆总是满足下列性质 堆中某个节点的值总是不大于或不小于其父节点的值; 堆总是一棵完全二叉树。 堆中某个节点的值总是不大于或不小于其父节点的值; 堆总是一棵完全二叉树。 堆分为两中,大顶堆、小顶堆;大顶 阅读全文
摘要:
在介绍了前面的三种基本算法之后,今天说说另一种稍微高级一点的算法--希尔排序 希尔排序是按照其设计折希尔(Donald Shell)的名字命令,它基于插入算法,在插入算法上做了改造,那么插入算法有什么特点呢,我们回想一下: 1. 插入排序在已经排好序的序列上效率非常高,时间复杂度O(n),但是在最坏 阅读全文
摘要:
排序是项目中经常使用的算法,下面简单说一下三种简单排序 1. 选择排序,选择排序应该是所有排序算法中最直接最简单的排序,经过N-1趟比较好,序列形成有序列表,具体算法是,每一趟找到最大或者最小值,之后交换,依次循环n-1次,所有时间复杂度未O(n2) 实现: 2.冒泡排序,冒泡是一种经典排序算法,每 阅读全文
摘要:
jstat jstat 1. jstat -gc pid 可以显示gc的信息,查看gc的次数,及时间。 其中最后五项,分别是young gc的次数,young gc的时间,full gc的次数,full gc的时间,gc的总时间。 2.jstat -gccapacity pid 可以显示,VM内存中 阅读全文
摘要:
方法一: $ iotop -oP 命令的含义:只显示有I/O行为的进程 测试结果: 方法二: $ pidstat -d 1 命令的含义:展示I/O统计,每秒更新一次 测试结果: 注意: 以上两个命令都需要内核版本支持kernels 2.6.20 and later only 原文出自:http:// 阅读全文