摘要：
红黑树——一种自平衡的二叉树 一、红黑树简介 普通二叉树在数据不够均匀的情况下，可能导致左右子树高度会相差比较大，最坏情况下树的结构相当于一个链表，时间复杂度为n。为了使二叉树在最坏情况下也能有log(n)的性能，需要对二叉树进行平衡操作，相应的算法有很多，红黑树就是其中一种算法。红黑树是一种自平衡 阅读全文
摘要：
YARN简介 一、YARN是什么 YARN不是facebook的那个yarn，它从Hadoop 2引入，最初目的是改善MapReduce的实现，但是因为具备足够通用性，同样也可以支持其他的分布式计算模式。YARN全称是Yet Another Resource Negotiator，翻译过来是另一种资 阅读全文
摘要：
安装一个Hadoop分布式集群 最小化的Hadoop已经可以满足学习过程中大部分需求，但是为了研究Hadoop集群运行机制，部署一个类生产的环境还是有必要的。因为集群机器比较少，笔者没有配置ssh，所以就需要在每一台机器上手动启动服务。启动上相对繁琐一些，优点是可以高度自定义集群中的任务节点数量，从 阅读全文
摘要：
HDFS简介 一、什么是HDFS HDFS全称是Hadoop Distributed File System，简称HDFS。这是一个分布式文件系统，当数据规模大小超过一台物理计算机的存储能力时，就有必要进行分区并存储到若干台物理计算机上。管理网络中跨多台计算机的文件系统称为分布式文件系统。 Hado 阅读全文
摘要：
初识MapReduce 一、什么是MapReduce MapReduce是一种编程范式，它借助Map将一个大任务分解成多个小任务，再借助Reduce归并Map的结果。MapReduce虽然原理很简单，但是使用MapReduce设计出一个解决问题的应用却不是一件简单的事情。下面通过一个简单的小例子来介 阅读全文
摘要：
安装一个最小化的Hadoop 为了学习HDFS和之后的MapReduce，我们需要安装一个Hadoop。 Hadoop一共有3种运行模式 独立模式：不启动守护进程，所有程序运行在一个JVM进程中。独立模式运行Hadoop很方便，适合学习和开发阶段 伪分布式：Hadoop运行在本机上，模拟一个小规模集 阅读全文
摘要：
前言 一、为什么要写这个 今年是我做工程师的第6个年头，回顾这6年虽然接触了不少东西，也学到了不少知识。但是实际上沉淀下来的东西很少。有时候回想起来，要说什么东西不会嘛，会的东西其实也不少（起码CURD灰常熟练）。但是要说什么都会，但是也没有系统的总结过。 最近闲来无事，在翻看《Hadoop 权威指 阅读全文
摘要：
linux挂载新硬盘 前言 最近一些功能需要一些虚拟机，考虑到创建虚拟机和配置一些常用软件比较麻烦，故打算先创建一个资源最小化的虚拟机，然后配置一些常用软件，以后需要可以直接复制后就能使用。 虽然虚拟机大部分资源都可以动态修改，但是硬盘空间并不是那么容易改。初始化硬盘设置过大了，不好回收，设置小了又 阅读全文
