大师兄的博客

摘要： 一、引用相等性与对象相等性 1. 引用相等性 引用到堆上同一个对象的两个引用是相等的，这就是引用的相等性。 如果想要知道两个引用是否相等，可以使用==来比较变量上的字节组合，如果引用到相同的对象，字节组合也会一样： 2. 对象相等性 堆上的两个不同对象在意义上是相同的，这就是对象的相等性。 两个对象 阅读全文

摘要： 一、概念 实际上对这两种传递方式，知乎上有个回答说得很好： 值传递和引用传递，属于函数调用时参数的求值策略(Evaluation Strategy)，这是对调用函数时，求值和传值的方式的描述，而非传递的内容的类型（内容指：是值类型还是引用类型，是值还是指针）。 值类型/引用类型，是用于区分两种内存分 阅读全文

摘要： 一、前言 1. 前提 因为hbase的运行模式是伪分布式，需要用到hdfs，所以在此之前，我已经完成了hadoop-eclipse的开发环境搭建，详细看另一篇文章：hadoop开发环境部署——通过eclipse远程连接hadoop2.7.3进行开发，本篇的目的是在windows端部署开发环境，使之能 阅读全文

摘要： 一、简介 快速排序（Quicksort）由C. A. R. Hoare在1962年提出，是对冒泡排序的一种改进。它采用了一种分治的策略，通常称其为分治法(Divide-and-ConquerMethod)， 快速排序由于排序效率在同为O(N*logN)的几种排序方法中效率较高，因此经常被采用。 二、 阅读全文

摘要： 一、堆的概念 我们一般提到堆排序里的堆指的是二叉堆（binary heap），是一种完全二叉树，二叉堆有两种：最大堆和最小堆，特点是父节点的值大于（小于）两个小节点的值。 二、基础知识 完全二叉树有一个性质是，除了最底层，每一层都是满的，这使得堆可以利用数组来表示，每个结点对应数组中的一个元素，如下 阅读全文

摘要： 一、归并（Merge） 1. 概念 将两个有序数列合并成一个有序数列，我们称之为“归并”。 2. 算法思路及实现 设两个有序的子序列(相当于输入序列)放在同一序列中相邻的位置上：array[low..m]，array[m + 1..high]，先将它们合并到一个局部的暂存序列 temp (相当于输出 阅读全文

摘要： 一、前言 环境： 系统：centos6.5 hadoop版本：Apache hadoop2.7.3（Windows和centos都是同一个） eclipse版本：4.2.0（juno版本，windows） ant版本：ant 1.7.1（windows） java版本：1.8.0_05（window 阅读全文

摘要： 一、 /proc 目录 Linux系统上的/proc目录是一种文件系统，即proc文件系统，与其它常见的文件系统不同的是，/proc文件系统是一个伪文件系统，它只存在内存当中，而不占用外存空间。它以文件系统的方式为内核与进程提供通信的接口。用户和应用程序可以通过/proc得到系统的信息，并可以改变内 阅读全文

摘要： 一、现象 map/reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节 阅读全文

摘要： 前言 17年底，买了清华大学出版社出版的《Hadoop权威指南》（第四版）学习，没想到这本书质量之差，超越我的想象，然后上网一看，也是骂声一片。从那个时候其就对出版社综合实力很感兴趣，想通过具体数据分析各个出版社的出版质量，另外借此也可以熟悉大数据生态和相关操作。 豆瓣上的书籍数据刚好可以满足需求， 阅读全文