摘要：
ulimit 的功能和用法 ulimit 功能简述 假设有这样一种情况，当一台 Linux 主机上同时登陆了 10 个人，在系统资源无限制的情况下，这 10 个用户同时打开了 500 个文档，而假设每个文档的大小有 10M，这时系统的内存资源就会受到巨大的挑战。 而实际应用的环境要比这种假设复杂的多 阅读全文
摘要：
HBase经过七年发展，终于在今年2月底，发布了 1.0.0 版本。这个版本提供了一些让人激动的功能，并且，在不牺牲稳定性的前提下，引入了新的API。虽然 1.0.0 兼容旧版本的 API，不过还是应该尽早地来熟悉下新版API。并且了解下如何与当下正红的 Spark 结合，进行数据的写入与读取。鉴于... 阅读全文
摘要：
场景一：有一组服务器向客户端提供某种服务，我们希望客户端每次请求服务端都可以找到服务端集群中某一台服务器，这样服务端就可以向客户端提供客户端所需的服务。对于这种场景，我们的程序中一定有一份这组服务器的列表，每次客户端请求时候，都是从这份列表里读取这份服务器列表。那么这分列表显然不能存储在一台... 阅读全文
摘要：
rpc是Hadoop分布式底层通信的基础，无论是client和namenode，namenode和datanode，以及yarn新框架之间的通信模式等等都是采用的rpc方式。下面我们来概要分析一下Hadoop2的rpc。Hadoop通信模式主要是C/S方式，及客户端和服务端的模式。客户端采用传统的s... 阅读全文
摘要：
原文链接：http://blog.csdn.net/b2b160/article/details/4057781 阅读全文
摘要：
常用的哈希函数通用的哈希函数库有下面这些混合了加法和一位操作的字符串哈希算法。下面的这些算法在用法和功能方面各有不同，但是都可以作为学习哈希算法的实现的例子。1.RS从RobertSedgwicks的Algorithms in C一书中得到了。已经添加了一些简单的优化的算法，以加快其散列过程。pub... 阅读全文
摘要：
参与Region分配的重要对象在Region分配过程中，起着重要作用有如下一些对象。HMaster—是HBase中的Master server，仅有一个。HRegionServer---负责多个HRegion使之能向client端提供服务，在HBase cluster中存在多个HRegionServ... 阅读全文
摘要：
下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'查看记录get '表名称', '行名称'查... 阅读全文
摘要：
sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法sed命令行格式为：sed [-nefri] ‘command’ 输入文本常用选项：-n∶使用安静(silent)模式。在一般 sed 的用法中，... 阅读全文
摘要：
dfs.block.size 决定HDFS文件block数量的多少(文件个数),它会间接的影响Job Tracker的调度和内存的占用(更影响内存的使用),mapred.map.tasks.speculative.execution=truemapred.reduce.tasks.speculati... 阅读全文