摘要： 好吧,我有代码格式的强迫症,代码不整齐,我看的都头疼,之前一直喜欢用SourceStyler C++的,但是这个在win7下貌似不能使用,只能转向astyle了.http://www.cnblogs.com/xuxm2007/archive/2010/09/21/1832686.html关于参数的话,差不过够用就行,不用非得调的那么精细,比较重要的是要看代码啊,不是这玩意下面的url也是值得参考的:http://www.cppblog.com/jerryma/archive/2012/02/02/164813.htmlhttp://astyle.sourceforge.net/astyle.h 阅读全文

摘要： 现在hadoop的版本比较乱,常常搞不清楚版本之间的关系,下面简单的摘要了,apache hadoop和cloudera hadoop 的版本的演化. apache hadoop官方给出的版本说明是: 1.0.X - current stable version, 1.0 release 1.1.X - current beta version, 1.1 release 2.X.X - cu... 阅读全文

摘要： http://www.gnu.org/software/binutils/http://sourceware.org/binutils/docs-2.23.1/http://sourceware.org/binutils/docs-2.23.1/binutils/index.htmlhttp://yunli.blog.51cto.com/831344/186727 (推荐)http://wenku.baidu.com/view/fc8e70a1284ac850ad02424c.htmlGNU Binutils是一套二进制工具集，提供了一系列用来创建、管理和维护二进制目标文件的工具程序。Binu 阅读全文

摘要： http://blog.csdn.net/jaysuper/article/details/8021878 http://docs.fluentd.org/articles/install-from-source http://blog.treasure-data.com/post/13047440992/fluentd-the-missing-log-collector 推荐 About ... 阅读全文

摘要： 之前简单用过kt+leveldb,不过发现redis内置的多种数据结构操作,比较适合我的需求http://blog.nosqlfan.com/html/1031.htmlhttp://webd.is/https://github.com/nicolasff/webdis/http://www.cnblogs.com/yjf512/archive/2012/03/13/2393716.htmlhttp://atan.cn/webdis-install/顺便记录redishttps://redis.readthedocs.org/en/latest/http://redis.io/download 阅读全文

摘要： 最近想简单的学下streaming,主要是使用python,python+hadoop在前篇博文中也有例外介绍,挺有意思.C++的话有机会也想尝试下.记录看到的一些网页,作为备忘记录下来http://hadoop.apache.org/docs/r0.19.2/cn/streaming.html#Hadoop+Streaming 中文的,虽然版本比较老了http://hadoop.apache.org/docs/stable/streaming.html 最新版本http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce- 阅读全文

摘要： http://jason204.iteye.com/blog/1677664 http://blog.cloudera.com/blog/2013/01/a-guide-to-python-frameworks-for-hadoop/(推荐) I recently joined Cloudera after working incomputational biology/genom... 阅读全文

摘要： 1.git的安装 如果是源码安装fluent的话才需要git. wget https://git-core.googlecode.com/files/git-1.8.1.tar.gz ./configure --prefix=/home/admin/fluent/deplib/ make –j 12 &&make install 2.ruby的安装 wget ... 阅读全文

摘要： 将所有的文件都安装到kt-leveldb目录下 1.安装kyoto cabinet 1.wget http://fallabs.com/kyotocabinet/pkg/kyotocabinet-1.2.75.tar.gz 2../configure --prefix=/home/admin/lb-tt/kt-leveldb/ 3.make 4.make inst... 阅读全文

摘要： http://zhiwei.li/text/tag/gdb/page/2/http://blog.csdn.net/haoel/article/details/28791. 想查看造成core的query,但是默认print字符串的长度是200,可以set print elements 0,即可完整print全部字符串.2. Gdb的时候想要看到想要的代码,但是一个一个的通过directory添加太麻烦了,可以一次性在gdb开始的时候将全部源码路径添加进去,即可自由查看.举例如下:gdb `find isearch_cn_4_2_1.trunk -type d -printf '-d 阅读全文

摘要： 1.从wordcount作为入口 public class WordCount{ public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); Job job = new Job(conf, "word count");//job类的主要工作就是设置各... 阅读全文

摘要： 1.wordcount的代码如下 public class WordCount{ public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context conte... 阅读全文

摘要： hadoop的mapreduce的运行流程大概就是如下图所示了 如果要是文字描述,估计要大篇幅了,大家可以参考下面的参考文档. 参考文档 1.http://caibinbupt.iteye.com/blog/336467 2.http://hadoop.apache.org/docs/r0.19.2/cn/mapred_tutorial.html 3.http://developer.yahoo.com/hadoop/tutorial/module4.html 阅读全文

摘要： 在 Vim 中，有四个与编码有关的选项，它们是：fileencodings、fileencoding、encoding和termencoding。在实际使用中，任何一个选项出现错误，都会导致出现乱码。因此，每一个 Vim 用户都应该明确这四个选项的含义。下面，我们详细介绍一下这四个选项的含义和作用。1encodingencoding是 Vim 内部使用的字符编码方式。当我们设置了encoding之后，Vim 内部所有的 buffer、寄存器、脚本中的字符串等，全都使用这个编码。Vim 在工作的时候，如果编码方式与它的内部编码不一致，它会先把编码转换成内部编码。如果工作用的编码中含有无法转换为内 阅读全文

摘要： datanode的定义 public class DataNode extends Configured implements InterDatanodeProtocol, ClientDatanodeProtocol, FSConstants, Runnable, DataNodeMXBeanDataNode实现了两个通信接口，其中ClientDatanodeProtocol是用于和Clien... 阅读全文

摘要： BlockSender 在DataNode节点上，主要有四个地方会用到数据块发送器BlockSender： 1.当用户向HDFS读取某一个文件时，客户端会根据数据所在的位置转向到具体的DataNode节点请求对应数据块的数据，此时DataNode节点会用BlockSender向该客户端发送数据； 2.当NameNode节点发现某个Block的副本不足时，它会要求某一个存储了该Block的DataNode节点向其它DataNode节点复制该Block，当然此时仍然会采用流水线的复制方式，只不过数据来源变成了一个DataNode节点； 3.HDFS开了一个调节DataNode负载均衡的工具Bal. 阅读全文

摘要： DataNode上数据块的接受/发送并没有采用我们前面介绍的RPC机制，原因很简单，RPC是一个命令式的接口，而DataNode处理数据部分，往往是一种流式机制。DataXceiverServer和DataXceiver就是这个机制的实现。其中，DataXceiver还依赖于两个辅助类：BlockSender和BlockReceiver。如下是类图DataXceiverServerDataXceiverServer相对比较简单，创建一个ServerSocket来接受请求，每接受一个连接，就创建一个DataXceiver用于处理请求，并将Socket存在一个名为childSockets的Map中 阅读全文

摘要： http://www.54xiaomeng.com/?p=546模块入门–搜索发表于2012 年 6 月 5 日搜索能够帮助用户在海量的数据库中实现大海捞针，是产品最核心的模块之一。本篇是从设计的角度介绍搜索模块，包含Web和ios两个平台，下面直接开始正文：1.快速搜索搜索是帮助用户简单快速的匹配相关内容，最简单的search box主要包含两个元素：①文本框 ②按钮（可以隐藏用回车代替）快速搜索是最基本的搜索模型，用户输入文字点击按钮或直接回车即可完成搜索。2.垂直搜索如果搜索引擎明确只是在海量数据库中寻找一个特定的子集，那么这时候会使用到垂直搜索。垂直搜索主要元素包括：①文本框 ②... 阅读全文

摘要： 与块相关的操作由Dataset相关的类处理，存储结构由大到小是卷（FSVolume）、目录（FSDir）和文件（Block和元数据等） block相关 block类有三个属性 private long blockId;//blockidprivate long numBytes;//block大小private long generationStamp;//block版本号 Block是对一个数据块的抽象，通过前面的讨论我们知道一个Block对应着两个文件，其中一个存数据，一个存校验信息，如下： blk_3148782637964391313 blk_314878263796439... 阅读全文

摘要： DataNode节点中的存储路径会分别存储不同的文件数据块。HDFS对节点存储路径的实现被抽象成了一个StorageDirectory类。 StorageDirectory文件 StorageDirectory类主要包含三个属性: File root; // 节点存储目录所在本地文件系统的目录 dfs.data.dir中配置的一个本地路径FileLock lock; // 排它锁，同步控制节点对该存储目录的操作 in_use.lockStorageDirType dirType; // namenode 或者datanoderoot目录下的文件结构在上一篇中已经介绍过了.不过datanode和 阅读全文