摘要： LZO压缩，可分块并行处理，解压缩的效率也是可以的。为了配合部门hadoop平台测试，作者详细的介绍了如何在Hadoop平台下安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器并配置lzo的文件：core-site.xml、mapred-site.xml。希望对大家有所帮助。以下是正... 阅读全文

摘要： http://cache.baiducontent.com/c?m=9f65cb4a8c8507ed4fece763105392230e54f7327d818c027fa3cf1fd5790801013db2e5703f1006d0c46b6777ac494bea8635782a032ab49ec2... 阅读全文

摘要： http://cache.baiducontent.com/c?m=9d78d513d99b05f04fede52a56488071182497634bc0d1652888c215c53f07145321a3e52878564291d27d141cb20c19afe736056e507ceec894... 阅读全文

摘要： 转自：http://cache.baiducontent.com/c?m=9f65cb4a8c8507ed4fece763105392230e54f7257b8c8148228a8448e435061e5a35a3fd7c734e5392d8781b51d83904feb56b32610c66e4c... 阅读全文

摘要： http://liqita.iteye.com/blog/1676664参考地址，原始的代码复制有点不人情哎。第一步：下载lucene的核心包lucene-core-3.6.1-javadoc.jar (3.5 MB)lucene-core-3.6.1.jar (1.5 MB)拷贝到项目的lib 文... 阅读全文

摘要： 1、YARN或将成为Hadoop新发力点http://www.csdn.net/article/2013-06-27/2816031-hadoop-yarn2、更快、更强——解析Hadoop新一代MapReduce框架Yarnhttp://www.csdn.net/article/2014-02-1... 阅读全文

摘要： 轻松为应用程序构建搜索和索引功能 本文将探讨 Apache Lucene —— 性能卓越、功能全面的文本搜索引擎库。我们将学习 Lucene 架构及其核心 API。学习如何使用 Lucene 进行跨平台全文本搜索、建立索引、显示结果，以及如何扩展搜索。 阅读全文

摘要： 本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法。读者通过本文中新旧 hadoop map-reduce 框架的对比，更能深刻理解新的 yarn 框架的技术原理和设计思想，文中的 Demo 代码经过微小修改即可用于用户基于 hadoop 新框架的实际生产环境。 阅读全文

摘要： Hdfs文件系统，提供了一套基于hadoop的抽象文件系统的API，支持以流的方式访问文件系统中的数据。特性：1、 支持超大文件2、 检测和快速应对硬件故障（故障检测和自动恢复）3、 流式数据访问，注重的是数据的吞吐量，而不是数据的响应速度4、 简化的一致性模型，一次写入，多次读取。不适合：5、 低... 阅读全文

摘要： 1.1.1. hadoop IO 对比Java IO即可 FSDataInputStream,FSDataOutputStream 为抽象类， FSInputStream抽象类 1.1.2. hadoop文件系统中的权限 枚举类FsAction定义了rwx权限，常量 ... 阅读全文