摘要： 1. 概述随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和 容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，以下是主要几个：（1） Namenode/jobtracker单点故障。 Hadoop采用的是master/slaves架构，该架构管理起来比较简单，但存在致命的单点故障和空间容量不足等缺点，这已经严重影响了Hadoop的可扩展性。（2） HDFS小文件问题。在HDFS中，任何block，文件或者目录在内存中均以对象的形式存 储， 阅读全文

摘要： 根据网上的资料做些整理Java NIO API详解 http://www.blogjava.net/19851985lili/articles/93524.html这篇文章对nio的api讲解比较全，可以帮助在宏观上把握nio。BIO 方式使得整个处理过程和连接是绑定的，只要连接建立，无论客户端是否有消息发送，都要进行等待处理，一定程度上浪费了服务器端的硬件资源，因此就有了NIO 方式。Java 对于 NIO 方式的支持是通过 Channel和 Selector 方式来实现，采用的方法为向 Channel注册感兴趣的事件，然后通过 Selector 来获取到发生了事件的 key，如发生了相应的 阅读全文

摘要： 我的开发环境：操作系统centos5.5 一个namenode 两个datanodeHadoop版本：hadoop-0.20.203.0Eclipse版本：eclipse-java-helios-SR2-linux-gtk.tar.gz(使用3.7的版本总是崩溃，让人郁闷)第一步：先启动hadoop守护进程具体参看：http://www.cnblogs.com/flyoung2008/archive/2011/11/29/2268302.html第二步：在eclipse上安装hadoop插件1.复制 hadoop安装目录/contrib/eclipse-plugin/hadoop-0.20.2 阅读全文