摘要：
namenode存储的数据：主控服务器主要有三类数据：文件系统的目录结构数据，各个文件的分块信息，数据块的位置信息（就数据块放置在哪些数据服务器上...）。在GFS和HDFS的架构中，只有文件的目录结构和分块信息才会被持久化到本地磁盘上，而数据块的位置信息则是通过动态汇总过来的，仅仅存活在内存数据结构中，机器挂了，就灰飞烟灭了。每一个数据服务器启动后，都会向主控服务器发送注册消息，将其上数据块的状况都告知于主控服务器。俗话说，简单就是美，根据DRY原则，保存的冗余信息越少，出现不一致的可能性越低，付出一点点时间的代价，换取了一大把逻辑上的简单性，绝对应该是一个包赚不赔的买卖。。。Hdfs支持的 阅读全文
摘要：
这段时间折腾的都是hadoop和lucene，总结了hadoop在运营过程中出现问题时的解决方案，请大家指教！HDFS（0.20.2）运营中急救方案1Namenode挂掉（secondarynamenode无影响）如果Namenode挂掉，如果能立即起来通过，start-dfs.sh能够重新起来则可以正常使用。否则按照以下操作。下面所有操作前提是有完整的secondarynamenode。1）在非secondarynamenode服务器中选择datanode作为namenode。（目前在正式文档中没有发现，建议采用第二种，但在测试中没发现问题）a)Kill掉所有服务。b)修改新namenod. 阅读全文
摘要：
FSDirectory NIOFSDirectory 性能对比lucene/solr FSDirectory NIOFSDirectory 性能测试对比与Http11NioProtocol 文章分类:互联网 lucene 2.4 开始有一个 NIOFSDirectory 实现，使用 java.nio's FileChannel 读取文件。官方说：在大多数非 windows 平台下，多个线程共用单个 searcher 比 FSDirectory（在同一时刻只能一个线程使用 searcher）可以提高查询的吞吐量。 lucene 2.4 的 CHANGE.TXT 说明： 21. LUCEN 阅读全文
摘要：
一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的：public static RunningJob runJob(JobConf job) throws IOException { //首先生成一个JobClient对象 JobClient jc = new JobClient(job); …… //调用submitJob来提交一个任务 running = jc.submitJob(job); JobID jobId = running.getID(); …… while (true) { 阅读全文
摘要：
一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的：public static RunningJob runJob(JobConf job) throws IOException { //首先生成一个JobClient对象 JobClient jc = new JobClient(job); …… //调用submitJob来提交一个任务 running = jc.submitJob(job); JobID jobId = running.getID(); …… while (true) { 阅读全文
摘要：
1 cgywin下安装hadoop需要配置JAVA_home变量 ， 此时使用 window下安装的jdk就可以 ,但是安装路径不要带有空格。否则会不识别。2 在Window下启动Hadoop-0.21.0版本时，会出现下面这样的错误提示：Java代码java.lang.NoClassDefFoundError:org/apache/hadoop/util/PlatformNameCausedby:java.lang.ClassNotFoundException:org.apache.hadoop.util.PlatformNameatjava.net.URLClassLoader$1.run 阅读全文
摘要：
我想还有很多人没有听说过ZModem协议，更不知道有rz/sz这样方便的工具。 好东西不敢独享。以下给出我知道的一点皮毛。 下面一段是从SecureCRT的帮助中copy的：ZModem is a full-duplex file transfer protocol that supports fast data transfer rates and effective error detection. ZModem is very user friendly, allowing either the sending or receiving party to initiate a file 阅读全文
摘要：
http://wiki.apache.org/hadoop/EclipsePlugIn 阅读全文
摘要：
本文主要是以安装和使用hadoop-0.12.0为例，指出在部署Hadoop的时候容易遇到的问题以及如何解决。硬件环境共有3台机器，均使用的FC5系统，Java使用的是jdk1.6.0。IP配置如下：dbrg-1：202.197.18.72dbrg-2：202.197.18.73dbrg-3：202.197.18.74这里有一点需要强调的就是，务必要确保每台机器的主机名和IP地址之间能正确解析。一个很简单的测试办法就是ping一下主机名，比如在dbrg-1上ping dbrg-2，如果能ping通就OK！若不能正确解析，可以修改/etc/hosts文件，如果该台机器作Namenode用，则需要 阅读全文
摘要：
1、taskTracker和jobTracker启动失败2011-01-05 12:44:42,144 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.lang.RuntimeException: Not a host:port pair: localat org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:136)at org.apache.hadoop.net.NetUtils.createSocke 阅读全文