岚天逸见

ZooKeeper-3.4.10分布式安装指南

摘要：目录目录 11. 前言 12. 约定 13. 安装步骤 23.1. 配置/etc/hosts 23.2. 设置myid 23.3. 修改conf/zoo.cfg 23.4. 修改/bin/zkEnv.sh 33.5. 修改conf/log4j.properties 3... 阅读全文

posted @ 2014-04-22 11:55 岚天逸见阅读(416) 评论(0) 推荐(0)

摘要：目录目录 11. 前言 12. 安装依赖 12.1. 安装ProtocolBuffer 22.2. 安装CMake 22.3. 安装JDK 22.4. 安装Maven 33. 编译Hadoop源代码 3附1:无联网环境编译 5附2编译环境 6附3：版本信息 6附4：常... 阅读全文

posted @ 2014-04-21 15:48 岚天逸见阅读(175) 评论(0) 推荐(0)

摘要： NULL是个指针，还是个整数？0？或(void*)0？答案是和g++版本有关。g++ 4.6支持C++11，引入了nullptr，也许会发生变化。可以写段简单代码求证一下：#include #include int main(){ printf("... 阅读全文

posted @ 2014-04-21 15:36 岚天逸见阅读(593) 评论(0) 推荐(0)

摘要： 134217728 / 1024 = 131072 / 1024 = 128 阅读全文

posted @ 2014-04-19 14:33 岚天逸见阅读(637) 评论(0) 推荐(0)

摘要：为何Google GFS设计成对大文件友好，而像腾讯的TFS（Tencent File System）和淘宝的TFS（Taobao File System）却设计成对小文件友好了？这一点非常好理解，两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗？答案是... 阅读全文

posted @ 2014-04-19 11:31 岚天逸见阅读(290) 评论(0) 推荐(0)

摘要：该错误原因，可能是因为没有设置好SecondaryNameNode上core-site.xml文件中的“hadoop.tmp.dir”。2014-04-17 11:42:18,189 INFO org.apache.hadoop.hdfs.server.namenod... 阅读全文

posted @ 2014-04-19 10:57 岚天逸见阅读(732) 评论(0) 推荐(0)

摘要： clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199cluster... 阅读全文

posted @ 2014-04-19 10:39 岚天逸见阅读(1907) 评论(0) 推荐(0)

摘要：原因可能是指定的端口号9000不对，该端口号由hdfs-site.xml中的属性“dfs.namenode.rpc-address”指定，即为NameNode的RPC服务端口号。文件上传后，被存储在DataNode的data（由DataNode的hdfs-site.... 阅读全文

posted @ 2014-04-17 20:10 岚天逸见阅读(915) 评论(0) 推荐(0)

摘要： “Incompatible clusterIDs”的错误原因是在执行“hdfs namenode -format”之前，没有清空DataNode节点的data目录。网上一些文章和帖子说是tmp目录，它本身也是没问题的，但Hadoop 2.4.0是data目录，实际上... 阅读全文

posted @ 2014-04-17 19:54 岚天逸见阅读(376) 评论(0) 推荐(0)

摘要： “hdfs dfs -ls”带一个参数，如果参数以“hdfs://URI”打头表示访问HDFS，否则相当于ls。其中URI为NameNode的IP或主机名，可以包含端口号，即hdfs-site.xml中“dfs.namenode.rpc-address”指定的值。“h... 阅读全文

posted @ 2014-04-17 18:58 岚天逸见阅读(5228) 评论(0) 推荐(0)