Hadoop-2.4.0中HDFS文件块大小默认为128M
摘要：
134217728 / 1024 = 131072 / 1024 = 128 阅读全文
posted @ 2014-04-19 14:33 #蓝天 阅读(625) 评论(0) 推荐(0) 编辑
2014年4月19日 #
看两种截然不同的设计理念：分布式文件系统支持大和小文件的思考
摘要：
为何Google GFS设计成对大文件友好，而像腾讯的TFS（Tencent File System）和淘宝的TFS（Taobao File System）却设计成对小文件友好了？这一点非常好理解，两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗？答案是... 阅读全文
posted @ 2014-04-19 11:31 #蓝天 阅读(259) 评论(0) 推荐(0) 编辑
SecondaryNameNode中的“Inconsistent checkpoint fields”错误原因
摘要：
该错误原因，可能是因为没有设置好SecondaryNameNode上core-site.xml文件中的“hadoop.tmp.dir”。2014-04-17 11:42:18,189 INFO org.apache.hadoop.hdfs.server.namenod... 阅读全文
posted @ 2014-04-19 10:57 #蓝天 阅读(687) 评论(0) 推荐(0) 编辑
查看HDFS集群信息
摘要：
clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199cluster... 阅读全文
posted @ 2014-04-19 10:39 #蓝天 阅读(1859) 评论(0) 推荐(0) 编辑
