2012年6月5日
hadoop 异常记录 ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
摘要： 当我把hadoop、hbase安装配置（具体参考这里）好了之后，启动hbase的shell交互模式，输入命令却出现了下面这样的错误：ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times这是为什么呢，Master为什么没有启动起来呢？查看logs目录下的Master日志，发现有以下信息：2012-02-01 14:41:52,867 FATAL org.apache.hadoop.hbase.master.HMaster: Unhandled exception. Starting shutdown.o 阅读全文
posted @ 2012-06-05 16:30 skyme 阅读(8340) 评论(0) 推荐(2) 编辑
Hadoop小文件存取的讨论
摘要： 现在的系统中，存在大量的小文件，放在Hadoop中，将极大的消耗namenode的资源。放在HBase中，由于Hbase的value最大长度是 64KB，而很多小文件又大过这个级别。HBase当时的设计是为了存储网页元素这样的小数据，顶多几K，如果存储1M左右的小文件，还是不合适的。直接放在hadoop文件系统中，大多只是做归档分析用，所以，我们就想能不能定期归档。于是想到用sequenceFile， 文件名为key，整行文件内容为value。这样子解决了存储的问题。但是查询起来并不方便。如果要查询sequenceFile的某个文件，则需要遍历整个sequenceFile。如果每次记录下seq 阅读全文
posted @ 2012-06-05 11:18 skyme 阅读(223) 评论(0) 推荐(0) 编辑
15个你可能不知道的开源云平台
摘要： 1.1 云服务环境 Eucalyptus1.1.1 介绍Elastic Utility Computing Architecture for Linking Your Programs To Useful Systems （Eucalyptus） 是一种开源的软件基础结构，用来通过计算集群或工作站群实现弹性的、实用的云计算。它最初是美国加利福尼亚大学 Santa Barbara 计算机科学学院的一个研究项目，现在已经商业化，发展成为了 Eucalyptus Systems Inc。不过，Eucalyptus 仍然按开源项目那样维护和开发。Eucalyptus Systems 还在基于开源的 E 阅读全文
posted @ 2012-06-05 09:59 skyme 阅读(19583) 评论(7) 推荐(5) 编辑