标签集

2012年1月10日

用TestDFSIO进行HDFS基准测试,问题,哪位帮帮看看?

摘要: 环境:20个node;2-core cpu 1G RAM 20G Harddiskhadoop 版本0.20.2用TestDFSIO进行HDFS基准测试使用的命令hadoop jar ....TestDFSIO - write -nrFiles 10 -fileSize 500运行中出现如下错误:12/01/09 16:00:45 INFO mapred.JobClient: Task Id : attempt_201201091556_0001_m_000006_2, Status : FAILEDjava.io.IOException: All datanodes 192.168.0.17 阅读全文

posted @ 2012-01-10 15:12 宋亚奇 阅读(2284) 评论(3) 推荐(0) 编辑

2011年8月16日

vbox中读取iso内容

摘要: 今天在安装vbox增强功能时,选择 设备-〉安装增强功能,但在media下的内容不是iso中的内容,直到重新启动电脑后才正确了。奇怪 阅读全文

posted @ 2011-08-16 10:23 宋亚奇 阅读(200) 评论(0) 推荐(0) 编辑

2011年7月5日

hadoop的优势(不断更新中)

摘要: 1. 速度快. Hbase从2T数据中查找1条记录用2秒,这是ORACLE达不到的. http://wenku.baidu.com/view/6f61a42eb4daa58da0114a41.html 阅读全文

posted @ 2011-07-05 09:02 宋亚奇 阅读(410) 评论(0) 推荐(0) 编辑

2011年7月4日

安装hadoop感悟

摘要: 初次使用hadoop,摆在面前两种方案:1。选3台主机建立系统;2。选择虚拟机系统;由于刚得到一台高配的pc,有4g内存,所以选2 。安装配置目前已完成,中间遇到不少问题,感觉使用虚拟机还是省了很多时间,更加方便。结论:学习阶段使用虚拟机;工程阶段使用多机。 阅读全文

posted @ 2011-07-04 09:17 宋亚奇 阅读(777) 评论(1) 推荐(0) 编辑

2011年7月1日

安装HBase感悟

摘要: 1 分别测试:先测试hadoop是否安装配置成功,然后再测试hbase。2 版本问题很严重。这需要首先阅读hbase-0.90.3/doc下的文档。在Start Guid中明确说明了hadoop hbase zookeeper搭配各自的版本,这样就可以少走弯路了。3 学会看日志了。在执行bin/start-all后只是提示操作的结果写入了相关日志,并不代表执行成功。可以首先使用jps察看进程列表,或者用浏览器察看相关监控页面,如果不正常,比如有的进程没有正常启动,再看日志。日志文件有两种.out 和.log,往往.out总是空的,我都看log,比如,发现HMaster进程没有启动,则看Hado 阅读全文

posted @ 2011-07-01 11:42 宋亚奇 阅读(605) 评论(0) 推荐(0) 编辑

HBASE安装过程-all

摘要: 环境hbase-0.90.3hadoop-0.20.2一开始我用的是hadoop-0.21.0,搞了半天搞不好,日志里面报错说连接的时候出错2011-06-15 16:05:32,239 FATAL org.apache.hadoop.hbase.master.HMaster: Unhandled exception. Starting shutdown.java.io.IOException: Call to hadoop5/10.20.151.9:9000 failed on local exception: java.io.EOFException看了半天配置看不出有什么问题,后来和同事 阅读全文

posted @ 2011-07-01 11:21 宋亚奇 阅读(2573) 评论(0) 推荐(0) 编辑

2011年6月30日

HBase vs Cassandra: 我们迁移系统的原因

摘要: 原文: http://ria101.wordpress.com/2010/02/24/hbase-vs-cassandra-why-we-moved/ 原作者:Dominic Williams 原文发布日期:February 24, 2010 at 7:27 pm 译者:王旭(http://wangxu.me/blog/ , @gnawux) 翻译时间:2010年3月21-25日我的团队近来正在忙于一个全新的产品——即将发布的网络游戏 http://translate.googleusercontent.com/translate_c?hl=en&ie=UTF-8&sl=en& 阅读全文

posted @ 2011-06-30 22:01 宋亚奇 阅读(595) 评论(0) 推荐(0) 编辑

各种nosql数据库的比较Cassandra,MongoDB,CouchDB,Redis,Riak,HBase

摘要: 来源:http://hi.baidu.com/eastdoor/blog/item/758d0e3eedb5d92471cf6c14.html各种nosql数据库的比较Cassandra,MongoDB,CouchDB,Redis,Riak,HBaseCouchDB开发语言:: Erlang 主要优点: 数据一致性,易用 许可: Apache Protocol: HTTP/REST适用: 积累性的、较少改变的数据。或者是需要版本比较多的举例: CRM, CMS systems. 允许多站部署.Redis开发语言:: C/C++ 主要优点: 一个字 快 许可: BSD Protocol: Tel 阅读全文

posted @ 2011-06-30 22:00 宋亚奇 阅读(3812) 评论(1) 推荐(0) 编辑

2011年5月30日

数据挖掘算法计算量大的论据

摘要: 目前用于短信自动分类的机器学习方法主要有朴素贝叶斯[10]、SVM[11]、KNN[12][13]、人工神经网络算法[14]等。基于内容的垃圾短信过滤与基于关键词的垃圾短信过滤相比,其运算量更大。 阅读全文

posted @ 2011-05-30 17:35 宋亚奇 阅读(313) 评论(0) 推荐(0) 编辑

云计算的优势(传统平台的问题)

摘要: 1。并行化 ,计算速度快2。能够处理的数据规模大3。具体编程实现:由于在云计算平台上不用再考虑线程之间的同步、互斥、并发等问题,使系统设计实现较为容易。4。系统扩展:在云计算平台上增加新的机器即可实现系统扩展,而传统并行系统扩展则相对麻烦。 阅读全文

posted @ 2011-05-30 17:29 宋亚奇 阅读(349) 评论(0) 推荐(0) 编辑

导航