摘要: hadoop上传数据问题 2011-06-14 22:07当一个HDFS系统同时处理许多个并行的put操作,往HDFS上传数据时,有时候会出现dfsclient 端发生socket 链接超时的报错,有的时候甚至会由于这种原因导致最终的put操作失败,造成数据上传不完整。log类似如下:All datanodes *** are bad. Aborting...类似这样的错误,常常会在并行的put操作比较多,比如60-80个,每个put的数据量约100G的时候,产生类似的错误,错误出现以后,比较好一点的情况是DFSClient端会报出一些列的错误log,如:error Recovery for. 阅读全文
posted @ 2011-06-20 17:11 Angels-Wing 阅读(4335) 评论(2) 推荐(1) 编辑