博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

haoop 断电后导致block文件损坏

Posted on 2016-12-26 19:41  松大人  阅读(393)  评论(1编辑  收藏  举报

hbase将dfs作为存储,公司测试环境断电后,hadoop集群会因此而损坏一些block文件,这个时候,客户端在读取文件时会报一些错:

  1. DataXceiver error processing READ_BLOCK operation
  2. Got error for OP_READ_BLOCK

因为文件损坏,我直接是把损坏的文件删除

先检查损坏文件:

hadoop fsck /

输出:

注意到 CORRUPT FILES 22;表示有22个损坏的块文件

删除损坏文件:

hadoop fsck / -delete

删除后需要重启

在检查后发现损坏文件为0,之后可以登录hbase webui进去看看tables的online regions是否都正常。

分享到: 微信 更多