如果清空Isilon cluster上的文件,Shadow Store和data reduction的统计信息也会一并清空么?

【声明:数据安全无比重要,清空数据的动作很危险,本文操作属研究兴趣使然,请读者不要模仿】


我们都知道Isilon在inline dedupe和post dedupe之后,会把重复的8K的blocks都会放在shadow store中,今天我想到一个问题:如果我们把cluster上的文件删光了,那么shadow store的文件何时会被清空?data reduction的统计信息也会被清空么?如果不能,那么怎么做才能更新shadow store,并且让isilon的统计信息跟当前存储的数据相一致呢?


答案应该是否定的,Shadow Store的信息更新是由Job engine里的job来更新的。而且,data-reduction的统计信息是根据shadow store的信息来计算的,所以,如果shadow store的信息不更新,那么data-reduction的信息就也不会更新了。


来看看验证过程:

当拷贝大量数据的时候,这个统计信息差个百分之二三十,我们也很难分辨,所以,干脆试试清空数据,那么统计数据是否跟数据情况相符就一目了然了。


当前这个Isilon cluster的shadow store的统计信息如下:

image


数据压缩和消重的统计信息如下:

image


使用下面的命令来快速批量删除cluster上的目录及目录里的文件:

# isi job jobs start treedelete --paths /ifs/dir1 --paths /ifs/dir2 --policy=HIGH


这个job运行结束之后,再运行下面两个job:

  • ShadowStoreProtect - Frees up space that is associated with shadow stores. Shadow stores are hidden files that are referenced by cloned and deduplicated files.
  • ShadowStoreDelete - Protects shadow stores that are referenced by a logical i-node (LIN) with a higher level of protection.

job report的记录如下:

image

注意,这里的tree delete job 失败并不是说文件没清空,而是这两个文件夹上建立了smart quota,job虽然失败了,但也仅仅是这两个目录删不掉而已。


再看看统计信息:

Shadow Store的统计信息已经更新了。

image


Data reduction 的统计信息也已更新如下:

image


注意,这里/ifs下已经没有任何的用户文件了,这里的739.31MB的logical data,都是系统文件。


参考资料

============

System jobs library

http://doc.isilon.com/onefs/8.1.1/help/en-us/ifs_r_system_jobs_library.html

posted on 2020-06-27 14:58  中道学友  阅读(500)  评论(0编辑  收藏  举报

导航

技术追求准确,态度积极向上