fs-hasher工具介绍
工具列表
hf-stat hf-simdex fs-hasher
hf-stat工具
使用方法
以-f参数为例
Usage: ./hf-stat -f hashfile
参数用途
-f : 显示.hash.anon文件中存储的文件信息列表

-h : 显示哈希文件中各文件的数据块的信息:数据块哈希值(Chunk Hash)、数据块的长度(Chunk Size)、压缩率(Compression Ratio)

-w : 显示所包含的文件哈希(File Hash)和相应的文件路径(File Path)

-t : 显示.hash.anon文件的总体信息

hf-simdex
使用方法:
Usage: ./hf-simdex [-i <list|rbtree>] [-s <hash>] hashfile ...
参数用途
-i : 指定操作方法,默认值为rbtree。
若添加参数为rbtree,效果如下,效果看上去非常像hf-stat -t的效果,但多出了重复数据块的统计信息。

添加参数为list,效果与rbtree相同,多输出了中间过程,但运行速度明显较rbtree慢10倍以上。

-s : 从统计中剔除指定的hash值对应的数据块。

示例中选择剔除了hash值为e3:79:72:7f:1a:a0的数据块,可以看到数据块总数从1069738减少到了1069737,由于剔除的数据块没有重复出现,因此重复数据块统计结果未变。对比结果如下所示:

fs-hasher
使用方法
Usage: ./fs-hasher [-mdqMeb] -p <path> {-c <fixed|variable> [-C <chunking options>] -h <murmur> -z <none|zlib-def> -o <hashfile> | -F <configfile>}
必须使用参数包括-p,-c,-h,-z,-o;最简单的使用方法如下所示:

参数用途
基本参数
-p : 指定要处理的文件目录,相对路径、绝对路径均可。
-c : 设置分块选项,有两个参数:fixed、variabe。使用方法为:-c fixed 或 -c variable
当使用-c fixed时,可以通过附加-C参数设定属性:
csize=<csize>
tails=<on|off>
用法如下所示:
-C csize=xxx tails=on 或 tails=off
tails开启时,对相同文件目录经行处理时结果如下:

tails关闭时,对相同文件目录经行处理时结果如下:

其中tails=off时处理的数据块较少。
当使用-c varibale时,可以通过附加-C参数设定属性:
[:algo=<random|simple|rabin]
[:win_size=<window size>]
[:match_bits=<no of bits to check in the fingerprint>]
[:pattern=<pattern of bits to match>]
[:min_csize=<csize>][:max_csize=<csize>]
[:tails=<on|off>]
使用方法与fixed中-C参数的使用方法一致。
-h : 指定hash方法,观察了一下貌似只支持murmurhash。
-z : 指定生成文件的压缩方法,可选择不进行压缩(none)或者zlib-def压缩。
-o : 指定所要生成的hash文件的路径、文件名。
其他参数
-m : 忽律所有挂载在指定的路径下的文件。
-d : 输出调试信息,效果如下所示,会以[DBG]开头输出。

-q : 静默执行,避免输出执行过程,仅输出结果,效果如下所示:

-M : 使用mmap来读取文件
-e : 加入该参数会使得程序在读取文件失败后直接退出,若不添加该参数,程序将继续运行。
-b : 扫描块设别(默认会跳过)
block device是块设备 char devicej是字符设备;
I/O设备大致分为两类:块设备和字符设备。块设备将信息存储在固定大小的块中,每个块都有自己的地址。数据块的大小通常在512字节到32768字节之间。块设备的基本特征是每个块都能独立于其它块而读写。磁盘是最常见的块设备。
在大多数的UNIX操作系统中,块设备只支持以块为单位的访问方式,如磁盘等.KYLIN支持以字符方式来访问块设备,即支持以字符为单位来读写磁盘等块设备。所以在/dev目录中的块设备,如磁盘等,均以字符设备的外观出现。所以,字符设备和块设备的区别主要体现在KYLIN内核中的管理方式,操作方式和内核/设备驱动接口上。
-u : 输出帮助信息。
-F : 从设置文件中读取数据块和hash文件设置的相关信息。
注
在vim中使用%!xxd -c 12
指令可以方便的查看.hash.anon文件。如下所示:

可以直观发现数据集中大量的全0Chunk。

可以看到FSL数据集的一些信息(linux版本等等)。

例如上图可以看到一份png图片文件的数据。