Ubuntu快速删除大量文件的思路

问题描述（Problem Statement）

在Ubuntu系统下，遇到删除文件的场景，我们一般直接想到的就是使用rm命令，或者直接delete掉。那么如果我们要删除数十万甚至数百万的文件（数量特别多，尺寸特别大）时，使用rm -rf *就可能不太好用，因为要等待很长一段时间。

也许你也能想到并行使用rm命令删除：

1	`parallel` `rm` `-rf` `dir`/{} ::: ``ls` `-f` `dir`/`

->有没有更好的方案呢？(Solution)　　

在这种情况之下我们可以使用linux系统命令rsync来巧妙的处理。rsync实际上用的是替换原理，处理数十万个文件也是秒删。

1.rsync安装，有些系统默认安装有该命令

ubuntu系统：sudo apt-get install rsync
 
fedora 系统：sudo yum install rsync
 
其他的可以源码安装，到下面的网站下载http://rsync.samba.org

2. rsync提供了一些跟删除有关的参数

rsync --help | grep delete
 
--del an alias for --delete-during
 
--delete delete extraneous files from destination dirs
 
--delete-before receiver deletes before transfer,not during
 
--delete-during receiver deletes during transfer (default)
 
--delete-delay find deletions during,delete after
 
--delete-after receiver deletes after transfer,not during
 
--delete-excluded also delete excluded files from destination dirs
 
--ignore-errors delete even if there are I/O errors
 
--max-delete=NUM don't delete more than NUM files
 
其中--delete-before接收者在传输之前进行删除操作

3.使用示例

1	`mkdir` `/tmp/blank`

1	`rsync` `--delete-before -a -H -v` `--progress --stats` `/tmp/blank/` `/root/files/`

原理：为什么rsync能够快速删除大量文件？

1）rm命令大量调用了lstat64和unlink，可以推测删除每个文件前都从文件系统中做过一次lstat操作。过程：正式删除工作的第一阶段，需要通过getdirentries64调用，分批读取目录（每次大约为4K），在内存中建立rm的文件列表；第二阶段，lstat64确定所有文件的状态；第三阶段，通过unlink执行实际删除。这三个阶段都有比较多的系统调用和文件系统操作。

2）rsync所做的系统调用很少：没有针对单个文件做lstat和unlink操作。命令执行前期，rsync开启了一片共享内存，通过mmap方式加载目录信息。只做目录同步，不需要针对单个文件做unlink。

另外，在其他人的评测里，rm的上下文切换比较多，会造成System CPU占用较多——对于文件系统的操作，简单增加并发数并不总能提升操作速度。

总结：频繁做减法不如直接从头来过

把文件系统的目录与书籍的目录做类比，rm删除内容时，将目录的每一个条目逐个删除(unlink)，需要循环重复操作很多次；rsync删除内容时，建立好新的空目录，替换掉老目录，基本没开销。