Discourse 的无效附件清理
Discourse 对上传的附件会进行清理,对于一些没有任何被引用的附件,Discourse 会认为是垃圾而清理掉。
原因应该是为了降低存储空间的使用,但是我们目前使用的是 S3 ,所以对存储空间并没有太多的要求。
根据官方的说法,如果满足下面的条件的上传附件将会被清理掉:
https://github.com/discourse/discourse/blob/master/app/jobs/scheduled/clean_up_uploads.rb
TL;DR: an image is orphaned if and only if it’s not referenced
- in the latest version of a post
- in a draft
- in a queued post
- in a logo site setting
- in a custom emoji
- in a theme
- in a user avatar/background/card image
- in a category logo/background image
官方的讨论地址为:How to make an image orphaned so that it gets removed? - support - Discourse Meta
通过代码,我们会看到,Discourse 使用了一个查询来判断附件是否被引用。
这个表是:upload_references
如果附件没有被关联到主题中,这个附件就会被认为是没有关联的附件而被清理掉。
根据我们备份恢复的情况来看,我们估计可能是这个表 upload_references 丢数据了,导致 uploads 中标的数据被清理掉了。
本地查询
我们本地查询了下操作前 3 天的记录。
发现这个表中有:9000 多条记录。
服务器查询
同时,我们对服务器上的表进行了查询。
查询结果返回的是:6000 多。
很明显这里有差距,那肯定是在恢复的过程中可能丢数据了。
我们需要做的就是把本地表中的数据恢复到服务器上。
运行 SQL: select count(*) from upload_references;
来查看下服务器上的记录,貌似服务器上的参考引用全部被恢复了。
因为我们禁用了自动清理程序,所以我们现在应该可以把自动清理进程打开了。