Doc3D数据集:介绍与使用
注意!
2022年12月8日更新:目前Doc3D的FTP服务器已经停机,无法下载数据集,笔者目前也已经不再使用该数据集,手上的数据并不完整,因此请不要联系笔者索要数据集了。
另:笔者在撰写本文时只是一名普通本科生,Doc3D是在做大创项目时了解到的,这篇文章写得并不专业,也缺失了很多关键内容,请见谅。
2023年12月18日更新:如果你确实非常需要这个数据集,可以考虑到 https://github.com/fh2019ustc/DocTr 处联系作者试试。他们的模型使用了 Doc3D 作为一部分训练数据。我最早也是通过 DocTr 这项工作了解到 Doc3D 的。
概述
Doc3D 是由 Stony Brook 大学 CV 实验室的 Sagnik Das et al. 贡献的迄今为止最大、最全面的真实扭曲文档图像数据集。该数据集与图像校正领域的 DewarpNet 一同被提出。
下载
下载数据集需要先填表(Google Form):https://forms.gle/RTfi7LUSrt891VuN
需要教育邮箱(edu)。
填表后,几天内会有一封邮件发送到你留下的邮箱,发件人为sadas@cs.stonybrook.edu。
邮件中给出了用户名和密码。上面的表中提到,邮件一般会在24h内发送,但实际上可能更长。笔者大概经过了3天。邮件似乎是由Das手动发送的。
获得用户名和密码后,将仓库clone到本地:
git clone https://github.com/cvlab-stonybrook/doc3D-dataset.git
如果你没有Git,也可以点击这里直接下载按.zip格式打包的脚本。但是这样你可能会错过更新。
文件说明
下面是该仓库中各个文件的说明。
.DS_Store
未知LICENSE
GitHub的证书文件README.md
GitHub的仓库说明文件data.gif
一张动态图,展示了数据集中的部分图片。demo.py
Python脚本,用于预览和测试数据集。download_alb.sh
用于下载反照率图的脚本。download_bm.sh
未知download_dmap.sh
未知download_doc3d.sh
用于下载整个数据集的脚本,包括了剩余的几个脚本下载的所有内容。download_img.sh
用于下载原图片(扭曲)的脚本。download_norm.sh
用于下载法线图的脚本。download_recon.sh
未知。此脚本下载的文件体积显著少于其他脚本。download_uv.sh
用于下载 UV maps 的脚本。download_wc.sh
未知ren-p.jpg
一张说明性质的图片。
以download_
开头的脚本文件用于下载数据集。要使用对应的脚本文件,你需要编辑该脚本,将local uname=****
和local pass=****
两行的****
改成邮件中给你的用户名和密码,然后保存。你还可以注释对应的行来跳过下载。
clone下来的脚本文件可能没有可执行权限,从而无法直接执行。运行
chmod +x *.sh
来添加权限。
现在执行你需要的脚本来下载对应的数据集。这里以下载整个数据集的download_doc3d.sh
为例:
./download_doc3d.sh <out_dir>
(使用这种方法运行需要可执行权限,如果使用下面的方法则不用)
bash ./download_doc3d.sh <out_dir>
<out_dir>
指定的下载的目标文件夹。这是可选项。如果不指定该参数,脚本默认下载到~/Downloads/doc3d/
。
脚本下载得到的是.zip
文件,脚本在下载完毕后会自动解压它们并删除.zip
文件。
脚本使用wget
下载,支持断点续传。已经下载好的文件会自动跳过。
下载源是Stony Brook大学的服务器,国内直连速度可能很慢。
如果你使用Windows,考虑使用WSL。
数据集说明
Doc3D数据集由约105000张图片和其对应的一系列Ground Truth(同样以图片形式给出)构成。
其中,除alb
外,每个部分由21个.zip
压缩文件构成,每个文件中包含约5000张图片。
引用
如果你在项目中使用了Doc3D,请在参考文献中引用:
@inproceedings{SagnikKeICCV2019,
Author = {Sagnik Das*, Ke Ma*, Zhixin Shu, Dimitris Samaras, Roy Shilkrot},
Booktitle = {Proceedings of International Conference on Computer Vision},
Title = {DewarpNet: Single-Image Document Unwarping With Stacked 3D and 2D Regression Networks},
Year = {2019}}