Doc3D数据集：介绍与使用

注意！

2022年12月8日更新：目前Doc3D的FTP服务器已经停机，无法下载数据集，笔者目前也已经不再使用该数据集，手上的数据并不完整，因此请不要联系笔者索要数据集了。

另：笔者在撰写本文时只是一名普通本科生，Doc3D是在做大创项目时了解到的，这篇文章写得并不专业，也缺失了很多关键内容，请见谅。

2023年12月18日更新：如果你确实非常需要这个数据集，可以考虑到 https://github.com/fh2019ustc/DocTr 处联系作者试试。他们的模型使用了 Doc3D 作为一部分训练数据。我最早也是通过 DocTr 这项工作了解到 Doc3D 的。

概述

Doc3D 是由 Stony Brook 大学 CV 实验室的 Sagnik Das et al. 贡献的迄今为止最大、最全面的真实扭曲文档图像数据集。该数据集与图像校正领域的 DewarpNet 一同被提出。

论文请见DewarpNet: Single-Image Document Unwarping With Stacked 3D and 2D Regression Networks | IEEE Conference Publication | IEEE Xplore

下载

数据集发布于Github: cvlab-stonybrook/doc3D-dataset: A hybrid dataset for document unwarping (Paper: https://www3.cs.stonybrook.edu/~cvl/projects/dewarpnet/storage/paper.pdf) (github.com)

下载数据集需要先填表（Google Form）：https://forms.gle/RTfi7LUSrt891VuN

需要教育邮箱（edu）。

填表后，几天内会有一封邮件发送到你留下的邮箱，发件人为sadas@cs.stonybrook.edu。

邮件中给出了用户名和密码。上面的表中提到，邮件一般会在24h内发送，但实际上可能更长。笔者大概经过了3天。邮件似乎是由Das手动发送的。

获得用户名和密码后，将仓库clone到本地：

git clone https://github.com/cvlab-stonybrook/doc3D-dataset.git

如果你没有Git，也可以点击这里直接下载按.zip格式打包的脚本。但是这样你可能会错过更新。

文件说明

下面是该仓库中各个文件的说明。

• .DS_Store 未知
• LICENSE GitHub的证书文件
• README.md GitHub的仓库说明文件
• data.gif 一张动态图，展示了数据集中的部分图片。
• demo.py Python脚本，用于预览和测试数据集。
• download_alb.sh 用于下载反照率图的脚本。
• download_bm.sh 未知
• download_dmap.sh 未知
• download_doc3d.sh 用于下载整个数据集的脚本，包括了剩余的几个脚本下载的所有内容。
• download_img.sh 用于下载原图片（扭曲）的脚本。
• download_norm.sh 用于下载法线图的脚本。
• download_recon.sh 未知。此脚本下载的文件体积显著少于其他脚本。
• download_uv.sh 用于下载 UV maps 的脚本。
• download_wc.sh 未知
• ren-p.jpg 一张说明性质的图片。

以download_开头的脚本文件用于下载数据集。要使用对应的脚本文件，你需要编辑该脚本，将local uname=****和local pass=****两行的****改成邮件中给你的用户名和密码，然后保存。你还可以注释对应的行来跳过下载。

clone下来的脚本文件可能没有可执行权限，从而无法直接执行。运行

chmod +x *.sh

来添加权限。

现在执行你需要的脚本来下载对应的数据集。这里以下载整个数据集的download_doc3d.sh为例：

./download_doc3d.sh <out_dir>

（使用这种方法运行需要可执行权限，如果使用下面的方法则不用）

bash ./download_doc3d.sh <out_dir>

<out_dir>指定的下载的目标文件夹。这是可选项。如果不指定该参数，脚本默认下载到~/Downloads/doc3d/。

脚本下载得到的是.zip文件，脚本在下载完毕后会自动解压它们并删除.zip文件。

脚本使用wget下载，支持断点续传。已经下载好的文件会自动跳过。

下载源是Stony Brook大学的服务器，国内直连速度可能很慢。

如果你使用Windows，考虑使用WSL。

数据集说明

Doc3D数据集由约105000张图片和其对应的一系列Ground Truth（同样以图片形式给出）构成。

其中，除alb外，每个部分由21个.zip压缩文件构成，每个文件中包含约5000张图片。

引用

如果你在项目中使用了Doc3D，请在参考文献中引用：

@inproceedings{SagnikKeICCV2019, 
Author = {Sagnik Das*, Ke Ma*, Zhixin Shu, Dimitris Samaras, Roy Shilkrot}, 
Booktitle = {Proceedings of International Conference on Computer Vision}, 
Title = {DewarpNet: Single-Image Document Unwarping With Stacked 3D and 2D Regression Networks}, 
Year = {2019}}