Doc3D数据集:介绍与使用

注意!

2022年12月8日更新:目前Doc3D的FTP服务器已经停机,无法下载数据集,笔者目前也已经不再使用该数据集,手上的数据并不完整,因此请不要联系笔者索要数据集了。

另:笔者在撰写本文时只是一名普通本科生,Doc3D是在做大创项目时了解到的,这篇文章写得并不专业,也缺失了很多关键内容,请见谅。

2023年12月18日更新:如果你确实非常需要这个数据集,可以考虑到 https://github.com/fh2019ustc/DocTr 处联系作者试试。他们的模型使用了 Doc3D 作为一部分训练数据。我最早也是通过 DocTr 这项工作了解到 Doc3D 的。

概述

Doc3D 是由 Stony Brook 大学 CV 实验室的 Sagnik Das et al. 贡献的迄今为止最大、最全面的真实扭曲文档图像数据集。该数据集与图像校正领域的 DewarpNet 一同被提出。

论文请见DewarpNet: Single-Image Document Unwarping With Stacked 3D and 2D Regression Networks | IEEE Conference Publication | IEEE Xplore

下载

数据集发布于Github: cvlab-stonybrook/doc3D-dataset: A hybrid dataset for document unwarping (Paper: https://www3.cs.stonybrook.edu/~cvl/projects/dewarpnet/storage/paper.pdf) (github.com)

下载数据集需要先填表(Google Form):https://forms.gle/RTfi7LUSrt891VuN

需要教育邮箱(edu)。

填表后,几天内会有一封邮件发送到你留下的邮箱,发件人为sadas@cs.stonybrook.edu。

邮件中给出了用户名和密码。上面的表中提到,邮件一般会在24h内发送,但实际上可能更长。笔者大概经过了3天。邮件似乎是由Das手动发送的。

获得用户名和密码后,将仓库clone到本地:

git clone https://github.com/cvlab-stonybrook/doc3D-dataset.git

如果你没有Git,也可以点击这里直接下载按.zip格式打包的脚本。但是这样你可能会错过更新。

文件说明

下面是该仓库中各个文件的说明。

  • .DS_Store 未知
  • LICENSE GitHub的证书文件
  • README.md GitHub的仓库说明文件
  • data.gif 一张动态图,展示了数据集中的部分图片。
  • demo.py Python脚本,用于预览和测试数据集。
  • download_alb.sh 用于下载反照率图的脚本。
  • download_bm.sh 未知
  • download_dmap.sh 未知
  • download_doc3d.sh 用于下载整个数据集的脚本,包括了剩余的几个脚本下载的所有内容。
  • download_img.sh 用于下载原图片(扭曲)的脚本。
  • download_norm.sh 用于下载法线图的脚本。
  • download_recon.sh 未知。此脚本下载的文件体积显著少于其他脚本。
  • download_uv.sh 用于下载 UV maps 的脚本。
  • download_wc.sh 未知
  • ren-p.jpg 一张说明性质的图片。

download_开头的脚本文件用于下载数据集。要使用对应的脚本文件,你需要编辑该脚本,将local uname=****local pass=****两行的****改成邮件中给你的用户名和密码,然后保存。你还可以注释对应的行来跳过下载。

clone下来的脚本文件可能没有可执行权限,从而无法直接执行。运行

chmod +x *.sh

来添加权限。

现在执行你需要的脚本来下载对应的数据集。这里以下载整个数据集的download_doc3d.sh为例:

./download_doc3d.sh <out_dir>

(使用这种方法运行需要可执行权限,如果使用下面的方法则不用)

bash ./download_doc3d.sh <out_dir>

<out_dir>指定的下载的目标文件夹。这是可选项。如果不指定该参数,脚本默认下载到~/Downloads/doc3d/

脚本下载得到的是.zip文件,脚本在下载完毕后会自动解压它们并删除.zip文件。

脚本使用wget下载,支持断点续传。已经下载好的文件会自动跳过。

下载源是Stony Brook大学的服务器,国内直连速度可能很慢。

如果你使用Windows,考虑使用WSL。

数据集说明

Doc3D数据集由约105000张图片和其对应的一系列Ground Truth(同样以图片形式给出)构成。

其中,除alb外,每个部分由21个.zip压缩文件构成,每个文件中包含约5000张图片。

引用

如果你在项目中使用了Doc3D,请在参考文献中引用:

@inproceedings{SagnikKeICCV2019, 
Author = {Sagnik Das*, Ke Ma*, Zhixin Shu, Dimitris Samaras, Roy Shilkrot}, 
Booktitle = {Proceedings of International Conference on Computer Vision}, 
Title = {DewarpNet: Single-Image Document Unwarping With Stacked 3D and 2D Regression Networks}, 
Year = {2019}}   
posted @ 2022-05-04 21:30  Eslzzyl  阅读(1433)  评论(9编辑  收藏  举报