机器学习常见数据集

有不少资料讲数据集的，太多了就有些信息过剩了，把我自己认为还不错的数据集做一下记录

 

NLP

WikiText：http://metamind.io/research/the-wikitext-long-term-dependency-language-modeling-dataset/

WikiText 英语词库数据（The WikiText Long Term Dependency Language Modeling Dataset）是一个包含1亿个词汇的英文词库数据，这些词汇是从Wikipedia的优质文章和标杆文章中提取得到，包括WikiText-2和WikiText-103两个版本，相比于著名的 Penn Treebank (PTB) 词库中的词汇数量，前者是其2倍，后者是其110倍。每个词汇还同时保留产生该词汇的原始文章，这尤其适合当需要长时依赖(longterm dependency)自然语言建模的场景。

 

 

SQuAD：https://rajpurkar.github.io/SQuAD-explorer/ 

数据集现在有SQuAD1.0 和 SQuAD2.0两个版本，适用于不同的研究场景：

1.0版本是斯坦福大学于2016年推出的数据集，一个阅读理解数据集，给定一篇文章，准备相应问题，需要算法给出问题的答案。此数据集所有文章选自维基百科，数据集的量为当今其他数据集(例如，WikiQA)的几十倍之多。一共有107,785问题，以及配套的 536 篇文章。SQuAD的答案是短语或者一段话，而不再是一个单词。答案里面包含的信息增多了，所以任务的难度也增加了。阅读理解的所有答案，都可以在文章中完全可以找到(答案可以从文章中完全copy过来)。并且文中的答案是不能是跨行的。也就是说答案是文章指定的一个区间。所以，SQuAD的答案生成是抽取式的。

在2.0版本的数据集中，增加了50,000条没有答案的问题，通过这个数据集中，希望模型可以学会对于没有答案的问题不作回答。也就是说希望我们的模型要有“知道自己不知道”的能力。在使用1.0版本的数据集中，模型遇到了那些无法回答的问题，也会强制给出一个回答，这样的情况显然不够智能。

 

 

Yelp评论：https://www.yelp.com/dataset

Yelp，就是美国的“大众点评”，这是他们发布的一个开放数据集，包含超过500万条评论。

 

 

Text Classification Datasets：http://t.cn/RJDVxr4

一个文本分类数据集，包含8个可用于文本分类的子数据集，样本大小从120K到3.6M，问题范围从2级到14级，数据来源于 DBPedia、Amazon、Yelp、Yahoo!、Sogou 和 AG。

 

图像

MNIST：http://pjreddie.com/projects/mnist-in-csv/

MNIST 数据集来自美国国家标准与技术研究所，National Institute of Standards and Technology (NIST)。训练集 (training set) 由来自250个不同人手写的数字构成，其中 50% 是高中学生，50% 来自人口普查局 (the Census Bureau) 的工作人员。测试集(test set) 也是同样比例的手写数字数据。

 

 

CIFAR 10：https://www.cs.toronto.edu/~kriz/cifar.html

CIFAR-10数据集由10个类的60000个32x32彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像。数据集分为五个训练批次和一个测试批次，每个批次有10000个图像。测试批次包含来自每个类别的恰好1000个随机选择的图像。训练批次以随机顺序包含剩余图像，但一些训练批次可能包含来自一个类别的图像比另一个更多。总体来说，五个训练集之和包含来自每个类的5000张图像。

 

 

ImageNet：http://image-net.org/

图像处理界最有名的图像数据集之一，一般情况下只用子数据集就可以。ImageNet数据集是为了促进计算机图像识别技术的发展而设立的一个大型图像数据集。其图片数量最多，分辨率最高，含有的类别更多，有上千个图像类别。每年ImageNet的项目组织都会举办一场ImageNet大规模视觉识别竞赛，从而会诞生许多图像识别模型。

 

目标检测

PASCAL VOC：http://pascallin2.ecs.soton.ac.uk/

很多优秀的计算机视觉模型比如分类，定位，检测，分割，动作识别等模型都是基于PASCAL VOC挑战赛及其数据集上推出的，尤其是一些目标检测模型（比如大名鼎鼎的R-CNN系列，以及后面的YOLO，SSD等）

我们知道在 ImageNet挑战赛上涌现了一大批优秀的分类模型，而PASCAL挑战赛上则是涌现了一大批优秀的目标检测和分割模型，这项挑战赛已于2012年停止举办了，但是研究者仍然可以在其服务器上提交预测结果以评估模型的性能。

虽然近期的目标检测或分割模型更倾向于使用MS COCO数据集，但是这丝毫不影响 PASCAL VOC数据集的重要性，毕竟PASCAL对于目标检测或分割类型来说属于先驱者的地位。对于现在的研究者来说比较重要的两个年份的数据集是 PASCAL VOC 2007 与 PASCAL VOC 2012，这两个数据集频频在现在的一些检测或分割类的论文当中出现。

参考：https://zhuanlan.zhihu.com/p/362044555

 

 

MS COCO数据集：http://cocodataset.org/

MSCOCO 数据集是微软构建的一个数据集，其包含 detection, segmentation, keypoints等任务。

MSCOCO主要是为了解决detecting non-iconic views of objects（对应常说的detection）, contextual reasoning between objects and the precise 2D localization of objects（对应常说的分割问题） 这三种场景下的问题。

参考：https://zhuanlan.zhihu.com/p/362049720

 

推荐

Criteo数据集：https://www.criteo.com/

包括4500万用户的点击记录。其中13个连续变量，26个类别变量。将数据集按照9:1进行划分，90%用于训练，10%用于测试。

 

 

MovieLens：https://grouplens.org/datasets/movielens/

包含多个用户对多部电影的评级数据，也包括电影元数据信息和用户属性信息。

这个数据集经常用来做推荐系统，机器学习算法的测试数据集。尤其在推荐系统领域，很多著名论文都是基于这个数据集的。

 

情感

IMDB评论：http://ai.stanford.edu/~amaas/

用于二元情绪分类的数据集，不过也有点老、有点小，有大约25000个电影评论。

 

斯坦福情绪树：https://nlp.stanford.edu/sentiment/index.html

Stanford Sentiment Treebank 是一个标准情感数据集，主要用于情感分类，其中每个句子分析树的节点均有细粒度的情感注解。 该数据集由斯坦福大学的 NLP 组发布，其中句子和短语共计 239232 条，相较于忽略单词顺序的大多数情绪预测系统，这套深度学习模型建立了基于句子  结构 的完整表示。它可根据单词组成的短语判断情绪。 该数据集由斯坦福大学  自然语言处理 组于 2013 年发布，相关论文有《Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank》。