随笔分类 - 数据集
摘要：图像理解数据集基于开源数据集进行构建，常用到的相关数据集有：COCO，VG(Visual Genome)，SBU，CC， 既然涉及到图像理解，那每一个图片必定含有描述文本，而各个数据集是如何构建描述的呢？ VG：（下载地址：https://orion.hyper.ai/tracker/downloa
阅读全文
摘要：Visual Genome（VG）是斯坦福大学李飞飞组于2016年发布的大规模图片语义理解数据集，他们希望该数据集能像ImageNet那样推动图片高级语义理解方面的研究。 在视觉关系检测（VRD）的研究中，VG几乎成了的标准数据集，然而，该数据集的许多缺陷也一直饱受诟病，当前的VRD研究者实在很有必
阅读全文
摘要：我们鼓励员工手搓了一个数据集，训练 LLM 还把它开源。 众所周知，在 ChatGPT 的问题上 OpenAI 并不 Open，从 Meta 那里开源的羊驼系列模型也因为数据集等问题「仅限于学术研究类应用」，在人们还在因为寻找绕过限制方法的时候，主打 100% 开源的大模型来了。 4 月 12 日，
阅读全文
摘要：项目1 https://github.com/tatsu-lab/stanford_alpaca 羊驼数据集52k,基于llama模型训练 此数据集是是使用llama模型自己生成数据,然后对这些生成进行过滤，以删除低质量或类似的生成，并将生成的数据添加回任务池。这个过程可以重复多次，从而产生大量的教
阅读全文
摘要：数据标注作为人工智能发展道路上的基石，是人工智能发展的重要环节。数据标注的过程是通过人工贴标签的方式，为机器提供可学习的样本数据，最终使机器可以自主识别数据。在深度学习模型的测试过程中，高质量的数据标注往往能更好地提高模型训练的质量。 数据标注类型主要包括图像标注、文本标注、语音标注和3D点云标注四
阅读全文
摘要：前方高能预警，非战斗人士请火速撤离…… 数据集1：https://github.com/EBazarov/nsfw_data_source_urls/tree/master/raw_data 在 raw_data 文件夹里，可以找到不同的 .txt 格式的文档，每个文档都含有一组 URL，以下是关于
阅读全文
摘要：1. ImagNet与ILSVRC简介 ImageNet是一种数据集，而不是神经网络模型。斯坦福大学教授李飞飞为了解决机器学习中过拟合和泛化的问题而牵头构建的数据集。该数据集从2007年开始手机建立，直到2009年作为论文的形式在CVPR 2009上面发布。直到目前，该数据集仍然是深度学习领域中图像
阅读全文
摘要：现在我把ImageNet下载、解压、预处理以及如何使用Pytorch的教程放在这里，供有缘人参考233 1. 数据下载 1.1 方法一：官网下载 ImageNetwww.image-net.org/ 在官方网站注册账号，注册时最好使用教育邮箱(.edu )之后。按照流程申请，收到邮件之后可以就可以
阅读全文
摘要：MS COCO的全称是Microsoft Common Objects in Context，起源于是微软于2014年出资标注的Microsoft COCO数据集，与ImageNet 竞赛一样，被视为是计算机视觉领域最受关注和最权威的比赛之一。 当在ImageNet竞赛停办后，COCO竞赛就成为是当
阅读全文
摘要：PASCAL VOC为图像识别和分类提供了一整套标准化的优秀的数据集，从2005年到2012年每年都会举行一场图像识别challenge。 本文主要分析PASCAL VOC数据集中和图像中物体识别相关的内容。 在这里采用PASCAL VOC2012作为例子。下载地址为：点击打开链接。（本文中的系统环
阅读全文
