GeoBiked数据集：由宝马集团和奥格斯堡大学联合创建，具有几何特征和自动标记技术的数据集，可在工程设计中实现深度生成模型。

2024-09-25，由BMW集团和奥格斯堡大学联合创建GeoBiked数据集，以在工程设计中启用深度生成模型（DGM），并提出了通过利用大规模基础模型自动化数据标注的方法。

 

一、背景

快速发展的机器学习领域强调了高质量数据集在推动技术突破中的关键作用。在计算机视觉中，高质量、公开可用的数据集引入起到了催化剂的作用，使研究人员能够评估不同方法的性能。像ImageNet、CIFAR和MNIST这样的数据集对于设定基准至关重要。

尽管公开可用的通用数据集用于各种深度学习应用，但像工程设计这样的特定领域仍然面临缺乏具有详细结构和几何信息的数据集的问题。

 

目前遇到的困难和难题：

1、数据集缺乏： 工程设计等特定领域缺乏具有详细结构和几何信息的高质量数据集。

2、精确控制生成过程的需求： 在工程设计中，需要对生成过程有精确的控制，以满足技术可行性和明确的处理控制的要求。

3、数据标注的瓶颈： 为生成任务标注目标数据是一个耗时且通常难以自动化的过程。

4、模型训练和微调的挑战： 需要大量的训练数据和计算资源来训练或微调视觉DGMs。

 

二、让我们一起来看一下GeoBiked数据集

GeoBiked是一个为启用深度生成模型（DGM）在工程设计中的应用程序而策划的数据集。它包含4,355张自行车图像，这些图像用结构和技术特征进行了注释。用于研究两种自动化标注技术。

 

用于研究两种自动化标注技术：

1. 利用来自图像生成模型的整合潜在特征（Hyperfeatures）来检测结构图像中的几何对应关系（例如，轮中心的位置）。

2. 生成结构图像的多样化文本描述。GPT-4o，一种视觉-语言模型（VLM），被指导分析图像并产生与系统提示一致的多样化描述。

 

数据集构建：

1、筛选和标准化： 对BIKED数据集中的自行车图像进行视觉检查，以排除不切实际的样本，并对图像进行中心化和几何标准化。

2、添加几何参考点： 在自行车几何中定义特征点和交点，以便仅用这些点的组合来表示每个样本。

3、过滤和修改描述参数： 根据语义、几何或技术相关性保留特征，例如自行车样式、轮辋样式、叉子类型等。

 

数据集特点：

1、结构化和语义细节： 数据集包含可解释的特征和几何表示，涵盖12个参考点。

2、技术特征： 提供了自行车的详细技术参数，如管径、车架尺寸和链轮齿数。

3、几何特征： 通过选择12个参考点来捕捉所有样式和尺寸的自行车的几何布局。

4、多样化文本描述： 使用GPT-4o生成准确描述技术图像的多样化文本描述。

 

三、让我们一起看一下数据集的应用

比如，我是一家自行车制造公司的负责人。

我们公司想要推出一款全新的城市自行车，这款自行车的目标用户是上班族，他们需要一个既时尚又实用，而且骑着舒服的自行车。我们团队已经头脑风暴出一些很棒的想法，比如加入舒适的坐垫（对常时间骑车人很重要）、小燕把的设计（常时间骑车时手会不会疼）以及安装智能锁。

 

问题来了

但是，我们怎么确定这些部件组合在一起时既美观又实用呢？要是在设计阶段没有考虑到部件之间的几何关系，比如车架的角度和座椅调节机制的兼容性，可能会导致设计无法实际制造，或者制造出来后发现座椅没法调到合适的位置。

 

神器即将登场：我们团队用GeoBiked数据集训练的智能系统

我们把GeoBiked数据集中成千上万张自行车的图片和它们详细的几何参数输入给这个智能系统。系统开始学习。

我们不再需要手动去检查每个设计参数是否合理。智能系统会自动检测潜在的冲突和问题，比如刹车线可能会和新设计的车架发生摩擦。 它还能提出优化建议。比如，它可能会建议你们把车把稍微向前移动一点，这样不仅提高了刹车的性能，还能让骑车的人有更舒适的姿势。

以往，我们可能需要好几个设计师花上几天时间来检查和调整设计图，现在这个智能助手，大大缩短了周期。它还能根据数据集中的多样化设计给出创新的建议。激发我们尝试一些之前没想到的设计。