2024-02-05 - 多模态大模型Clip - 卢菁

摘要

一切皆有可能！！！

课程内容

1. 经典分类模型（例如 renet）的问题：

• a. 类别固定
• b. 当前的模型只能胜任一个任务，迁移到新任务上非常困难；
• c. 类别互斥（softmax）
• d. 当前的 CV 数据集标注劳动密集，成本高昂；
• e. 当前的模型泛化能力较差；

2. 双塔架构

• 0 样本分类

• Clip 模型效果: 泛化能力

• 标准数据集的 PK

• Clip 模型局限性

总结

心得: 脑子有点炸了