【论文系列】之 ---- CLIP
CLIP（Contrastive Language-Image Pre-Training）
从名字显而易见：语言-图像，预训练，主要用于学习图像
该模型的核心思想是使用大量图像和文本的配对数据进行预训练，以学习图像和文本之间的对齐关系
CLIP模型有两个模态，一个是文本模态，一个是视觉模态，包括两个主要部分
内容
该模型的核心思想是使用大量图像和文本的配对数据进行预训练，以学习图像和文本之间的对齐关系。CLIP模型有两个模态，一个是文本模态，一个是视觉模态，包括两个主要部分：
- Text Encoder：用于将文本转换为低维向量表示-Embeding。
- Image Encoder：用于将图像转换为类似的向量表示-Embedding。
在预测阶段，CLIP模型通过计算文本和图像向量之间的余弦相似度来生成预测。这种模型特别适用于零样本学习任务，即模型不需要看到新的图像或文本的训练示例就能进行预测。CLIP模型在多个领域表现出色，如图像文本检索、图文生成等。
CLIP基本的结构构成
对于图像编码器部分
Image Encoder
主要进行了以下的内容：
注意看里面的Image Encoder，那么他是什么意思呢？我们来看看。。
首先将图像进行分割，以便于进行后续的图像处理操作
对于文本编码器部分
主要进行文本的训练过程
本文作者：myleaf
本文链接：https://www.cnblogs.com/myleaf/p/18538485
版权声明：本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步