摘要：
CBOW（Continuous Bag of Words）是一种常用于自然语言处理的词嵌入模型，属于Word2Vec的一部分。CBOW模型的目标是通过上下文词来预测中心词。它通过在大规模语料库中学习词汇之间的共现关系，生成词向量表示。 CBOW模型的工作原理 上下文窗口：CBOW模型的核心思想是利用 阅读全文
摘要：
Vision Transformer (ViT) 分类标识符 Vision Transformer (ViT) 分类标识符 1. 初始化分类标识符 在ViT中，分类标识符是一个可学习的向量，通常在模型初始化时随机初始化。这个标识符的维度与图像块的嵌入向量维度相同，通常记作 zcls，其大小为 D（与 阅读全文
摘要：
Vision Transformer (ViT) 位置编码 Vision Transformer (ViT) 位置编码 1. 生成位置编码 对于每个图像块（patch），根据其位置生成一个对应的编码向量。假设每个图像块的嵌入向量维度为 D，则位置编码的维度也是 D。 ViT 通常使用可学习的绝对位置 阅读全文
摘要：
常用的ViT模型有许多版本和变种，它们在不同的任务和数据规模上表现出色。以下是一些常见的ViT模型及其变种： 1. ViT-B/16, ViT-B/32 ViT-B/16和ViT-B/32是Vision Transformer的基本版本，"B"代表Base模型，数字16和32代表图像块的大小（如16 阅读全文
摘要：
在Vision Transformer (ViT) 中，图像的预处理过程主要包括将图像转换为适合Transformer模型输入的格式。以下是从原始图像到模型输入所进行的主要操作步骤： 1. 图像尺寸调整 (Resize) 将输入图像调整为固定大小，通常是正方形（例如，224x224像素）。这是为了统 阅读全文
摘要：
Vision Transformer 线性映射 Vision Transformer (ViT): 线性映射 1. 展平图像块 假设输入的图像块大小为 P × P 像素，并且图像有 C 个通道（对于RGB图像，通常 C = 3）。 每个图像块被展平成一个向量，向量的维度为 P × P × C 。 例 阅读全文
摘要：
在我们平常面试和工程中会用到BN和LN，但或许没有去了解过BN和LN到底在那个维度上进行的正则化（减均值除以标准差）。下面将会采用各种例子来为大家介绍BN层和LN层各个参数以及差别。 一、BatchNorm(批标准化)： BatchNorm一共有三个函数分别是BatchNorm1d，BatchNor 阅读全文
摘要：
中文文本处理有多种专门的词嵌入（embedding）方法。与英文相似，中文的词嵌入方法可以帮助将文本数据转换为机器学习模型可以处理的向量表示。以下是一些常见的中文词嵌入方式： 1. Word2Vec 简介: Word2Vec 是一种广泛使用的词嵌入技术，可以应用于中文和其他语言。中文的 Word2V 阅读全文
摘要：
Word2Vec 的词向量维度（embedding dimension）不是固定的，可以根据需要进行设置。默认值取决于具体的实现和训练配置。以下是一些常见的默认维度设置： 常见的默认词向量维度 Google 的预训练 Word2Vec 模型: 维度: 300 说明: Google 提供的预训练 Wo 阅读全文
摘要：
使用预训练的 Word2Vec 向量来初始化词嵌入矩阵的过程涉及以下几个步骤： 1. 下载预训练的 Word2Vec 向量 获取模型: 预训练的 Word2Vec 向量通常可以从模型发布者的官方网站或开源平台下载。例如，Google 提供了大规模的预训练 Word2Vec 向量。 文件格式: 预训练 阅读全文