随笔分类 - 机器（深度）学习 / NLP / transformer
调优参数
摘要：p from peft import PromptEncoderConfig, get_peft_model peft_config = PromptEncoderConfig(task_type="CAUSAL_LM", num_virtual_tokens=20, encoder_hidden_
阅读全文
图解GPT
摘要：通过最后的向量来预测接下来的内容。 权重： 是在训练中得到的，算是大脑吧 用这个些权重，去乘以新的内容向量 词嵌入 三维空间和能简单 多维12288 我目前没法展示也理解不了他在空间中是什么样子，。
阅读全文
nn.Transformer Layers
摘要：nn.TransformerEncoderLayer https://pytorch.org/docs/stable/generated/torch.nn.TransformerEncoder.html#torch.nn.TransformerEncoder 当使用这个层时，需要提供特定的输入数据。
阅读全文
transformer结构
摘要：论文：https://arxiv.org/abs/1706.03762 理解： 位置编码之后，还要生成QKV向量，在传递到多头注意力 定义： Transformer模型一般由编码器（Encoder）和解码器（Decoder）两部分组成，每个部分都有不同的功能，因此在不同的任务中可能会选择使用其中一个
阅读全文
nn.transformer
摘要：定义： nn.Transformer: 这是一个完整的Transformer模型，包含了编码器（Encoder）和解码器（Decoder）。这个类提供了将整个模型作为一个单一组件使用的接口。 nn.TransformerEncoder: 这是Transformer模型中编码器的部分。它由N个nn.T
阅读全文
注意力机制
摘要：但不论哪一种注意力，其实都是让你在某一时刻将注意力放到某些事物上，而忽略另外的一些事物，这就是注意力机制（Attention Mechanism） 注意力机制是一种在人工智能和机器学习中广泛使用的技术，用于模拟人类的视觉和认知系统中的注意力过程。这个概念源自生物学，描述了人类大脑在处理信息时如何选择
阅读全文
