摘要： 论文：https://arxiv.org/abs/1706.03762 理解： 位置编码之后，还要生成QKV向量，在传递到多头注意力 定义： Transformer模型一般由编码器（Encoder）和解码器（Decoder）两部分组成，每个部分都有不同的功能，因此在不同的任务中可能会选择使用其中一个 阅读全文

摘要： 配置清华源conda config --show channels conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels htt 阅读全文

摘要： 什么时候需要将计算放置在GPU，cuda上 计算量大的时候，有torch的时候 什么数据放在GPU 在 PyTorch 和其他深度学习框架中，通常只有模型的参数和输入到模型的数据（张量）需要被移动到 GPU 上 当从数据excel pandas中提取文本数据并通过分词器处理时，处理后的张量才需要被移 阅读全文

摘要： 定义： nn.Transformer: 这是一个完整的Transformer模型，包含了编码器（Encoder）和解码器（Decoder）。这个类提供了将整个模型作为一个单一组件使用的接口。 nn.TransformerEncoder: 这是Transformer模型中编码器的部分。它由N个nn.T 阅读全文

摘要： 列出目录中的文件和子目录 files_and_directories = os.listdir(directory_path) 要获取所有的文件，包括子目录下面的 os.walk for foldername, subfolders, filenames in os.walk('data'):当前文 阅读全文

摘要： json格式 { "name": "John", "age": 30, "city": "New York"} json数组 [ "Google", "Runoob", "Taobao" ] { "name":"网站", "num":3, "sites":[ "Google", "Runoob", 阅读全文

摘要： 参考文档：非常全面的Sklearn介绍 (qq.com) scikit-learn: machine learning in Python — scikit-learn 1.3.2 documentation 分类（Classification）： 实现了多种监督学习分类算法，例如支持向量机（SVM 阅读全文

摘要： 保存模型有两种方式，方式不同，在调用模型的时候也不同 我更建议用torch.jit。。。这样不需要在写模型的参数 torch.save 保存模型： import torch import torch.nn as nn # 假设 model 是你的 PyTorch 模型 class SimpleMod 阅读全文

摘要： 创建张量： torch.tensor(data): 从数据中创建张量。用列表创建，numpy创建 维度只看[ ] # 一维张量 一维张量是指只有一个轴的张量，没有行列之分 data_1d = [1, 2, 3] tensor_1d = torch.tensor(data_1d)结果tensor([1 阅读全文

摘要： 定义： 在PyTorch中，张量（tensor）是一种类似于多维数组的数据结构，它是PyTorch的核心数据类型。和numpy的计算方式不同。 张量可以具有不同的维度，例如标量（0维张量，类似于一个数字）、向量（1维张量，类似于一维数组）、矩阵（2维张量，类似于二维数组）以及更高维度的数组。 张量的 阅读全文