11 2023 档案
语法_1_变量和常量
摘要:变量:数据可变 累计的时候可用 申明数据类型省略,直接写就行 var x = 10 常量:数据不可变 阅读全文
posted @ 2023-11-30 18:13 黑逍逍 阅读(3) 评论(0) 推荐(0) 编辑
安装go
摘要:1. 安装包直接安装 2. 配置环境变量 GOPARH: 新建的,用来存放go下载的依赖的 GOROOT: 你安装go的目录 3. 创建文件目录 在GOPATH地址下面,创建3个文件夹 阅读全文
posted @ 2023-11-30 12:00 黑逍逍 阅读(14) 评论(0) 推荐(0) 编辑
numpy 统计方法
摘要:numpy.mean() import numpy as np a = np.array([[1,2,3],[3,4,5],[4,5,6]])print (a)print (np.mean(a))print (np.mean(a, axis = 0))print (np.mean(a, axis = 阅读全文
posted @ 2023-11-29 11:39 黑逍逍 阅读(5) 评论(0) 推荐(0) 编辑
numpy 普通方法
摘要:ndarray.ndim - 数组的维度: import numpy as np # 创建一个一维数组 arr_1d = np.array([1, 2, 3]) print("数组:", arr_1d) print("数组的维度:", arr_1d.ndim) 数组: [1 2 3] 数组的维度: 阅读全文
posted @ 2023-11-29 11:37 黑逍逍 阅读(4) 评论(0) 推荐(0) 编辑
一维的numpy和List
摘要:就是数据类型的区别 但是功能却大不一样 NumPy数组提供了丰富的数学、统计和数组操作,如求和、平均值、最小值、最大值等。在二维数据,max降维。 Python列表提供了一些基本的列表操作,但没有NumPy数组提供的广泛数学和科学计算功能 一维的numpy,来求平均值 import numpy as 阅读全文
posted @ 2023-11-29 11:20 黑逍逍 阅读(10) 评论(0) 推荐(0) 编辑
创建numpy
摘要:一维 # 使用列表创建一维数组 my_list = [1, 2, 3, 4, 5] # 将列表转换为NumPy数组 my_array = np.array(my_list) [1 2 3 4 5]<class 'numpy.ndarray'> 二维 # 二维数组,3行4列 arr_2d = np.a 阅读全文
posted @ 2023-11-29 11:05 黑逍逍 阅读(6) 评论(0) 推荐(0) 编辑
embedding嵌入
摘要:自然语言处理领域中,"embedding"(嵌入)通常指将高维的数据映射到低维空间的过程。在自然语言处理中,最常见的是词嵌入(word embeddings) 词袋模型,词嵌入等等等等。都需要构建词汇表,个人能力是很有限,根本不可能构建一个效果好的。所以我不使用这些 小型效果也不好,得到96维度的向 阅读全文
posted @ 2023-11-28 18:02 黑逍逍 阅读(21) 评论(0) 推荐(0) 编辑
torch.max
摘要:二维张量(矩阵): 假设你有一个形状为 [m, n] 的二维张量(可以想象成一个矩阵,有 m 行和 n 列): dim=0 指的是行的方向(从上到下)。如果你在一个函数中指定 dim=0,那么操作将沿着每一列进行,对每一列中的行元素进行处理。 dim=1 指的是列的方向(从左到右)。如果你在一个函数 阅读全文
posted @ 2023-11-28 17:17 黑逍逍 阅读(38) 评论(0) 推荐(0) 编辑
torch.cpu
摘要:将张量从GPU移到CPU上 import torch # 创建一个张量并将其放在GPU上 tensor_gpu = torch.randn((3, 3)).cuda() # 将张量从GPU移动到CPU tensor_cpu = tensor_gpu.cpu() 阅读全文
posted @ 2023-11-28 16:38 黑逍逍 阅读(50) 评论(0) 推荐(0) 编辑
torch.detach
摘要:在深度学习中,通常使用自动微分(Autograd)来计算梯度,以便进行反向传播和优化。 在这个过程中,PyTorch会构建一个计算图,用于跟踪张量之间的计算关系。这个计算图是由各个张量之间的运算所构成的,以便在进行反向传播时计算梯度。 .detach()方法的作用是创建一个新的张量,与原始张量共享相 阅读全文
posted @ 2023-11-28 16:31 黑逍逍 阅读(103) 评论(0) 推荐(0) 编辑
自动微分
摘要:张量的梯度信息 张量的梯度信息是指张量相对于某个或多个变量的导数。梯度表示了函数在某一点的变化率,它是一个向量,其中每个元素对应于函数相对于输入变量的偏导数 在深度学习中,我们通常使用梯度来更新模型参数,以便最小化或最大化某个损失函数。梯度下降是一种常见的优化算法,它使用梯度信息来沿着损失函数的负梯 阅读全文
posted @ 2023-11-28 16:15 黑逍逍 阅读(58) 评论(0) 推荐(0) 编辑
torch.add等
摘要:数学运算: a = torch.tensor([[1, 2, 3], [4, 5, 6]]) b = torch.tensor([[7, 8, 9], [10, 11, 12]]) tensor([[1, 2, 3], [4, 5, 6]]) tensor([[ 7, 8, 9], [10, 11, 阅读全文
posted @ 2023-11-28 15:02 黑逍逍 阅读(34) 评论(0) 推荐(0) 编辑
torch.cat
摘要:拼接tensor torch.cat(tensors, dim): 沿指定维度拼接张量。 tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]]) tensor2 = torch.tensor([[7, 8, 9], [10, 11, 12]]) # dim=0 阅读全文
posted @ 2023-11-28 15:01 黑逍逍 阅读(43) 评论(0) 推荐(0) 编辑
空值处理
摘要:# 检测是不是空值 df.isnull() # 检测是不是有值,两个函数一样 df.notnull() df.notna() # 删除包含缺失值的行 df.dropna(inplace=True) inplace=True 表示直接在原始 DataFrame 上进行修改如果没有这个必须要有接收对象 阅读全文
posted @ 2023-11-28 12:55 黑逍逍 阅读(17) 评论(0) 推荐(0) 编辑
数据分组 groupby
摘要:groupby() 方法通常用于对数值数据进行分组和聚合,例如 sum()、count()、max()、min() 等等。但它也可以用于对非数值数据进行分组 # 创建一个示例 DataFrame data = { 'City': ['New York', 'Chicago', 'San Franci 阅读全文
posted @ 2023-11-28 11:37 黑逍逍 阅读(17) 评论(0) 推荐(0) 编辑
transformer结构
摘要:论文:https://arxiv.org/abs/1706.03762 理解: 位置编码之后,还要生成QKV向量,在传递到多头注意力 定义: Transformer模型一般由编码器(Encoder)和解码器(Decoder)两部分组成,每个部分都有不同的功能,因此在不同的任务中可能会选择使用其中一个 阅读全文
posted @ 2023-11-27 20:47 黑逍逍 阅读(77) 评论(0) 推荐(0) 编辑
安装anaconda
摘要:配置清华源conda config --show channels conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels htt 阅读全文
posted @ 2023-11-27 16:51 黑逍逍 阅读(2) 评论(0) 推荐(0) 编辑
torch.cuda
摘要:什么时候需要将计算放置在GPU,cuda上 计算量大的时候,有torch的时候 什么数据放在GPU 在 PyTorch 和其他深度学习框架中,通常只有模型的参数和输入到模型的数据(张量)需要被移动到 GPU 上 当从数据excel pandas中提取文本数据并通过分词器处理时,处理后的张量才需要被移 阅读全文
posted @ 2023-11-26 23:03 黑逍逍 阅读(56) 评论(0) 推荐(0) 编辑
nn.transformer
摘要:定义: nn.Transformer: 这是一个完整的Transformer模型,包含了编码器(Encoder)和解码器(Decoder)。这个类提供了将整个模型作为一个单一组件使用的接口。 nn.TransformerEncoder: 这是Transformer模型中编码器的部分。它由N个nn.T 阅读全文
posted @ 2023-11-26 22:39 黑逍逍 阅读(1047) 评论(0) 推荐(0) 编辑
os
摘要:列出目录中的文件和子目录 files_and_directories = os.listdir(directory_path) 要获取所有的文件,包括子目录下面的 os.walk for foldername, subfolders, filenames in os.walk('data'):当前文 阅读全文
posted @ 2023-11-26 18:16 黑逍逍 阅读(115) 评论(0) 推荐(0) 编辑
JSON
摘要:json格式 { "name": "John", "age": 30, "city": "New York"} json数组 [ "Google", "Runoob", "Taobao" ] { "name":"网站", "num":3, "sites":[ "Google", "Runoob", 阅读全文
posted @ 2023-11-26 18:02 黑逍逍 阅读(4) 评论(0) 推荐(0) 编辑
SK都是干什么的
摘要:参考文档:非常全面的Sklearn介绍 (qq.com) scikit-learn: machine learning in Python — scikit-learn 1.3.2 documentation 分类(Classification): 实现了多种监督学习分类算法,例如支持向量机(SVM 阅读全文
posted @ 2023-11-24 12:56 黑逍逍 阅读(40) 评论(0) 推荐(0) 编辑
torch.jit
摘要:保存模型有两种方式,方式不同,在调用模型的时候也不同 我更建议用torch.jit。。。这样不需要在写模型的参数 torch.save 保存模型: import torch import torch.nn as nn # 假设 model 是你的 PyTorch 模型 class SimpleMod 阅读全文
posted @ 2023-11-24 11:02 黑逍逍 阅读(162) 评论(0) 推荐(0) 编辑
torch.tensor
摘要:创建张量: torch.tensor(data): 从数据中创建张量。用列表创建,numpy创建 维度只看[ ] # 一维张量 一维张量是指只有一个轴的张量,没有行列之分 data_1d = [1, 2, 3] tensor_1d = torch.tensor(data_1d)结果tensor([1 阅读全文
posted @ 2023-11-23 22:03 黑逍逍 阅读(71) 评论(0) 推荐(0) 编辑
Torch张量是什么
摘要:定义: 在PyTorch中,张量(tensor)是一种类似于多维数组的数据结构,它是PyTorch的核心数据类型。和numpy的计算方式不同。 张量可以具有不同的维度,例如标量(0维张量,类似于一个数字)、向量(1维张量,类似于一维数组)、矩阵(2维张量,类似于二维数组)以及更高维度的数组。 张量的 阅读全文
posted @ 2023-11-23 20:55 黑逍逍 阅读(159) 评论(0) 推荐(0) 编辑
pandas inplace
摘要:当你使用 inplace=True 时,操作将直接在原始对象上进行,而不返回一个新的对象。当 inplace=False 或未指定时,通常会返回一个修改后的新对象,而原始对象保持不变 阅读全文
posted @ 2023-11-21 13:06 黑逍逍 阅读(17) 评论(0) 推荐(0) 编辑
pandas 转numpy、list
摘要:# 创建一个示例 DataFrame data = {'A': [1, 2, 3], 'B': [4, 5, 6]} df = pd.DataFrame(data) print(df) A B 0 1 4 1 2 5 2 3 6 转numpy # 将 DataFrame 转为 NumPy 数组 nu 阅读全文
posted @ 2023-11-21 13:01 黑逍逍 阅读(29) 评论(0) 推荐(0) 编辑
Excel读取和写入,pandas
摘要:读取 读取整个文件然后删除不需要的列:使用 drop() 函数删除不需要的列。 只选择需要的列读取:使用 usecols 参数来指定这些列。 查看列名column_names = df.columns 选取某个sheet表 sheet_name 是 demo: 写入: df.to_excel('da 阅读全文
posted @ 2023-11-21 12:50 黑逍逍 阅读(19) 评论(0) 推荐(0) 编辑
删除替换
摘要:删除 替换 阅读全文
posted @ 2023-11-20 22:45 黑逍逍 阅读(6) 评论(0) 推荐(0) 编辑
索引切片
摘要:arr = np.array([[1,2,3],[3,4,5],[4,5,6]]) print (arr) [[1 2 3] [3 4 5] [4 5 6]] 行: 单行 row_1 = arr[0] 多行 row_1_2 = arr[0:2]print(row_1_2)最后一位取不到 条件 # 选 阅读全文
posted @ 2023-11-20 18:14 黑逍逍 阅读(3) 评论(0) 推荐(0) 编辑
从显卡驱动,到pytoch的安装
摘要:有些东西,可能当时觉得理解了,实际上还是模模糊糊的 显卡驱动 最开始我的电脑上是没有nvidia的控制面板的,所以先安装的nvidia的驱动 官网: nvidia-smi 如果显示nvidia不是系统变量,说明驱动安装好了之后,没有添加到path中,将C:\Program Files\NVIDIA 阅读全文
posted @ 2023-11-20 14:54 黑逍逍 阅读(9) 评论(0) 推荐(0) 编辑
onedriver是什么
摘要:. 阅读全文
posted @ 2023-11-20 14:54 黑逍逍 阅读(42) 评论(0) 推荐(0) 编辑
pycharm配置conda
摘要:会让你选择虚拟环境 右下角就有 结果了 阅读全文
posted @ 2023-11-19 14:03 黑逍逍 阅读(19) 评论(0) 推荐(0) 编辑
LLAMA(羊驼)介绍
摘要:开源的大模型 下载又是github 又是申请账号,可能还有代理的问题。 下载的模型是pth,还不能用,还要转换成huggingface格式。 所以直接从huggingface下载就完事了 阅读全文
posted @ 2023-11-14 23:35 黑逍逍 阅读(72) 评论(0) 推荐(0) 编辑
什么是大模型
摘要:什么是大模型 "大模型"通常指的是深度学习中参数数量庞大、层数深厚的神经网络模型。这些模型具有数十亿甚至上百亿的参数,通常需要大量的计算资源来进行训练和推断。这种规模的模型在处理复杂任务时表现得很出色,因为它们能够从大量的数据中学到更复杂、更抽象的表示。 例如,GPT-3(Generative Pr 阅读全文
posted @ 2023-11-14 22:48 黑逍逍 阅读(336) 评论(0) 推荐(0) 编辑
使用bert进行文本分类
摘要:. 阅读全文
posted @ 2023-11-14 16:57 黑逍逍 阅读(5) 评论(0) 推荐(0) 编辑
使用Bert模型实现embedding嵌入
摘要:参考文献:保姆级教程,用PyTorch和BERT进行文本分类 - 知乎 (zhihu.com) 模型地址:https://huggingface.co/bert-base-cased 结果是BaseModelOutput对象: BaseModelOutput 类型是 Hugging Face Tra 阅读全文
posted @ 2023-11-14 09:54 黑逍逍 阅读(353) 评论(0) 推荐(0) 编辑
过拟合、欠拟合
摘要:过拟合(Overfitting): 定义: 过拟合指的是模型在训练数据上表现很好,但在新数据上表现较差的情况。模型过于复杂,可能捕捉了训练数据中的噪声或特定的样本特征,而这些特征并不代表整体的数据分布。 原因: 过拟合通常发生在模型复杂度较高、参数过多或者训练数据不足的情况下。模型可能过分记住了训练 阅读全文
posted @ 2023-11-13 22:38 黑逍逍 阅读(76) 评论(0) 推荐(0) 编辑
bert和transformer有什么区别和联系
摘要:重新在写 阅读全文
posted @ 2023-11-13 09:57 黑逍逍 阅读(1922) 评论(0) 推荐(0) 编辑
什么是Bert
摘要:论文:https://arxiv.org/abs/1810.04805 参考文献:自然语言处理中的Transformer和BERT - 知乎 (zhihu.com) 定义: BERT(Bidirectional Encoder Representations from Transformers)是一 阅读全文
posted @ 2023-11-12 23:31 黑逍逍 阅读(107) 评论(0) 推荐(0) 编辑
模型的评估
摘要:在机器学习中,模型评估有很多不同的指标,具体的选择通常取决于你解决的问题的性质(例如分类、回归等)以及你关心的特定性能方面。以下是一些常见的模型评估指标: 分类问题指标: 在二分类问题中,"正类别"通常指的是模型预测为正例的类别。在一个二分类问题中,我们通常将其中一个类别标记为正例(Positive 阅读全文
posted @ 2023-11-10 13:41 黑逍逍 阅读(41) 评论(0) 推荐(0) 编辑
epoch
摘要:在机器学习中,一个 epoch 是指对整个训练数据集进行一次完整的训练。在训练神经网络时,一次完整的训练周期会经过所有的训练样本,然后根据模型的权重进行参数更新。 训练数据集通常被分成小批次(minibatches)进行处理,每个小批次包含一组训练样本。在一个 epoch 中,模型会逐批次地处理训练 阅读全文
posted @ 2023-11-10 09:54 黑逍逍 阅读(104) 评论(0) 推荐(0) 编辑
合并数组
摘要:横向合并np.hstack np.hstack((text_vector, metrics_vector)) 纵向合并np.vstack 为什么有时候合并数组,会自动进行格式转换,变成科学计数法?有时候不会 数据中不能有英文 text_vector [-0.00273603 -0.321008 -0 阅读全文
posted @ 2023-11-09 16:32 黑逍逍 阅读(5) 评论(0) 推荐(0) 编辑
函数-设置有效数字
摘要:# 设置三位有效数字 df = pd.read_excel('训练数据-3年.xlsx',sheet_name='new23年指标数据') # # 指定列名 columns_to_convert = ['PT', 'PN', 'RA', 'RQ', 'RI', 'CFT', 'CGR-3', 'CA 阅读全文
posted @ 2023-11-09 16:29 黑逍逍 阅读(8) 评论(0) 推荐(0) 编辑
设置数据格式,变成三位小数
摘要:首先选中表格内的数字。 鼠标右击,选择【设置单元格格式】。 在设置框内选择【数字】【数值】,将小数位数调整为【3】,点击【确定】 阅读全文
posted @ 2023-11-09 15:05 黑逍逍 阅读(432) 评论(0) 推荐(0) 编辑
wandb怎么用
摘要:安装: 剩下的就是跑代码 阅读全文
posted @ 2023-11-09 10:39 黑逍逍 阅读(10) 评论(0) 推荐(0) 编辑
函数-数据合并
摘要:concat 直接将两个表水平|垂直 加起来 merge 将两个表合并 有左有右。交集并集 使用场景:使用键将两个数据合并起来 阅读全文
posted @ 2023-11-09 10:05 黑逍逍 阅读(14) 评论(0) 推荐(0) 编辑
多分类问题:模型输出结果,和标签的顺序
摘要:背景: 在多分类问题中,模型输出的结果是一个矩阵,某个值为1,其他的值为0. 怎么知道值为1的那个位置,代表的是哪个标签?? 二分类 常见的约定的惯例 第一个位置通常对应"负类别":这是因为通常情决定了负类别是标签0或其他表示非目标类别的值。 第二个位置通常对应"正类别":同样地,正类别通常被编码为 阅读全文
posted @ 2023-11-06 22:20 黑逍逍 阅读(74) 评论(0) 推荐(0) 编辑
vite创建项目
摘要:打开cmd npm create vite@latest 选择vue 再选择jsavscript npm install 下载依赖 npm run dev ok 阅读全文
posted @ 2023-11-06 21:10 黑逍逍 阅读(15) 评论(0) 推荐(0) 编辑
tailwailcss入门,都学什么
摘要:核心概念: Utility-First Fundamentals: 这是指Tailwind CSS的设计理念,其中大量使用工具类,即小的、单一用途的CSS类,用于构建复杂的设计。这种方法的好处是它可以快速地迭代和维护样式。 Hover, Focus, and Other States: Tailwi 阅读全文
posted @ 2023-11-05 14:10 黑逍逍 阅读(122) 评论(0) 推荐(0) 编辑
Tailwind--安装
摘要:Tailwind CLI:这是指通过Tailwind的命令行界面安装。这种方式通常是全局安装,可以在终端或命令行中直接使用Tailwind命令。 Using PostCSS:PostCSS是一个用于转换CSS的工具,Tailwind CSS可以作为PostCSS插件来使用。这种方法通常需要在项目的构 阅读全文
posted @ 2023-11-01 12:52 黑逍逍 阅读(93) 评论(0) 推荐(0) 编辑




点击右上角即可分享
微信分享提示