etx安装第三方库
摘要：
etx安装第三方库 原理 本质就是对py的真实环境copy一份另建立一个目录 背景：ETX 对于迭代的sdk版本不易管理，来回切换比较麻烦。所以需要创建venv管理sdk版本。 conda和venv二者均可。 1 查找原来建立的venv $ python3 -m venv -h 列出帮助 2 新建 阅读全文
posted @ 2023-05-23 17:48 lexn 阅读(44) 评论(0) 推荐(0) 编辑
关于真正量化和假冒量化的原理分析
摘要：
关于真正量化和假冒量化的原理分析 背景： 目前大量的 GPT-base 模型的量化仅仅对权重（weights）进行量化，而没有对特征图（feature maps）进行量化。这样的量化模型实际上并不是真正的量化模型。 在深度学习中，模型参数（weights）和输入数据（feature maps）都可以 阅读全文
posted @ 2023-05-10 18:40 lexn 阅读(163) 评论(0) 推荐(0) 编辑
：）深度学习模型如何统计params量-|
摘要：
：）深度学习模型如何统计params量-| 链接：深度学习中模型计算量(FLOPs)和参数量(Params)的理解以及四种计算方法总结 (itvuer.com) 大概有params， summary，以及第三方库 还可以直接统计 参数量对计算量的影响 ，能直接统计占用算力资源 from thop i 阅读全文
posted @ 2023-04-17 18:57 lexn 阅读(89) 评论(0) 推荐(0) 编辑
：）搭建公司级的chatGPTmingu-|
摘要：
搭建公司级的chatGPT(业务答疑) 一 搭建对话服务平台 参考工程：gradio-app/gradio: Create UIs for your machine learning model in Python in 3 minutes (github.com) 参考链接：https://www 阅读全文
posted @ 2023-04-17 17:00 lexn 阅读(211) 评论(0) 推荐(0) 编辑
python实验室1-列表套列表-子列表反转
摘要：
python实验室1-列表套列表-子列表反转 实现列表套列表，其中的各个子列表实现反转 现象：使用map，在cmd 和 pycharm环境 实现不一样 现象1：cmd >>> a = [[1,2,3], [2,5,7]] >>> a [[1, 2, 3], [2, 5, 7]] >>> b = ma 阅读全文
posted @ 2023-04-13 15:00 lexn 阅读(25) 评论(0) 推荐(0) 编辑
：）关于torch函数中dim的解释-读这篇就够了-|
摘要：
关于torch函数中dim的解释-读这篇就够了 1 dim的取值范围 1）-1的作用 0，1，2，-1. 其中-1 最后一维 即 2 0，1，2，3，-1其中-1 最后一维 即3 2）维度 0，1，2，3表示 BCHW，常在CV任务中使用。 0，1，2 表示 CHW， 常在NLP任务中使用。 3）用 阅读全文
posted @ 2023-04-08 11:18 lexn 阅读(564) 评论(0) 推荐(1) 编辑
pytorch中bin模型文件转onnx遇到的问题
摘要：
pytorch中bin模型文件转onnx遇到的问题 1 常规做法 import os import numpy as np from transformers import GPT2LMHeadModel import torch localfile = r"C:\Users\min_ppl_mod 阅读全文
posted @ 2023-04-04 17:54 lexn 阅读(830) 评论(0) 推荐(0) 编辑
：）语言模型的评价-PPL迷惑度-从语言模型说起-|
摘要：
语言模型的评价-PPL迷惑度-从语言模型说起 一语言模型 1.1语言模型概念： 1 计算一个句子的概率模型 2 也就是能够判断一个句子是否是人类语言，输出其概率。 1.2推导 1.3它的概率表示为： 1.4存在两个缺陷： 1、參数空间过大：条件概率P(wn|w1,w2,..,wn-1)的可能性太多， 阅读全文
posted @ 2023-03-31 16:09 lexn 阅读(833) 评论(0) 推荐(0) 编辑
：）基于pytorch 的loss监控可视化-|
摘要：
基于pytorch 的loss监控可视化 绘制可以train和val在一张图上的趋势图。 1 安装tensorboard pip install tensorboard 2 嵌入代码工程 1） 定义 数据集 # 训练可视化 from torch.utils.tensorboard import Su 阅读全文
posted @ 2023-03-30 12:09 lexn 阅读(445) 评论(0) 推荐(0) 编辑
GPT前世今生-transformer-注意力机制
摘要：
GPT前世今生-transformer-注意力机制 背景： 心理学知识，随意线索和非随意线索。 启发： 注意力机制中概念： query：你的要求 查询的东西。如问“你要干嘛？” key：如杯子，本子 value：可以也是杯子本子，也可以是对应的分值(即注意力重要程度) 数学： f(x) = xi，y 阅读全文
posted @ 2023-03-28 09:49 lexn 阅读(190) 评论(0) 推荐(0) 编辑
