摘要: 测试结论如下表所示: 7B模型,batch=2时的显存占用: 72B,batch=2时的显存占用: 阅读全文
posted @ 2024-06-26 14:50 glowwormss 阅读(52) 评论(0) 推荐(0) 编辑
摘要: 一、设置展示 import pandas # 设置最大显示行数为50 pd.set_option('display.max_rows', 50) # 设置最大显示列数为10 pd.set_option('display.max_columns', 10) # 设置每列的最大宽度为50个字符 pd.s 阅读全文
posted @ 2024-06-25 16:23 glowwormss 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 背景: 在jupyter 中加载baichuan大模型时报错 报错一: from peft import PeftModel 报错 报错提示:python -m bitsandbytes 执行 python -m bitsandbytes 时又报错,报错内容为: Traceback (most re 阅读全文
posted @ 2023-11-06 15:17 glowwormss 阅读(449) 评论(0) 推荐(0) 编辑
摘要: 一、线性回归 a、优点 1. 实现简单,计算高效2. 可以处理连续值和离散值特征3. 可以通过正则化控制模型复杂度 b、缺点 1. 对非线性关系拟合能力有限2. 对异常值敏感,通常需要WOE编码3. 对特征之间存在共线性时,结果可能不稳定 c、损失函数均方误差(MSE):loss(y, F) = ( 阅读全文
posted @ 2023-10-23 15:25 glowwormss 阅读(346) 评论(0) 推荐(0) 编辑
摘要: 1、docker镜像下载 下载链接:https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver/tags 或者直接 docker pull nvcr.io/nvidia/tritonserver:23.01-py3 2、克隆w 阅读全文
posted @ 2023-10-20 11:46 glowwormss 阅读(642) 评论(0) 推荐(1) 编辑
摘要: 1、经典车羊问题 假设你参加一个游戏节目,有三扇关闭的门,其中一扇后面有一辆汽车,而其他两扇后面是山羊。你首先选择一扇门,然后主持人打开另外两扇门中的一扇,露出其中一只山羊。 现在,你可以选择是否改变自己的选择,选择另外一扇未被打开的门。那么,应该改变选择还是保持原来的选择呢? import ran 阅读全文
posted @ 2023-10-11 15:58 glowwormss 阅读(117) 评论(0) 推荐(0) 编辑
摘要: 1、自注意力案例 import torch import torch.nn as nn class Selfattention(nn.Module): def __init__(self,input_dim): super(Selfattention, self).__init__() self.q 阅读全文
posted @ 2023-10-09 18:06 glowwormss 阅读(32) 评论(0) 推荐(0) 编辑
摘要: 一、日常生活中常常遇到指派类问题或者分配问题,给N个人员(X1, X2, ... Xn) 安排N份工作(Y1, Y2, ... Yn) ,其中每个人只能胜任其中的若干项工作,而且每个人完成不同工作需要耗费的时间不同。是否可以给每个人分配一个可以胜任的工作,如何分配才能保证完成工作的总耗时最少?类似的 阅读全文
posted @ 2023-10-08 11:01 glowwormss 阅读(555) 评论(0) 推荐(0) 编辑
摘要: Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch 数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,再根据权重将结果 阅读全文
posted @ 2023-09-12 19:18 glowwormss 阅读(131) 评论(0) 推荐(0) 编辑
摘要: 一、知识库简介 知识库是QA问答的核心,那知识库的质量怎么保证呢,如下面两幅图所示,该图采用tsne对知识库语意向量降维所得,一种颜色代表一种意图,距离代表相似度,从左图可看出,存在部分意图与其他意图的语意边界混乱的情况,也存在部分意图相似问分布明显可分成两个簇,还有些意图存在大量的相似问与类中心过 阅读全文
posted @ 2023-09-06 11:42 glowwormss 阅读(104) 评论(0) 推荐(0) 编辑