摘要：
1.引言 在文本输入embedding层之前，以中文文本为例，首先对文本进行分词并进行one-hot编码，分词肯定是根据词表来进行分词，那构建一个合适的词表就显得至关重要，过大或者过小都会对后续模型的训练效果产生影响。所以这里介绍当前各个大模型的词表构建方法。 2.技术基础 在介绍具体的词表构建方法 阅读全文
摘要：
当前加速框架层出不穷，到底哪个能一统天下未可知，那在当前阶段我们加速大模型该选取哪个框架呢。目前存在的大模型加速框架：VLLM，TGI,FasterTransformer,DeepSpeed-MII,FlexFlow Server,LMDeploy等等等等。但是这些框架大部分支持的模型都很少，或只支 阅读全文
摘要：
广东的天气就像四岁孩子的脸，说变就变，昨天艳阳高照，今天一秒入冬。不知道是不是水土不服，得了虹膜炎，一只眼睛泛着红光，现在是见谁都眼红的程度。整理了几个问题，测一下各个模型的回答。 问题： 1、我岳父只有一个女儿，她跟我的女儿是什么关系 2、患者因右上腹疼痛入院，经过治疗后，左上腹疼痛缓解，这句话存 阅读全文
摘要：
之前只关注过transformer的encode模块，没有进行过decode模块的使用和训练，最近生成模型大火，而且最近还在看prompt，感觉所有encode的任务都能变成decode的形式，所以这里学习并整理gpt2模型的相关知识。 下述encode模块都以bert为原型，即bert在输入的时候 阅读全文
摘要：
1、cuda有些本地安装下面有相关版本的补丁，我觉得有必要安一下。 2、下载前先卸载之前的cuda，如果有的话。 3、贴一下相关版本对照链接 torch版本下载链接： https://download.pytorch.org/whl/torch_stable.html cuda下载链接： https 阅读全文
摘要：
转载一篇技术文章，一些pytorch使用技巧 1、计算整体参数量 ``` num_parameters = sum(torch.numel(parameter) for parameter in model.parameters()) ``` 2、提取模型中的某一层 modules()会返回模型中所 阅读全文
摘要：
0000-007F：C0控制符及基本拉丁文 (C0 Control and Basic Latin) 0080-00FF：C1控制符及拉丁文补充-1 (C1 Control and Latin 1 Supplement) 0100-017F：拉丁文扩展-A (Latin Extended-A) 01 阅读全文
摘要：
transformers库中集成了许多模型接口，在处理模型输入数据和加载模型的时候很方便，但是！它真的好多keng，最近下载了一个roberta的模型，本地加载tokenizer一直找不到vocab数据,报错：TypeError: expected str, bytes or os.PathLike 阅读全文
摘要：
** 1、遗忘问题** 预训练模型当前的一个使用模式就是，预训练+finetune的方式，当我们用一个当前任务相关领域的文本进行finetune的时候，准确率在当前的任务上的提升了，但是在之前预训练的其他任务的效果相对的下降了，这种就是典型的遗忘问题。那如何解决这种问题，目前的方法： （1）将当前的 阅读全文
摘要：
#### SkipGram 定义词窗大小，构造训练集；用当前词去预测周围的词。训练集的样子，（当前词，周围词1），（当前词，周围词2）等等。(去除高频和低频词，高频of the等) #### Cbow 定义词窗大小，构造训练集；周围词求和取平均预测当前词； #### 构建霍夫曼树 - 文本首先分词， 阅读全文
