摘要：
大模型中的归一化主要是为了解决LLM训练不稳定的问题 LLM中归一化方法可以按照归一化方法来分，主要分为LayerNorm，BatchNorm，RMSNorm以及DeepNorm 按照归一化位置来分类，包括 postNorm 和 preNorm 1. BatchNorm BatchNorm主要对数据 阅读全文
摘要：
1、国内常用镜像源清华大学 ：https://pypi.tuna.tsinghua.edu.cn/simple/ 阿里云：http://mirrors.aliyun.com/pypi/simple/ 中国科学技术大学 ：http://pypi.mirrors.ustc.edu.cn/simple/ 阅读全文
摘要：
TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率） TF-IDF本质上是一种统计方法，用来评估一个词/token在整个语料库中当前文档中的重要程度，字词的重要性随着它在当前文档中出现的频率成正比增加，随着它在整个语料库中出现的频率成 阅读全文