摘要:
大模型中的归一化主要是为了解决LLM训练不稳定的问题 LLM中归一化方法可以按照归一化方法来分,主要分为LayerNorm,BatchNorm,RMSNorm以及DeepNorm 按照归一化位置来分类,包括 postNorm 和 preNorm 1. BatchNorm BatchNorm主要对数据 阅读全文
摘要:
1、国内常用镜像源清华大学 :https://pypi.tuna.tsinghua.edu.cn/simple/ 阿里云:http://mirrors.aliyun.com/pypi/simple/ 中国科学技术大学 :http://pypi.mirrors.ustc.edu.cn/simple/ 阅读全文
摘要:
TF-IDF(term frequency–inverse document frequency,词频-逆向文件频率) TF-IDF本质上是一种统计方法,用来评估一个词/token在整个语料库中当前文档中的重要程度,字词的重要性随着它在当前文档中出现的频率成正比增加,随着它在整个语料库中出现的频率成 阅读全文