摘要：
“小夕，小夕！又出来了个 SOTA 模型！赶紧 follow ！” 小夕看了看新模型的参数量， 然后看了看实验室服务器的几张小破卡。 小夕，陷入了沉默。 自从人们发现越大的模型性能越好后，神经网络模型的参数量就在越来越大的道路上一去不复返了。从XX-large到GPT3，再到5300亿参数的Mega 阅读全文
摘要：
Hugging Face's PEFT是一种针对Transformer模型的加速器，其全称为"Positional Encodings for Fine-tuning"。PEFT的主要目的是通过改变位置编码的方式来提高Transformer模型的训练和推理速度。PEFT是在Hugging Face团 阅读全文
摘要：
Tokenizers是Hugging Face开发的一个高效的文本分词库，用于将自然语言文本分割成单个的标记（tokens），以便用于自然语言处理任务中，如文本分类、命名实体识别、机器翻译等。 Tokenizers支持多种语言，并提供了多种分词器的实现，包括Byte-Pair Encoding (B 阅读全文
摘要：
先看下GPT的发展时间线 InstructGPT（2022 年 1 月）是一系列 GPT-3 模型（包括 text-davinci-001、text-davinci-002 和 text-davinci-003）统称，于GPT-3相比，它的最大不同是针对人类指令（reinforcement lear 阅读全文
摘要：
在大模型中，对齐（Alignment）指的是将两个不同序列中的对应元素（如单词、字符或子词）进行匹配，以便进行某些任务，例如机器翻译、文本摘要、语音识别等。 在机器翻译中，对齐是指将源语言中的单词和目标语言中的单词进行匹配。例如，当翻译句子“我爱你”到法语时，源语言中的“我”、“爱”、“你”需要匹配 阅读全文
摘要：
OpenAI 推出的 ChatGPT 对话模型掀起了新的 AI 热潮，它面对多种多样的问题对答如流，似乎已经打破了机器和人的边界。这一工作的背后是大型语言模型 (Large Language Model，LLM) 生成领域的新训练范式：RLHF (Reinforcement Learning fro 阅读全文
摘要：
文本生成指标（如BLEU和ROUGE）是用于评估机器生成的文本与人类生成的文本之间相似度的度量标准。这些指标是在机器翻译领域中最初开发的，但现在已被广泛应用于文本生成和摘要等其他领域。 BLEU（Bilingual Evaluation Understudy）是最常用的文本生成指标之一。BLEU使用 阅读全文