随笔分类 - AI / PEFT
摘要:GPTQ简介 2022年,Frantar等人发表了论文 GPTQ:Accurate Post-Training Quantization for Generative Pre-trained Transformers。 这篇论文详细介绍了一种训练后量化算法,适用于所有通用的预训练 Transform
阅读全文
摘要:自然语言处理(NLP)领域近年来取得了巨大的进展,而 Hugging Face Transformers 库 无疑是推动这一进展的重要力量。它为研究人员和开发者提供了丰富的预训练模型、简洁易用的接口以及高效的工具,极大地简化了 NLP 任务的开发流程。本文将带您深入探索 Transformers 库
阅读全文
摘要:HF微调语言模型-问答任务¶ 注意:微调后的模型仍然是通过提取上下文的子串来回答问题的,而不是生成新的文本。 In [1]: # 根据你使用的模型和GPU资源情况,调整以下关键参数 squad_v2 = False model_checkpoint = "/models/distilbert-bas
阅读全文
摘要:HF微调训练¶ Transformers实现模型微调训练的主要流程: 数据集下载 数据预处理 训练超参数配置 训练评估指标设置 训练器基本介绍 实战训练 模型保存 YelpReviewFull 数据集¶ 数据集下载: YelpReviewFull 数据集摘要¶ Yelp评论数据集包括来自Yelp的评
阅读全文
摘要:Pipelines 进阶¶ 以下任务: 使用 Pipeline 如何与现代的大语言模型结合,以完成各类下游任务 使用 Tokenizer 编解码文本 使用 Models 加载和保存模型 使用 Pipeline 调用大语言模型¶ LLM¶ 两种典型的语言模型: 自回归:模型目标是预测序列中的下一个 T
阅读全文
摘要:HF Transformers Pipelines Pipelines接口方式 任务名称 参数名称 参数描述 sentiment-analysis model 指定使用的模型名称或路径。 tokenizer 指定使用的分词器名称或路径。 framework 选择使用的深度学习框架,"pt" 表示 P
阅读全文