12 2024 档案

摘要:HF微调语言模型-问答任务¶ 注意:微调后的模型仍然是通过提取上下文的子串来回答问题的,而不是生成新的文本。 In [1]: # 根据你使用的模型和GPU资源情况,调整以下关键参数 squad_v2 = False model_checkpoint = "/models/distilbert-bas 阅读全文
posted @ 2024-12-30 19:38 MKY-门可意 阅读(10) 评论(0) 推荐(0) 编辑
摘要:HF微调训练¶ Transformers实现模型微调训练的主要流程: 数据集下载 数据预处理 训练超参数配置 训练评估指标设置 训练器基本介绍 实战训练 模型保存 YelpReviewFull 数据集¶ 数据集下载: YelpReviewFull 数据集摘要¶ Yelp评论数据集包括来自Yelp的评 阅读全文
posted @ 2024-12-27 06:50 MKY-门可意 阅读(8) 评论(0) 推荐(0) 编辑
摘要:Pipelines 进阶¶ 以下任务: 使用 Pipeline 如何与现代的大语言模型结合,以完成各类下游任务 使用 Tokenizer 编解码文本 使用 Models 加载和保存模型 使用 Pipeline 调用大语言模型¶ LLM¶ 两种典型的语言模型: 自回归:模型目标是预测序列中的下一个 T 阅读全文
posted @ 2024-12-16 20:40 MKY-门可意 阅读(30) 评论(0) 推荐(0) 编辑
摘要:keras_cat_do_con In [1]: #由于Keras已经与TensorFlow合并,tensorflow下面导入keras import tensorflow as tf from tensorflow.keras.models import Sequential from tenso 阅读全文
posted @ 2024-12-15 16:44 MKY-门可意 阅读(20) 评论(0) 推荐(0) 编辑
摘要:In [1]: #由于Keras已经与TensorFlow合并,tensorflow下面导入keras import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras impor 阅读全文
posted @ 2024-12-15 10:14 MKY-门可意 阅读(8) 评论(0) 推荐(0) 编辑
摘要:HF Transformers Pipelines Pipelines接口方式 任务名称 参数名称 参数描述 sentiment-analysis model 指定使用的模型名称或路径。 tokenizer 指定使用的分词器名称或路径。 framework 选择使用的深度学习框架,"pt" 表示 P 阅读全文
posted @ 2024-12-14 17:24 MKY-门可意 阅读(17) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示