随笔分类 -  机器（深度）学习 / NLP / 大模型

训练的评估函数
摘要：分类任务 import numpy as np import evaluate metric = evaluate.load("accuracy") def compute_metrics(eval_pred): logits, labels = eval_pred predictions = np 阅读全文
posted @ 2024-09-02 04:41 黑逍逍 阅读(36) 评论(0) 推荐(0) 编辑
AutoPeftModel、AutoModel、PeftModel
摘要：官网： AutoPeftModel类通过从配置文件中自动推断任务类型来加载适当的PEFT模型。它们被设计成在一行代码中快速、轻松地加载PEFT模型，而不必担心您需要哪个确切的模型类，或者手动加载PeftConfig.v AutoModel、Transformers提供了一种简单统一的方法来加载预训练 阅读全文
posted @ 2024-06-20 20:34 黑逍逍 阅读(125) 评论(0) 推荐(0) 编辑
parameter-Efficient-fine-tuning 部分参数微调（PEFT）
摘要：PEFT（Parameter-Efficient Fine-Tuning参数高效微调） huggingface：PEFT (huggingface.co) github：GitHub - huggingface/peft: 🤗 PEFT: State-of-the-art Parameter-Ef 阅读全文
posted @ 2024-06-17 18:02 黑逍逍 阅读(244) 评论(0) 推荐(0) 编辑
千帆API
摘要：又想让我吐槽一顿。 为什么用户手册设计的这么复杂，用户手册写的这么烂？写的就像史一样 恶心恶心恶心 先使用sk获取token 然后使用这个token去请求 阅读全文
posted @ 2024-03-11 12:15 黑逍逍 阅读(12) 评论(0) 推荐(0) 编辑
LLAMA（羊驼）介绍
摘要：开源的大模型 下载又是github 又是申请账号，可能还有代理的问题。 下载的模型是pth，还不能用，还要转换成huggingface格式。 所以直接从huggingface下载就完事了 阅读全文
posted @ 2023-11-14 23:35 黑逍逍 阅读(73) 评论(0) 推荐(0) 编辑
什么是大模型
摘要：什么是大模型 "大模型"通常指的是深度学习中参数数量庞大、层数深厚的神经网络模型。这些模型具有数十亿甚至上百亿的参数，通常需要大量的计算资源来进行训练和推断。这种规模的模型在处理复杂任务时表现得很出色，因为它们能够从大量的数据中学到更复杂、更抽象的表示。 例如，GPT-3（Generative Pr 阅读全文
posted @ 2023-11-14 22:48 黑逍逍 阅读(343) 评论(0) 推荐(0) 编辑




点击右上角即可分享
微信分享提示