将模型上传到huggingface

在notebook上输入如下代码并运行后,输入write的token

from huggingface_hub import notebook_login
notebook_login()
# 设置训练参数
from transformers import TrainingArguments
batch_size = 32
logging_steps = len(encoded['train']) // batch_size
model_name = f"{model_pretrained}-finetuned-disaster"
training_args = TrainingArguments(
    report_to='none',
    output_dir=model_name,
    num_train_epochs=2,
    learning_rate=2e-5,
    per_device_train_batch_size=batch_size,
    per_device_eval_batch_size=batch_size,
    weight_decay=.01,
    evaluation_strategy='epoch',
    disable_tqdm=False,
    logging_steps=logging_steps,
    log_level='error',
    push_to_hub=True,
)

# 模型训练和评估
from transformers import Trainer
from sklearn.metrics import accuracy_score, f1_score
def compute_metrics(pred):
    """Compute accuracy and f1 score
    """
    labels = pred.label_ids
    preds = pred.predictions.argmax(-1)
    f1 = f1_score(labels, preds, average='weighted')
    acc = accuracy_score(labels, preds)
    return {'accuracy': acc, 'f1': f1}
trainer = Trainer(
    model=model,
    args=training_args,
    compute_metrics=compute_metrics,
    train_dataset=encoded['train'],
    eval_dataset=encoded['validation'],
    tokenizer=tokenizer,
)
trainer.train()
# trainer.save_model()
trainer.push_to_hub("tiansz/roberta-large-finetuned-disaster")

本文作者:tiansz

本文链接:https://www.cnblogs.com/tiansz/p/17252061.html

版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。

posted @   tiansz  阅读(350)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 没有源码,如何修改代码逻辑?
· NetPad:一个.NET开源、跨平台的C#编辑器
· PowerShell开发游戏 · 打蜜蜂
· 凌晨三点救火实录:Java内存泄漏的七个神坑,你至少踩过三个!
点击右上角即可分享
微信分享提示
评论
收藏
关注
推荐
深色
回顶
收起