Bert下载和使用(以bert-base-uncased为例)
Bert官方github地址:https://github.com/google-research/bert?tab=readme-ov-file
在github下载:
在huggingface(地址)下载config.json和pytorch_model.bin
将github下载的解压,并将huggingface下载的config.json和pytorch_model.bin放到解压后的文件夹:
测试:
from transformers import BertModel,BertTokenizer
BERT_PATH = '上面解压好的文件夹的路径'
tokenizer = BertTokenizer.from_pretrained(BERT_PATH)
print(tokenizer.tokenize('I have a good time, thank you.'))
bert = BertModel.from_pretrained(BERT_PATH)
print('load bert model over')
输出:
['i', 'have', 'a', 'good', 'time', ',', 'thank', 'you', '.']
load bert model over
来源:https://blog.csdn.net/GCTTTTTT/article/details/136055023
(为防止来源出现意外消失故在此转载作为笔记)
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)