Huggingface使用
1. Transformer模型
Transformer 是一种基于自注意力机制(Self-Attention)的深度学习模型,最初由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出。Transformer 模型在自然语言处理(NLP)任务中表现出色,逐渐取代了传统的循环神经网络(RNN)和卷积神经网络(CNN)模型,成为 NLP 领域的主流架构。
1.1 核心组件
自注意力机制(Self-Attention):
自注意力机制允许模型在处理输入序列时,关注序列中的不同部分,从而捕捉序列内部的依赖关系。
通过计算每个词与其他词的相关性,模型可以动态地调整每个词的表示。
多头注意力(Multi-Head Attention):
多头注意力机制通过并行计算多个自注意力头,捕捉不同子空间的信息,增强模型的表达能力。
位置编码(Positional Encoding):
由于 Transformer 模型没有显式的序列信息(如 RNN 中的时间步),位置编码被引入以提供序列中每个词的位置信息。
前馈神经网络(Feed-Forward Neural Network):
每个 Transformer 层包含一个前馈神经网络,用于进一步处理自注意力机制的输出。
残差连接和层归一化(Residual Connection and Layer Normalization):
残差连接有助于缓解梯度消失问题,层归一化则用于稳定训练过程。
1.2 模型结构
Transformer 模型通常由编码器(Encoder)和解码器(Decoder)两部分组成:
编码器:由多个相同的层堆叠而成,每层包含一个多头自注意力机制和一个前馈神经网络。
解码器:同样由多个相同的层堆叠而成,每层包含一个多头自注意力机制、一个编码器-解码器注意力机制和一个前馈神经网络。
1.3 Transformer 使用
Transformer 模型广泛应用于各种 NLP 任务,如机器翻译、文本生成、文本分类、问答系统等。以下是使用 Transformer 模型的基本步骤:
1.3.1 使用 Hugging Face Transformers 库
首先,确保安装了必要的深度学习框架,如 PyTorch 或 TensorFlow。此外,可以使用 Hugging Face 的 transformers 库,它提供了预训练的 Transformer 模型和简单的接口。
from transformers import pipeline # 加载预训练的文本生成模型(如 GPT-2) generator = pipeline("text-generation", model="gpt2") # 生成文本 prompt = "Once upon a time" output = generator(prompt, max_length=50, num_return_sequences=1) print(output[0]['generated_text'])
1.3.2 自定义 Transformer 模型
如果需要从头实现 Transformer,可以参考以下步骤:
示例:使用 PyTorch 实现 Transformer
import torch import torch.nn as nn import torch.nn.functional as F class Transformer(nn.Module): def __init__(self, input_dim, model_dim, num_heads, num_layers, output_dim): super(Transformer, self).__init__() self.embedding = nn.Embedding(input_dim, model_dim) self.positional_encoding = nn.Parameter(torch.zeros(1, 1000, model_dim)) # 假设最大序列长度为 1000 self.encoder_layer = nn.TransformerEncoderLayer(d_model=model_dim, nhead=num_heads) self.transformer_encoder = nn.TransformerEncoder(self.encoder_layer, num_layers=num_layers) self.fc = nn.Linear(model_dim, output_dim) def forward(self, src): src = self.embedding(src) + self.positional_encoding[:, :src.size(1), :] output = self.transformer_encoder(src) output = self.fc(output.mean(dim=1)) # 取序列的平均值作为输出 return output # 示例用法 input_dim = 10000 # 词汇表大小 model_dim = 512 # 模型维度 num_heads = 8 # 注意力头数 num_layers = 6 # 编码器层数 output_dim = 10 # 输出类别数 model = Transformer(input_dim, model_dim, num_heads, num_layers, output_dim) src = torch.randint(0, input_dim, (32, 100)) # 输入序列 (batch_size, seq_len) output = model(src) print(output.shape) # 输出形状: (batch_size, output_dim)
1.3.3 Transformer 的 Demo
以下是一个简单的文本分类任务的 Demo,使用 Hugging Face 的预训练模型。
1.3.3.1 安装依赖
pip install transformers torch
1.3.3.2 代码实现
from transformers import pipeline # 加载预训练的文本分类模型 classifier = pipeline("text-classification", model="distilbert-base-uncased-finetuned-sst-2-english") # 输入文本 text = "I love using transformers, it's so easy and powerful!" # 进行分类 result = classifier(text) print(result)
1.3.3.3 输出示例
[{'label': 'POSITIVE', 'score': 0.9998}]
2. Huggingface
Huggingface 既是网站名也是其公司名,随着 transformer 浪潮,Huggingface 逐步收纳了众多最前沿的模型和数据集等有趣的工
作,与 transformers 库结合,可以快速使用学习这些模型。目前提到 NLP 必然绕不开 Huggingface。
2.1 Huggingface 的具体介绍
进入 Huggingface 网站,如下图所示
其主要包含:
Models(模型),包括各种处理 CV 和 NLP 等任务的模型,上面模型都是可以免费获得
Datasets(数据集),包括很多数据集
Spaces(分享空间),包括社区空间下最新的一些有意思的分享,可以理解为 huggingface 朋友圈
Docs(文档,各种模型算法文档),包括各种模型算法等说明使用文档
Solutions(解决方案,体验等),包括 others
2.2 Huggingface 的 Models
点开 Models。可以看到下图的任务
其中,主要包括计算机视觉、自然语言处理、语音处理、多模态、表格处理、强化学习。
展开介绍:
Computer Vision(计算机视觉任务):包括 lmage Classification(图像分类),lmage Segmentation(图像分割)、zero-Shot lmage Classification(零样本图像分类)、lmage-to-Image(图像到图像的任务)、Unconditional lmage Generation(无条件图像生成)、Object Detection(目标检测)、Video Classification(视频分类)、Depth Estimation(深度估计,估计拍摄者距离图像各处的距离)
Natural Language Processing(自然语言处理):包括 Translation(机器翻译)、Fill-Mask(填充掩码,预测句子中被遮掩的词)、Token Classification(词分类)、Sentence Similarity(句子相似度)、Question Answering(问答系统),Summarization(总结,缩句)、Zero-Shot Classification (零样本分类)、Text Classification(文本分类)、Text2Tex(t 文本到文本的生成)、Text Generation
(文本生成)、Conversational(聊天)、Table Question Answer(表问答,1.预测表格中被遮掩单词 2.数字推理,判断句子是否被表格数据支持)
Audio(语音):Automatic Speech Recognition(语音识别)、Audio Classification(语音分类)、Text-to-Speech(文本到语音的生成)、Audio-to-Audio(语音到语音的生成)、Voice Activity Detection(声音检测、检测识别出需要的声音部分)
Multimodal(多模态):Feature Extraction(特征提取)、Text-to-Image(文本到图像)、Visual Question Answering(视觉问答)、Image2Text(图像到文本)、Document Question Answering(文档问答)
Tabular(表格):Tabular Classification(表分类)、Tabular Regression(表回归)
Reinforcement Learning(强化学习):Reinforcement Learning(强化学习)、Robotics(机器人)
2.3 模型的使用
一般来说,页面上会给出模型的介绍。例如,我们打开其中一个 fill-mask 任务下下载最多的模型 bert-base-uncased
可以看到模型描述:
2.3.1 使用方法-1
需要提前安装 transformers 库,可以直接 pip install transformers 安装。还有 Pytorch 或 TensorFlow 库,读者自行下载。
下载完后可以使用 pipeline 直接简单的使用这些模型。第一次执行时 pipeline 会加载模型,模型会自动下载到本地,可以直接用。
第一个参数是任务类型,第二个是具体模型名字
from transformers import pipeline unmasker = pipeline('fill-mask', model='bert-base-uncased') unmasker("Hello I'm a [MASK] model.")
运行结果:
[ { "score": 0.10731087625026703, "token": 4827, "token_str": "fashion", "sequence": "hello i ' m a fashion model." }, { "score": 0.08774463832378387, "token": 2535, "token_str": "role", "sequence": "hello i ' m a role model." }, { "score": 0.053383927792310715, "token": 2047, "token_str": "new", "sequence": "hello i ' m a new model." }, { "score": 0.046672236174345016, "token": 3565, "token_str": "super", "sequence": "hello i ' m a super model." }, { "score": 0.027095887809991837, "token": 2986, "token_str": "fine", "sequence": "hello i ' m a fine model." } ]
模型下载在这个地方:
C:\Users\用户\.cache\huggingface\hub
不同模型使用方法略有区别,直接通过页面学习或文档学习最好
可以自定义加载输入分词器:使用 AutoTokenizer
from transformers import AutoTokenizer #下面这种方式可以自动加载 bert-base-uncased 中使用的分词器 tokenizer=AutoTokenizer.from_pretrained("bert-base-uncased")
可以自定义加载模型结构:使用 AutoModel , 不包括输入分词器和输出部分!!!
from transformers import AutoModel #下面这种方式可以自动加载 bert-base-uncased 中使用的模型,没有最后的全连接输出层和 softmax model=AutoModel.from_pretrained("bert-base-uncased")
可以自定义加载模型和输出部分:使用 AutoModelForSequenceClassification 等
from transformers import AutoModelForSequenceClassification #下面这种方式可以自动加载 bert-base-uncased 中使用的模型(包括了输出部分),有最后的全连接输出层 model=AutoModel.AutoModelForSequenceClassification("bert-base-uncased")
模型保存
model.save_pretrained("./")#保持到当前目录
一个简单的流程例子:
代码接收一个句子列表,对其进行分词,将其传递给一个预训练的情感分析模型,然后处理输出以获得每个类别的预测概率。最后,将结果打印到控制台
input=['The first sentence!','The second sentence!'] from transformers import AutoTokenizer #从 Transformers 库中导入 AutoTokenizer 类,用于对输入句子进行分词。 #分词是将文本转换为数值标记的过程,这些标记可以被模型理解。from_pretrained 方法加载一个预训练的分词器 tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english") #使用 tokenizer 对象对输入句子进行分词。padding=True 参数确保所有句子都被填充到相同的长度, #truncation=True 截断过长的句子,return_tensors='pt' 返回 PyTorch 张量 input = tokenizer(input, padding=True, truncation=True, return_tensors='pt') from transformers import AutoModelForSequenceClassification # 模型加载:使用 AutoModelForSequenceClassification 类加载一个预训练的序列分类模型。 # from_pretrained 方法加载模型 model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english") print(model) # 模型推理 output = model(**input) print(output.logits.shape) import torch predictions = torch.nn.functional.softmax(output.logits, dim=-1) # 打印预测概率 print(predictions) # ID 到标签的映射 print(model.config.id2label)
2.3.2 使用方法-2
下面以 ChatGLM2-6B 为例(见上图),先在 github 上 git 下 ChatGLM2-6B 除模型外的相关文件
git clone git@github.com:THUDM/ChatGLM2-6B.git cd ChatGLM2-6B-main
安装好相关依赖
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple
类似刚才的方法一直接执行下面代码,会在网上自动下载模型文件
>>> from transformers import AutoTokenizer, AutoModel >>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True) >>> model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True, device='cuda') >>> model = model.eval() >>> response, history = model.chat(tokenizer, "你好", history=[]) >>> print(response) 你好👋!我是人工智能助手 ChatGLM2-6B,很高兴见到你,欢迎问我任何问题。 >>> response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history) >>> print(response) 晚上睡不着可能会让你感到焦虑或不舒服,但以下是一些可以帮助你入睡的方法: 1. 制定规律的睡眠时间表:保持规律的睡眠时间表可以帮助你建立健康的睡眠习惯,使你更容易入睡。尽量在每天的相同时间上床,并在同一时间起床。 2. 创造一个舒适的睡眠环境:确保睡眠环境舒适,安静,黑暗且温度适宜。可以使用舒适的床上用品,并保持房间通风。 3. 放松身心:在睡前做些放松的活动,例如泡个热水澡,听些轻柔的音乐,阅读一些有趣的书籍等,有助于缓解紧张和焦虑,使你更容易入睡。 4. 避免饮用含有咖啡因的饮料:咖啡因是一种刺激性物质,会影响你的睡眠质量。尽量避免在睡前饮用含有咖啡因的饮料,例如咖啡,茶和可乐。 5. 避免在床上做与睡眠无关的事情:在床上做些与睡眠无关的事情,例如看电影,玩游戏或工作等,可能会干扰你的睡眠。 6. 尝试呼吸技巧:深呼吸是一种放松技巧,可以帮助你缓解紧张和焦虑,使你更容易入睡。试着慢慢吸气,保持几秒钟,然后缓慢呼气。 如果这些方法无法帮助你入睡,你可以考虑咨询医生或睡眠专家,寻求进一步的建议。
也可以方法二,找到 huggingface 上 ChatGLM2-6B 模型地址,直接 git
git clone https://huggingface.co/THUDM/chatglm2-6b
然后打开刚才的 ChatGLM2-6B 里的 web_demo.py,修改里面的模型和 AutoTokenizer 目录,为刚才 git 模型的目录,例如我在ChatGLM2-6B 里新建了一个 model,在 model 目录下 git 模型的,所以我的目录修改为下图
tokenizer = AutoTokenizer.from_pretrained("model/chatglm2-6b", trust_remote_code=True) model = AutoModel.from_pretrained("model/chatglm2-6b", trust_remote_code=True).cuda()
最后,在终端直接执行下面代码
python web_demo.py
点击启动后的链接,即可使用 web版本的ChatGLM2-6B
2.4 Huggingface的Datasets
可以看到有如下任务的数据集。读者可自行打开学习
例如,我们打开 Text Classification 任务的 glue 数据集,可以看到下图,里面会有数据集的介绍、相关信息和下载方式,读者自行查看。
2.4.1 导入数据集的方法
提前 pip install datasets
from datasets import load_dataset datasets = load_dataset('glue', 'mrpc') # 加载glue数据集 print(datasets) # 打印数据集 print(datasets['train'][0]) # 打印第一个样本
2.4.2 有了数据后训练模型方法
下面给出 bert-base-uncased 的例子,实现对两个句子的相似度计算
# 导入tokenizer from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased") # input = tokenizer("The first sentence!", "The second sentence!") # # print(tokenizer.convert_ids_to_tokens(input['input_ids'])) # 实际使用 tokenizer 的方法,得到 tokenizer_data def tokenize_function(examples): return tokenizer(examples['sentence1'], examples['sentence2'], truncation=True) from datasets import load_dataset datasets = load_dataset("glue", "mrpc") tokenizer_data = datasets.map(tokenize_function, batched=True) print(tokenizer_data) # 训练参数 from transformers import TrainingArguments # https://huggingface.co/docs/transformers/main_classes/trainer#transformers.TrainingArguments training_args = TrainingArguments("test_trainer") print(training_args)#看下默认值 # 导入模型 from transformers import AutoModelForSequenceClassification model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased", num_labels=2) #导入数据处理的一个东西 DataCollatorWithPadding,变成一个一个 batch from transformers import DataCollatorWithPadding data_collator = DataCollatorWithPadding(tokenizer=tokenizer) #导入训练器,进行训练,API : https://huggingface.co/docs/transformers/main_classes/trainer#transformers.Traine from transformers import Trainer trainer = Trainer( model, training_args, train_dataset=tokenizer_data["train"], eval_dataset=tokenizer_data["validation"], data_collator=data_collator, tokenizer=tokenizer, ) trainer.train()
2.5 Huggingface的Spaces
点开如下图所示。里面有些近些天有趣的东西火热的 apps
比如下面的一个统一的多模态理解和生成模型
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek-R1本地部署如何选择适合你的版本?看这里
· 开源的 DeepSeek-R1「GitHub 热点速览」
· 传国玉玺易主,ai.com竟然跳转到国产AI
· 揭秘 Sdcb Chats 如何解析 DeepSeek-R1 思维链
· 自己如何在本地电脑从零搭建DeepSeek!手把手教学,快来看看! (建议收藏)