使用Bert模型实现embedding嵌入

参考文献：保姆级教程，用PyTorch和BERT进行文本分类 - 知乎 (zhihu.com)

模型地址：https://huggingface.co/bert-base-cased

　

结果是BaseModelOutput对象：

BaseModelOutput 类型是 Hugging Face Transformers 库中的一个基本输出类型，用于存储预训练模型的输出。该类型通常包含以下属性：

1. last_hidden_state: 这是模型对输入序列的最后一层的隐藏状态。对于BERT模型，这是包含输入序列各个标记的隐藏表示。形状通常是 [batch_size, sequence_length, hidden_size]，其中 batch_size 是输入的批次大小，sequence_length 是输入序列的长度，hidden_size 是隐藏状态的维度。

2. pooler_output: 这是经过池化操作后的表示，通常用于表示整个输入序列的信息。形状通常是 [batch_size, hidden_size]。

3. hidden_states: 这是模型每一层的隐藏状态的列表。例如，对于BERT-base模型，hidden_states 包含了所有12层的隐藏状态。形状类似于 last_hidden_state，即 [batch_size, sequence_length, hidden_size]。

4. attentions: 这是模型每一层的注意力权重。形状通常是 [batch_size, num_heads, sequence_length, sequence_length]。注意，某些模型可能不会在输出中包含注意力权重。

 

last_hidden_state是一个三维的数据，还需要在进行处理，降低维度