摘要:
翻译自 :https://www.modeldifferently.com/en/2021/12/generaci%C3%B3n-de-fake-news-con-gpt-2/ (注:未去联系取得翻译授权,纯学习自用) 在这篇文章中,我们将看到如何使用基于Transformers架构的模型生成文本, 阅读全文
摘要:
用pandas读一个txt文件, data = pd.read_table(os.path.join(project_path, 'src/data/corpus.txt'), sep='\n') 出现如下错误: 'utf-8' codec can't decode bytes in positio 阅读全文
摘要:
fit_transform和transform这两个函数是类sklearn.preprocessing.StandardScaler()的方法,用来标准化训练和测试数据,意思就是StandardScaler类会对数据的每一个特征做单独的centering和scaling。 具体操作 对于训练数据,用 阅读全文
摘要:
2023-3-10 update: 我在huggingface的模型介绍里面看到一句话 Note that the only difference between autoregressive models and autoencoding models is in the way the mode 阅读全文
摘要:
有一个分布式假设distributional hypothesis: Linguistic items with similar distributions have similar meanings。 如果两个词的上下文相似,那么这两个词的语义就相似。 所有用这种假设学习到的向量都叫做distri 阅读全文
摘要:
| 模型 | 发布方 |参数 |语料| 特点| | | | | | | |BERT-base | 谷歌|12层,768层隐层,12个头,110M参数| 16GB BERT Data(Books Corpus + Wikipedia), 3.3m words|多语言| | BERT-base-chin 阅读全文
摘要:
Whole Word Masking 翻译成全词Mask,是一种预训练阶段的训练样本生成策略。最原始的分词方式是基于WordPiece子词,它会把完整的一个词切分成若干个子词,在生成训练样本时,这些被分开的子词会随机被Mask。在全词Mask中,如果一个完整的词的部分WordPiece子词被mask 阅读全文
摘要:
首先搞清楚预训练模型一般会有的文件: vocab.txt config.json pytorch_model.bin 这三个分别对应tokenizer,config和model。 添加huggingface hub里面的模型 只要有模型名就可以导入tokenizer和model 无需导入config 阅读全文
摘要:
A model checkpoint is a saved copy of the trained weights and biases of a neural network model at a specific point in time during the training process 阅读全文