随笔分类 -  nlp

摘要:先解释 one-shot。公司门禁用了人脸识别,你只提供一张照片,门禁就能认识各个角度的你,这就是 one-shot。可以把 one-shot 理解为用 1 条数据 finetune 模型。在人脸识别场景里,one-shot 很常见。 zero-shot 与 few-shot,回到 NLP 场景。用 阅读全文
posted @ 2023-10-23 19:43 时光如你般美好 阅读(684) 评论(0) 推荐(0) 编辑
摘要:最近在做一些ner方面的工作,想到了一些小细节,这里回顾记录一下自己之前工作中用到的一些小技巧,主要是通过数据增强和训练策略做一些小提升。后面估计主要工作研究点放大模型和知识图谱了,记录一下原始的 数据集的采集: 很多项目没有数据集,那么就需要我们去找一些数据集,数据集的一些网站如下: 数据增强技巧 阅读全文
posted @ 2023-10-12 16:36 时光如你般美好 阅读(11) 评论(0) 推荐(0) 编辑
摘要:#### 应用 - 能够ner保底,将历史出现的实体识别出来 - 能够一定程度上解决实体嵌套的问题 - 能够作为实体标注使用 #### 代码示例 ```py import ahocorasick def search_keyword(text, keywords): # 创建 AhoCorasick 阅读全文
posted @ 2023-08-22 16:54 时光如你般美好 阅读(255) 评论(0) 推荐(0) 编辑
摘要:作用 collate_fn:即用于collate的function,用于整理数据的函数。 说到整理数据,你当然要会用数据,即会用数据制作工具torch.utils.data.Dataset,虽然我们今天谈的是torch.utils.data.DataLoader。 collate_fn笼统的说就是用 阅读全文
posted @ 2023-04-11 16:48 时光如你般美好 阅读(1537) 评论(0) 推荐(1) 编辑
摘要:我们在使用Bert进行微调的时候,通常都会使用bert的隐含层的输出,然后再接自己的任务头,那么,我们必须先知道bert的输出都是什么,本文接下来就具体记录下bert的输出相关的知识。 由于我们微调bert的时候一般选用的是中文版的模型,因此,接下来我们加载的就是中文预训练模型bert。直接看代码: 阅读全文
posted @ 2022-04-15 15:01 时光如你般美好 阅读(1303) 评论(0) 推荐(0) 编辑
摘要:在Bert的预训练模型中,主流的模型都是以tensorflow的形势开源的。但是huggingface在Transformers中提供了一份可以转换的接口(convert_bert_original_tf_checkpoint_to_pytorch.py)。 但是如何在windows的IDE中执行呢 阅读全文
posted @ 2022-03-20 22:54 时光如你般美好 阅读(1263) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示