Fork me on GitHub

随笔分类 -  自然语言处理-相关库的使用

摘要:安装相关包 pip install datasets, transformers 去官网看看有什么数据集 https://huggingface.co/datasets 我们选择其中的一个数据集:cail2018 from datasets import load_dataset datasets 阅读全文
posted @ 2021-08-08 20:19 西西嘛呦 阅读(2342) 评论(0) 推荐(0)
摘要:具体实例 from transformers import BertTokenizer import os tokens = ['我','爱','北','京','天','安','门'] tokenizer = BertTokenizer(os.path.join('/content/drive/My 阅读全文
posted @ 2021-06-13 19:49 西西嘛呦 阅读(3494) 评论(0) 推荐(0)
摘要:哈工大LTP基本使用-分词、词性标注、依存句法分析、命名实体识别、角色标注 上一节我们讲了LTP的基本使用,接下来我们使用其进行事件抽取。 参考代码:https://github.com/liuhuanyong/EventTriplesExtraction sentence_parser.py im 阅读全文
posted @ 2021-04-25 17:17 西西嘛呦 阅读(2652) 评论(0) 推荐(0)
摘要:代码 import os from pprint import pprint from pyltp import Segmentor, Postagger, Parser, NamedEntityRecognizer, SementicRoleLabeller class LtpParser: de 阅读全文
posted @ 2021-04-25 14:08 西西嘛呦 阅读(1910) 评论(0) 推荐(0)