随笔分类 - 自然语言处理-相关库的使用
摘要:安装相关包 pip install datasets, transformers 去官网看看有什么数据集 https://huggingface.co/datasets 我们选择其中的一个数据集:cail2018 from datasets import load_dataset datasets
阅读全文
摘要:具体实例 from transformers import BertTokenizer import os tokens = ['我','爱','北','京','天','安','门'] tokenizer = BertTokenizer(os.path.join('/content/drive/My
阅读全文
摘要:哈工大LTP基本使用-分词、词性标注、依存句法分析、命名实体识别、角色标注 上一节我们讲了LTP的基本使用,接下来我们使用其进行事件抽取。 参考代码:https://github.com/liuhuanyong/EventTriplesExtraction sentence_parser.py im
阅读全文
摘要:代码 import os from pprint import pprint from pyltp import Segmentor, Postagger, Parser, NamedEntityRecognizer, SementicRoleLabeller class LtpParser: de
阅读全文