随笔分类 - 自然语言处理
摘要：什么是信息抽取？ 定义：从半结构或无结构抽取结构化信息 包括：实体抽取，关系抽取和事件抽取 实体抽取和关系抽取 事件抽取 如何定义抽取目标 基于序列标注的实体抽取 基于序列标注的关系抽取 评估指标 达摩院信息抽取分享 基于指针网络的抽取 解决实体嵌套 数据平衡 低资源场景 多元组抽取 组合任务解决思
阅读全文
摘要：Parameter-efficient Tuning Black-Box Tuning
阅读全文
摘要：今天分享一个Bert的改进工作RoBERTa。RoBERTa是训练充分的Bert。 论文：RoBERTa: A Robustly Optimized BERT Pretraining Approach 代码：https://github.com/brightmart/roberta_zh 1. 方法
阅读全文
摘要：bert之类的预训练模型在NLP各项任务上取得的效果是显著的，但是因为bert的模型参数多，推断速度慢等原因，导致bert在工业界上的应用很难普及，针对预训练模型做模型压缩是促进其在工业界应用的关键，今天介绍几篇轻量化bert模型—DistillBert, ALBERT。 一. DistillBer
阅读全文
