随笔分类 - NLP
摘要：如果模型中有BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()，在测试时添加model.eval()。其中model.train()是保证BN层用每一批数据的均值和方差，而model.eval()是保证BN用全部训练数据的均值和方差；而对于D
阅读全文
摘要：A command-line interface is provided to convert original Bert/GPT/GPT-2/Transformer-XL/XLNet/XLM checkpoints in models than be loaded using the from_p
阅读全文
摘要：最近也看了一些博客中的方法，不准备造轮子了，拿来主义使用当先。 几个参考： https://spaces.ac.cn/archives/4176 https://mp.weixin.qq.com/s?__biz=MzUyMDY0OTg3Nw%3D%3D&idx=1&mid=2247483824&sc
阅读全文
摘要：中文维基百科：高质量、易获取的语料，相当厚道，每月把所有条目都打包一次，爱我大维基。百度百科、互动百科 差评！ 源数据下载地址：https://dumps.wikimedia.org/zhwiki/ 数据抽取脚本： from gensim.corpora.wikicorpus import extr
阅读全文
摘要：参考博客： https://www.ruilog.com/notebook/view/7287471fa6e0.html https://kavita-ganesan.com/how-to-incorporate-phrases-into-word2vec-a-text-mining-approac
阅读全文
摘要：知识体系的构建是指采用什么样的方式来组织和表达知识，核心是构建一个本体（或 schema）对目标知识进行描述。在这个本体中需要定义：1）知识的类别体系（如：人物类，娱乐人物，歌手等）；2）各类别体系下实体间所具有的关系和实体自身所具有的属性；3）不同关系或者属性的定义域，值域等约束信息（如：出生日期
阅读全文
摘要：地址：https://zhuanlan.zhihu.com/p/388854673
阅读全文
摘要：该文章信息量非常大，很多trick都具有极高的研究价值，可以应用到工程提升中。 参考该知乎：https://zhuanlan.zhihu.com/p/333202482
阅读全文
摘要：最近有幸看到美团知识图谱，专业性很强，业务场景中的应用也不错，大家可以借鉴学习下。 参考地址：https://mp.weixin.qq.com/s?src=11×tamp=1624952442&ver=3159&signature=RVyvH4HBVEteaiJ6vaPzy-iiiRMMG
阅读全文
摘要：TextBrewer is a PyTorch-based model distillation toolkit for natural language processing. It includes various distillation techniques from both NLP an
阅读全文
摘要：基于SimBERT生成相似文本和检索相似文本的能力，我们会在文本分类任务中通过SimBERT来获取更多的伪标签语料。通过SimBERT根据现有的标注语料来生成相似文本，或者构建搜索库从搜索库中检索相似文本可以获取很多语义相关性较好的伪标签语料数据。这在实际的业务中也证明了可以有效提升我们分类器的效果
阅读全文
摘要：官方提供的bert是使用tpu集群训练的代码，他可以兼容单核GPU、多核CPU，如果你的机器有多个GPU，直接运行python run_pretraining.py，发现只能利用一个GPU。其实git上已经有人提供了多GPU版本，亲证是可行的，只需要将他的run_pretraining_gpu.py
阅读全文
摘要：一个观点：在所属领域内重新对bert模型做预训练后，对于下游任务性能必定会带来提升。 实验：观察在下游ner任务中的loss变化情况 1）原始bert 全局评估：{'acc': 0.7899749373433584, 'recall': 0.7831704488984595, 'f1': 0.786
阅读全文
摘要：给定一个具体的学习任务，研究人员如何为这个任务确定一个可行的模型结构。给出了各种不同体系结构和不同性能的模型复杂性，研究人员如何从中挑选出最好的模型？这就是模型选择和设计问题。 一般来说，模型的选择和设计是基于两者之间的权衡，预测性能和模型复杂性。 一方面，高精度的预测是学习模型的基本目标。模型应该
阅读全文
摘要：1、相比RNN模型，Transformer语义特征提取能力更强，具备长距离特征捕获能力，且可以并行训练，在机器翻译等NLP任务上效果显著。Open AI团队的GPT[7]使用Transformer替换RNN进行深层单向语言模型预训练，并通过在下游任务上Fine-tuning验证了Pretrain-F
阅读全文
摘要：文本分类 机器学习方法(2012前) 特征+分类器 正则 词典 词典：同义词扩展 数据结构：布隆过滤器 语义反转：程度词，否定词，问句 特征工程 统计表征： TFIDF，BOW，TextRank等 语义表征:LDA，LSI（统计+降维）词向量(后话) 分类器 LR，SVM，GBDT
阅读全文
摘要：功能： 1）微调模型后，下游任务在此模型上继续开发模型，冻结12层。方法：加载微调模型后（不是google原始ckpt），在custom_optimization.py中仅梯度更新需要的variable update_var_list = [] tvars = tf.trainable_variab
阅读全文
摘要：一般情况下，模型不能百分百实现完成功能情况下，需要采用特定trick二次升级，正则是一个重要的手段，之前也有总结，现将最近完成测试代码总结如下，希望能够帮到你解决问题。 import re # 匹配中文 CN_PATTERN = re.compile(u'[\u4e00-\u9fa5]') # 匹配
阅读全文
摘要：有时我们有查看tensor内部变量的值的变化情况，需要挖一下，现给出解析代码： """ @Date ：2021/5/18 @Author ：xxx """ import os from tensorflow.python import pywrap_tensorflow base_model_dir
阅读全文
