摘要：
写在前面 该系列主要事对指针网络在NER以及关系抽取系列取得的成果进行展示，并根据大佬们的笔记总结其中的优劣以及理论分析。 GlobalPointer 在之前的工作中，我们NER采用传统的LSTM+CRF，在各个字段指标也取得不错的效果，简单字段类似学历这种f1值均在95以上，复杂一点的比如 阅读全文
摘要：
問題描述 ValueError: Unknown loss function: bes_loss 問題場景 訓練 margin = 0.6 theta = lambda t : (K.sign(t) + 1.) / 2 def bes_loss(y_true, y_pred): return - ( 阅读全文
摘要： 
简介 GPT（Generative Pre-trained Transformer）系列是由OpenAI提出的非常强大的预训练语言模型，这一系列的模型可以在生成式任务中取得非常好的效果，对于一个新的任务，GTP只需要很少的数据便可以理解任务的需求并达到或接近state-of-the-art的方法 阅读全文
简介 GPT（Generative Pre-trained Transformer）系列是由OpenAI提出的非常强大的预训练语言模型，这一系列的模型可以在生成式任务中取得非常好的效果，对于一个新的任务，GTP只需要很少的数据便可以理解任务的需求并达到或接近state-of-the-art的方法 阅读全文
摘要：
交叉熵损失函数 - Cross entropy loss function 标准形式 \[ \color{blue}{C=-\frac{1}{n}\sum_x{[ylna+(1-y)ln(1-a)]} (1)} \] 其中$\color{blue}{x}\(表示样本，\)\color{blue} 阅读全文
摘要：
关于seq2seq attention 讲解最好的一篇（因为我都看懂了） https://towardsdatascience.com/attn-illustrated-attention-5ec4ad276ee3 阅读全文
摘要：
NER 标准 LSTM+CRF 问题 标准成本昂贵 泛化迁移能力不足 可解释性不强 计算资源 JD和CV描述形式不一样 严谨性，简历内容要识别出能力词以及深层挖掘能力词（看起来并不是能力词，但是代表实际的某项能力），所以的深度挖掘词意 不依赖NER，根据词典或者特定语句形式（规则）提出实体词，最后进 阅读全文
摘要：
两个list关联排序 # 打包 zipped = zip(sen,count) # 排序 sort_zipped = sorted(zipped,key=lambda x:(x[1],x[0]),reverse=True) # 还原 result = zip(*sort_zipped) sen,co 阅读全文
摘要：
Word2Vec 写在前面：最近在学习word2vec，所以记录一下这方面的东西，主要包括skip gram，cbow以及公式推导及实现 提出 word2vec是Google2013年开源推出的工具包，它简单高效，迅速吸引了大量学者投身其中。对于其中的细节内容却不甚了解。据此，本文也就呼之欲出，就是 阅读全文
摘要：
模型类型 参数模型 统计学中，参数模型通常假设总体服从某一个分布，该分布由一些参数确定(正太分布由均值和方差确定)，在此基础上构造的模型称为参数模型 包括 逻辑回归 线性成分分析 感知机 优点 间洁：理论容易理解和解释结果 快速：参数模型学习和训练的速度都很快 数据更少：通常不需要大量的数据，在对数 阅读全文