黄然小悟的博客笔记

摘要： 利用tensorflow2自带keras搭建BiLSTM+CRF的序列标注模型，完成中文的命名实体识别任务。这里使用数据集是提前处理过的，已经转成命名实体识别需要的“BIO”标注格式。 详细代码和数据：https://github.com/huanghao128/zh-nlp-demo 模型结构 B 阅读全文

摘要： git基本命令 Git 是一个开源的分布式版本控制系统，该系统通过一些简单的命令就可以处理大小项目的版本控制问题。 命令 解释 git branch 查看本地所有分支 git status 查看当前状态 git commit 提交 git branch -a 查看所有的分支 git branch - 阅读全文

摘要： 文章目录 BERT模型简介BERT模型拆解multi-head attentionFeedForwardNetworkTransformer Encoder位置编码PositionEmbeddingBERT输入EmbeddingMasked Language ModelNext Sentence P 阅读全文

摘要： 在使用tensorflow处理一些tensor时，有时需要对一个tensor取平均，可以使用tf.reduce_mean操作，但是这个没法处理带有mask的tensor数据，本文主要就是利用tensorflow的基本操作实现带mask的平均。 tf.reduce_mean 比如我们的数据是3维ten 阅读全文

摘要： 目前没有整理完善，先留个坑~ Bert模型介绍 BERT的关键技术创新是将Transformers双向训练作为一种流行的注意力模型应用到语言建模中。Masked LM (MLM)在向BERT输入单词序列之前，每个序列中有15%的单词被[MASK]token替换。然后，该模型试图根据序列中其他非MAS 阅读全文

摘要： 文章目录 transformer模型结构位置编码(position encoding)多头注意力(multi-head atten... 阅读全文

摘要： 语义匹配 文本语义匹配一般是计算两端文本之前的语义相关性或相似度，在搜索和自动问答中应用广泛。用深度学习方法解决这类问题一般有两种思路，以搜索中的query和doc为例：一种是query和doc分别学习一个向量表示，最后计算cos相似度；另一种是query和doc先融合，然后接多层网络，最后变成分类 阅读全文

摘要： 在自然语言处理seq2seq模型中，模型训练完成后，预测推理时需要预测每一步输出的最可能的单词，之后组合成完整的预测输出句子。这里每... 阅读全文

摘要： 维特比算法 看一下维基百科的解释，维特比算法（Viterbi algorithm）是一种动态规划算法。它用于寻找最有可能产生观测事件... 阅读全文

摘要： 涉及到求子序列或子串，以及编辑距离等问题，可以用动态规划解决。下面详细探讨一下这个问题。 子序列子串问题分类 这类问题分主要分三大类 连续子数组或子串：最大连续子序和、最长回文子串不连续的子序列或子串：最长递增子序列、最长回文子序列涉及两个字符串/数组：最长公共子序列、最小编辑距离 一般可以用动态规 阅读全文