摘要：
背景是这样的， 比如我有一个张量data，shape是（batch_size，100，128） 我还有一个张量inc，shape是（batch_size，100） 我现在想根据这个张量地索引来对data重排序。 为什么会有这样地需求呢，是因为比如data是数据，100代表数据步长，128代表数据内u 阅读全文
摘要：
关于tensorflow结合Dataset与TFRecord这方面看到挺好一篇文章： https://cloud.tencent.com/developer/article/1088751 github： https://github.com/YJango/TFRecord-Dataset-Esti 阅读全文
摘要：
写在最前面，感谢这两篇文章，基本上的框架是从这两篇文章中得到的： https://zhuanlan.zhihu.com/p/28687529 https://zhuanlan.zhihu.com/p/28749444 这部分是我给组内的同学做的一个分享PPT，在这里记录一下。 阅读全文
摘要：
之前我写过一篇文章，利用bert来生成token级向量（对于中文语料来说就是字级别向量），参考我的文章：《使用BERT模型生成token级向量》。但是这样做有一个致命的缺点就是字符序列长度最长为512（包含[cls]和[sep]）。其实对于大多数语料来说已经够了，但是对于有些语料库中样本的字符序列长 阅读全文
摘要：
讲起来比较简单，从0到N遍历输出就行了，但是如果N非常大，就涉及整数溢出问题，很明显是一个全排列问题，也就是输出N，代表N位上所有的数字取值是0-9，做一个全排列，还需要考虑的就是对于0001，0068，0977类似这种前面有0的情况输出的时候需要去除掉。 就是一个基础的递归求全排列问题，当然也可以 阅读全文
摘要：
本文默认读者有一定的Transformer基础，如果没有，请先稍作学习Transormer以及BERT。 相信网上有很多方法可以生成BERT向量，最有代表性的一个就是bert as service，用几行代码就可以生成向量，但是这样生成的是句向量，也就是说，正确的做法是输入一句句子： 输出的是这句句 阅读全文
摘要：
本文记录使用BERT预训练模型，修改最顶层softmax层，微调几个epoch，进行文本分类任务。 BERT源码 首先BERT源码来自谷歌官方tensorflow版：https://github.com/google-research/bert 注意，这是tensorflow 1.x 版本的。 BE 阅读全文
摘要：
1、如何在全连接层拼接特征？ 有一种方法是有两个input，一个input通过网络最终达到全连接层，另一个input直接接一个全连接网络，神经元数是特征数，这两个可以进行一个concat。 当然了也可以直接输入特征concat到全连接层，但是据说前者效果要好一点。 2、word2vec词向量如何在网 阅读全文