随笔分类 -  Tensorflow

摘要:博客地址:http://blog.csdn.net/wangxinginnlp/article/details/52944649 资料:https://arxiv.org/abs/1409.0473 说明:基于注意力机制的神经机器翻译(Attention-based NMT)的论文,首次将注意力机制 阅读全文
posted @ 2022-08-17 09:55 今夜无风 阅读(44) 评论(0) 推荐(0) 编辑
摘要:简化NLP:TensorFlow中tf.strings的使用 TensorFlow中很早就包含了tf.strings这个模块,不过实话说,在tf 1.x的固定计算图的情况下,各种操作颇为复杂,我们在迎来了2.0中才更好可以看出tf.strings的威力。 tf.strings的其中一个重要的作用是可 阅读全文
posted @ 2022-05-31 11:37 今夜无风 阅读(404) 评论(0) 推荐(0) 编辑
摘要:from keras import Sequential, Model from keras.optimizers import Adam from keras.callbacks import ModelCheckpoint, ReduceLROnPlateau from keras.layers 阅读全文
posted @ 2022-03-03 10:36 今夜无风 阅读(1149) 评论(0) 推荐(0) 编辑
摘要:对于变长特征编码,我们往往需要用到此。它们的作用是: Padding:将本来不相同的样本填充到相同的长度,以便于后面的处理,我们一般使用0做填充 Mask:告诉网络层那些是真正的数据,哪些是填充的“0”,从而帮助网络层更好地计算 目的:提升序列模型的精度和准确率 使用方法如下: # 第一步,将数据p 阅读全文
posted @ 2022-03-02 16:26 今夜无风 阅读(708) 评论(0) 推荐(0) 编辑
摘要:tf模型线上部署需要采用saved_model形式,现将踩过的坑记录如下: """ Function: h5 model to pb to saved_model """ import os import keras import tensorflow import tensorflow as tf 阅读全文
posted @ 2022-02-25 16:12 今夜无风 阅读(722) 评论(0) 推荐(0) 编辑
摘要:A command-line interface is provided to convert original Bert/GPT/GPT-2/Transformer-XL/XLNet/XLM checkpoints in models than be loaded using the from_p 阅读全文
posted @ 2021-08-10 16:04 今夜无风 阅读(599) 评论(0) 推荐(0) 编辑
摘要:官方提供的bert是使用tpu集群训练的代码,他可以兼容单核GPU、多核CPU,如果你的机器有多个GPU,直接运行python run_pretraining.py,发现只能利用一个GPU。其实git上已经有人提供了多GPU版本,亲证是可行的,只需要将他的run_pretraining_gpu.py 阅读全文
posted @ 2021-06-22 17:33 今夜无风 阅读(390) 评论(0) 推荐(0) 编辑
摘要:一个观点:在所属领域内重新对bert模型做预训练后,对于下游任务性能必定会带来提升。 实验:观察在下游ner任务中的loss变化情况 1)原始bert 全局评估:{'acc': 0.7899749373433584, 'recall': 0.7831704488984595, 'f1': 0.786 阅读全文
posted @ 2021-06-22 14:47 今夜无风 阅读(422) 评论(0) 推荐(0) 编辑
摘要:功能: 1)微调模型后,下游任务在此模型上继续开发模型,冻结12层。方法:加载微调模型后(不是google原始ckpt),在custom_optimization.py中仅梯度更新需要的variable update_var_list = [] tvars = tf.trainable_variab 阅读全文
posted @ 2021-05-19 20:32 今夜无风 阅读(966) 评论(0) 推荐(0) 编辑
摘要:有时我们有查看tensor内部变量的值的变化情况,需要挖一下,现给出解析代码: """ @Date :2021/5/18 @Author :xxx """ import os from tensorflow.python import pywrap_tensorflow base_model_dir 阅读全文
posted @ 2021-05-18 18:30 今夜无风 阅读(686) 评论(0) 推荐(0) 编辑
摘要:卷友们好,我是rumor。 NLP最赚钱的落地莫属搜索、广告、推荐三大场景了,今天我们就向钱看,来了解下作为NLP算法工程师,怎样在互联网最主要的三个场景里发光发热,同时蹭得一份业绩。 搜广推这三个场景的架构都差不多,主要就是通过对内容/商品的召回和排序,来优化Query-Doc的匹配结果。可以将这 阅读全文
posted @ 2021-05-14 18:08 今夜无风 阅读(1247) 评论(0) 推荐(0) 编辑
摘要:在早先,单向语言模型广泛应用于文本处理;随之bert双向语言模型诞生后,对语义的捕捉能力更强大。应用之一就是对句子打分,通过生成每个字符的先验概率构建评估体系。 参考源码:https://github.com/xu-song/bert-as-language-model 阅读全文
posted @ 2021-05-10 10:22 今夜无风 阅读(359) 评论(0) 推荐(0) 编辑
摘要:转换成pb模型,设定多输出 def fun(): """ 保留bert第一层和第二层信息""" OUTPUT_GRAPH = 'pb_model/query_encoder.pb' output_node = ["loss/Softmax", "bert/pooler/dense/Tanh", "M 阅读全文
posted @ 2021-05-08 20:14 今夜无风 阅读(147) 评论(0) 推荐(0) 编辑
摘要:大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各的用处,互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮。但是每个工具有自己的特性,虽然奇怪的组合也能工作 阅读全文
posted @ 2020-12-14 20:39 今夜无风 阅读(858) 评论(0) 推荐(0) 编辑
摘要:​​简介 TensorFlow从0.8版本开始,支持分布式集群,并且自带了local server方便测试。 Local server和分布式服务的接口一样,我们将从local server入手,详细解读分布式机器学习集群的用法。 Local server的最简单用法 TensorFlow官方文档提 阅读全文
posted @ 2020-09-24 21:20 今夜无风 阅读(342) 评论(0) 推荐(0) 编辑
摘要:在过去的一年里,我和我的团队一直致力于为 Taboola feed 提供个性化用户体验。我们运用多任务学习(Multi-Task Learning,MTL),在相同的输入特征集上预测多个关键性能指标(Key Performance Indicator,KPI),然后使用 TensorFlow 实现深 阅读全文
posted @ 2020-07-10 15:47 今夜无风 阅读(1294) 评论(0) 推荐(0) 编辑
摘要:对一段文本中的人、事、地、物、组织、时间等关键要素进行抽取,以为下游提供数据支撑。针对时间抽取,发现一个小工具,分享给大家: 开源地址: https://github.com/zhanzecheng/Time_NLP 功能: 用于句子中时间词的抽取和转换 使用示例: res = tn.parse(t 阅读全文
posted @ 2020-05-07 09:27 今夜无风 阅读(1508) 评论(0) 推荐(0) 编辑
摘要:""" test """ import os import gensim import pickle import time import numpy as np DIR_PATH = os.path.dirname(os.path.abspath(__file__)) HASHTABLES = o 阅读全文
posted @ 2020-04-28 17:54 今夜无风 阅读(426) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示