随笔分类 - NLP
摘要:博客地址:http://blog.csdn.net/wangxinginnlp/article/details/52944649 资料:https://arxiv.org/abs/1409.0473 说明:基于注意力机制的神经机器翻译(Attention-based NMT)的论文,首次将注意力机制
阅读全文
摘要:由九章算法-令狐提出 data = [1,3,6,8,8,12,88,943] # 第一个等于target的索引位置 def binarySearch(nums,target): if not nums: return -1 start, end = 0, len(nums)-1 while sta
阅读全文
摘要:tf2.0 调试通过代码 #! -*- coding:utf-8 -*- # 文本分类例子下的模型压缩 # 方法为BERT-of-Theseus # 论文:https://arxiv.org/abs/2002.02925 # 博客:https://kexue.fm/archives/7575 imp
阅读全文
摘要:需求:从hive下拉数据,要合并多个数据(每组数据类别不同),如果要在构造数据集最终阶段随机打乱,可以使用pyspark的orderBy随机打乱 from pyspark.sql.functions import rand sql = "select * from abc.table1 limit
阅读全文
摘要:class MMoE_Layer(tf.keras.layers.Layer): def __init__(self,expert_dim,n_expert,n_task): super(MMoE_Layer, self).__init__() self.n_task = n_task # 专家个数
阅读全文
摘要:情景: 推荐召回模型训练,开始的几个epoch损失正常下降,在到某个epoch下loss突然为nan,但模型仍在继续training,最终在模型预测时,结果都为零。 查阅相关资料,可能的原因如下: 1)训练集中可能出现为NAN的特征; 2)自定义loss函数中,会存在分母为零的异常,可以加入微小的长
阅读全文
摘要:AUC是否能作为召回评估指标 首先,AUC是代表模型的排序能力,因为在召回环节考虑所有推荐物品的顺序没有太大意义,所以不是一个好的评估指标。另外后面所有提到的AUC含义都是针对单个user的,即group by user AUC。 AUC和线上优化指标正相关? 不相关。我们先从AUC的计算说起,计算
阅读全文
摘要:简化NLP:TensorFlow中tf.strings的使用 TensorFlow中很早就包含了tf.strings这个模块,不过实话说,在tf 1.x的固定计算图的情况下,各种操作颇为复杂,我们在迎来了2.0中才更好可以看出tf.strings的威力。 tf.strings的其中一个重要的作用是可
阅读全文
摘要:推荐中的重要用户特征: 1)用户画像,基础属性信息; 2)环境特征,一线还是45线小城镇; 3)资讯特征,新闻or搞笑or即时资讯; 4)相关性特征,关键词匹配特征,类别特征,匹配程度; 5)热度特征,有热度的咨询会做全局推送; 6)协同特征,比较强大的工具,系统过滤模型通过作品的相似程度进行推送
阅读全文
摘要:from keras import Sequential, Model from keras.optimizers import Adam from keras.callbacks import ModelCheckpoint, ReduceLROnPlateau from keras.layers
阅读全文
摘要:对于变长特征编码,我们往往需要用到此。它们的作用是: Padding:将本来不相同的样本填充到相同的长度,以便于后面的处理,我们一般使用0做填充 Mask:告诉网络层那些是真正的数据,哪些是填充的“0”,从而帮助网络层更好地计算 目的:提升序列模型的精度和准确率 使用方法如下: # 第一步,将数据p
阅读全文
摘要:tf模型线上部署需要采用saved_model形式,现将踩过的坑记录如下: """ Function: h5 model to pb to saved_model """ import os import keras import tensorflow import tensorflow as tf
阅读全文
摘要:loss的设计对系统来说至关重要,最初采用用户侧和商品侧向量的夹角余弦,binary_crossentropy进行优化,无法得到满意的模型效果,依托深度模型强大的拟合能力,特征向量居然全部归零。随后重新对系统改进,主要是1.负样本构建;2.loss函数设计 这里主要讲第二点。 基于距离的损失函数--
阅读全文