03 2022 档案
摘要：在深度学习之前，传统的SIFT，HOG等算法均由按组统计特征的特性，它们一般将同一个种类的特征归为一组，然后在进行组归一化。 SIFT特征提取 https://blog.csdn.net/abcjennifer/article/details/7639681 HOG特征提取 https://www.
阅读全文
摘要：今天复习了这篇文章的内容： https://www.cnblogs.com/charlesblc/p/12633236.html https://zhuanlan.zhihu.com/p/54171297 模型优化之Batch Normalization https://zhuanlan.zhihu
阅读全文
摘要：http://www.fenghz.xyz/Must-Know-Tips-in-DL/ Must Know Tips/Tricks in Deep Neural Networks阅读笔记 2018-04-15 深度学习 Train Tricks 文章题目: Must Know Tips/Tricks
阅读全文
摘要：今天从这里下载了一些ppt，可以学习看看别人是怎么准备报告的 https://aicon.infoq.cn/2018/beijing/#schedule 《文本表示和生成新进展 AIConf - lilei 2018》 《机器学习在苏宁易购搜索平台中的实践 李春生》 《ffm及deepffm模型在推
阅读全文
摘要：https://mp.weixin.qq.com/s/nUUYJdcuyyVtO5lFCmwmUg 而互联网现在正像是20年前的运营商一样，从炙手可热到回归常态，其实是行业发展规律而已，没有新增量，势必饱和，饱和必然调整，调整就会阵痛。 从今年的各大高校论坛也能看出来，大家逐渐把求职范围拓宽了，互联
阅读全文
摘要：在电脑上放了比较久了 https://blog.csdn.net/zhong_ddbb/article/details/107547062 https://zhuanlan.zhihu.com/p/27837426 https://blog.csdn.net/qq_38900441/article/
阅读全文
摘要：今天学习这篇文章： https://zhuanlan.zhihu.com/p/441233636 有了预估的CTR和CVR之后，我们就可以按照如下公式来对候选商品排序： 1. 模型选择 通过前文的分析，我们确定了要在统一模型中同时建模CTR预估和CVR预估，这么做一个明显的好处是在推荐链路上只需要一
阅读全文
摘要：参考这篇文章： https://zhuanlan.zhihu.com/p/479267766 推荐效果不佳时的检查清单
阅读全文
摘要：看这篇文章： https://zhuanlan.zhihu.com/p/41663141 构建分布式Tensorflow模型系列:特征工程 在Tensorflow中，通过调用tf.feature_column模块来创建feature columns。有两大类feature column，一类是生成d
阅读全文
摘要：今天学习这篇文章： https://zhuanlan.zhihu.com/p/42214716 昨天的文章也没有看完，有机会再看： https://zhuanlan.zhihu.com/p/41663141 先来这张经典的图： 文本要实现的深度学习模型是阿里巴巴的算法工程师18年刚发表的论文《Ent
阅读全文
摘要：参考这篇文章： https://zhuanlan.zhihu.com/p/41473323 参考下面的资料： 基于Tensorflow高阶API构建大规模分布式深度学习模型系列: 开篇 基于Tensorflow高阶API构建大规模分布式深度学习模型系列: 基于Dataset API处理Input p
阅读全文
摘要：参考这篇文章： https://blog.csdn.net/shuibuzhaodeshiren/article/details/88648517 《如何使用TensorFlow中的高级API：Estimator、Experiment和Dataset》 《Higher-Level APIs in T
阅读全文
摘要：关于TFRecord可以看这篇文章： https://xmfbit.github.io/2020/04/03/tfrecord-introduction/ TFRecord是TensorFlow中常用的数据打包格式。通过将训练数据或测试数据打包成TFRecord文件，就可以配合TF中相关的DataL
阅读全文
摘要：参考下面的资料： 基于Tensorflow高阶API构建大规模分布式深度学习模型系列: 开篇 基于Tensorflow高阶API构建大规模分布式深度学习模型系列: 基于Dataset API处理Input pipeline 基于Tensorflow高阶API构建大规模分布式深度学习模型系列: 自定义
阅读全文
摘要：参考这篇文章： https://zhuanlan.zhihu.com/p/56991108 一文说清楚Tensorflow分布式训练必备知识 模型并行 在tensorflow的术语中，模型并行称之为"in-graph replication"。 数据并行 在tensorflow的术语中，数据并行称之
阅读全文
摘要：推荐系统中常用评测指标 参考这篇文章： https://www.jianshu.com/p/99e8f24ec7df
阅读全文
摘要：在CTR预估中，为了解决稀疏特征的问题，学者们提出了FM模型来建模特征之间的交互关系。但是FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系，因此学者们通过Deep Network来建模更高阶的特征之间的关系。 因此 FM和深度网络DNN的结合也
阅读全文
摘要：参考这篇文章： https://www.cnblogs.com/zwt20120701/p/15557602.html （1）P-R曲线是分别将查准率Precision（精确率）作为纵坐标，查全率Recall（召回率）作为横坐标作的图。 （2）ROC曲线、AUC面积、Gini系数、KS值 都是基于真
阅读全文
摘要：接上一篇： https://www.cnblogs.com/charlesblc/p/15991579.html 参考这篇文章，讲deepFM https://www.jianshu.com/p/6f1c2643d31b 对于一个基于CTR预估的推荐系统，最重要的是学习到用户点击行为背后隐含的特征组
阅读全文
摘要：今天准备看这篇文章： https://www.jianshu.com/p/152ae633fb00 是这个系列里面的文章： https://github.com/princewen/tensorflow_practice/ 组合部分的特征相关参数共有n(n−1)/2个。但是如第二部分所分析，在数据很
阅读全文
摘要：参考这篇文章： https://www.jianshu.com/p/e8986d0ff4ff 《详解TF中的Embedding操作！》 什么是embedding？ embedding，我们可以简单的理解为，将一个特征转换为一个向量。 对于离散特征，我们一般的做法是将其转换为one-hot，但对于it
阅读全文
摘要：接上一篇： https://www.cnblogs.com/charlesblc/p/15978168.html 今天主要看这个教材： https://tensorflow.google.cn/tutorials?hl=zh-cn 图像分类 # TensorFlow and tf.keras imp
阅读全文
摘要：可以参考这个官方教材，不知道之后还能不能访问 https://tensorflow.google.cn/tutorials/quickstart/beginner?hl=zh-cn 教材可以看这里： https://tensorflow.google.cn/tutorials?hl=zh-cn 要花
阅读全文
摘要：我们先使用tf.reduce_sum来计算了每一个样本点的损失，注意这里的参数 reduction_indices=[1]，这表明我们是在第1维上运算，这跟numpy或者DataFrame的运算类似，具体1的含义看下图： 缩减哪一维度，就意味着这个维度没有了，被压扁了
阅读全文
摘要：参考这篇文章： https://blog.csdn.net/weixin_38278334/article/details/82971752 fit,transform,fit_transform常用情况分为两大类1. 数据预处理中方法fit(): Method calculates the par
阅读全文
摘要：这个博客系列有很多相关文章，可以参考： https://www.jianshu.com/u/c5df9e229a67 推荐系统遇上深度学习
阅读全文
摘要：参考这篇文章： https://mp.weixin.qq.com/s?__biz=MzI1OTYwNDE2Mg==&mid=2247483753&idx=1&sn=acec759cf688e21660b61e791986bfac&chksm=ea772ac4dd00a3d239995c8e6b9e8
阅读全文
摘要：今天参考这篇文章： https://zhuanlan.zhihu.com/p/71986772 transformer系列模型的进展，从BERT到GPT2再到XLNet。然而随着模型体积增大，线上性能也越来越差，所以决定开一条新线，开始follow模型压缩之模型蒸馏的故事线。 0. 名词解释 tea
阅读全文
摘要：接上一篇文章： https://www.cnblogs.com/charlesblc/p/15965479.html 今天重点看这篇文章： https://mp.weixin.qq.com/s/tKfHq49heakvjM0EVQPgHw Distilled BiLSTM/BERT-PKD/Dist
阅读全文
摘要：笔者第一次见到消融实验（Ablation experiment）这个概念是在论文《Faster R-CNN》中。消融实验类似于“控制变量法”。假设在某目标检测系统中，使用了A，B，C，取得了不错的效果，但是这个时候你并不知道这不错的效果是由于A，B，C中哪一个起的作用，于是你保留A，B，移除C进行实
阅读全文
摘要：参考这篇文章： https://zhuanlan.zhihu.com/p/24337627 有研究表明深度模型具有较大的信息参数冗余。因此我们可以通过一定的技术方法对复杂的模型进行去冗余压缩。现有的压缩方法主要可以下四类： 浅层网络：通过设计一个更浅（层数较少）结构更紧凑的网络来实现对复杂模型效果的
阅读全文
摘要：前几天断更了，现在根据阅读的材料进行一些补充。 模型驱动 + 数据驱动 = 自然语言表示学习 sentiment classification entity extraction translation topic modeling 深度学习 = 表示学习 + 浅层学习 分布式表示：压缩、低维、稠密
阅读全文
摘要：注意力机制中的软和硬 注意力机制是当前深度学习领域比较流行的一个概念。其模仿人的视觉注意力模式，每次只关注与当前任务最相关的源域信息，使得信息的索取更为高效。 注意力机制已在语言模型、图像标注等诸多领域取得了突破进展。 注意力机制可分为软和硬两类： 软性注意力（Soft Attention）机制是指
阅读全文
