随笔分类 - 深度学习
摘要：https://mp.weixin.qq.com/s/tKfHq49heakvjM0EVQPgHw 蒸馏模型的知识看这一篇 还有这篇综述 https://zhuanlan.zhihu.com/p/71986772
阅读全文
摘要：参考这篇文章： https://blog.csdn.net/qq_27261889/article/details/86483505 在对抗生成网络中，判别器和生成器的目标函数通常都是用来衡量它们各自做的怎么样的。例如，生成器的目标函数用来衡量生成的图片能骗过分类器的性能。但是这并不能很好的衡量生成
阅读全文
摘要：参考这篇文章： https://blog.csdn.net/bqw18744018044/article/details/83120425 【深度学习】：超详细的Softmax求导
阅读全文
摘要：今天复习了这篇文章的内容： https://www.cnblogs.com/charlesblc/p/12633236.html https://zhuanlan.zhihu.com/p/54171297 模型优化之Batch Normalization https://zhuanlan.zhihu
阅读全文
摘要：今天学习这篇文章： https://zhuanlan.zhihu.com/p/441233636 有了预估的CTR和CVR之后，我们就可以按照如下公式来对候选商品排序： 1. 模型选择 通过前文的分析，我们确定了要在统一模型中同时建模CTR预估和CVR预估，这么做一个明显的好处是在推荐链路上只需要一
阅读全文
摘要：看这篇文章： https://zhuanlan.zhihu.com/p/41663141 构建分布式Tensorflow模型系列:特征工程 在Tensorflow中，通过调用tf.feature_column模块来创建feature columns。有两大类feature column，一类是生成d
阅读全文
摘要：今天学习这篇文章： https://zhuanlan.zhihu.com/p/42214716 昨天的文章也没有看完，有机会再看： https://zhuanlan.zhihu.com/p/41663141 先来这张经典的图： 文本要实现的深度学习模型是阿里巴巴的算法工程师18年刚发表的论文《Ent
阅读全文
摘要：接上一篇： https://www.cnblogs.com/charlesblc/p/15991579.html 参考这篇文章，讲deepFM https://www.jianshu.com/p/6f1c2643d31b 对于一个基于CTR预估的推荐系统，最重要的是学习到用户点击行为背后隐含的特征组
阅读全文
摘要：今天准备看这篇文章： https://www.jianshu.com/p/152ae633fb00 是这个系列里面的文章： https://github.com/princewen/tensorflow_practice/ 组合部分的特征相关参数共有n(n−1)/2个。但是如第二部分所分析，在数据很
阅读全文
摘要：参考这篇文章： https://www.jianshu.com/p/e8986d0ff4ff 《详解TF中的Embedding操作！》 什么是embedding？ embedding，我们可以简单的理解为，将一个特征转换为一个向量。 对于离散特征，我们一般的做法是将其转换为one-hot，但对于it
阅读全文
摘要：接上一篇： https://www.cnblogs.com/charlesblc/p/15978168.html 今天主要看这个教材： https://tensorflow.google.cn/tutorials?hl=zh-cn 图像分类 # TensorFlow and tf.keras imp
阅读全文
摘要：这个博客系列有很多相关文章，可以参考： https://www.jianshu.com/u/c5df9e229a67 推荐系统遇上深度学习
阅读全文
摘要：今天参考这篇文章： https://zhuanlan.zhihu.com/p/71986772 transformer系列模型的进展，从BERT到GPT2再到XLNet。然而随着模型体积增大，线上性能也越来越差，所以决定开一条新线，开始follow模型压缩之模型蒸馏的故事线。 0. 名词解释 tea
阅读全文
摘要：接上一篇文章： https://www.cnblogs.com/charlesblc/p/15965479.html 今天重点看这篇文章： https://mp.weixin.qq.com/s/tKfHq49heakvjM0EVQPgHw Distilled BiLSTM/BERT-PKD/Dist
阅读全文
摘要：参考这篇文章： https://blog.csdn.net/weixin_42720875/article/details/105936398 《神经网络反向求导不可导情况处理》 写的蛮好，主要写了Relu函数、平均池化、最大池化的处理方式。 Relu函数 次梯度方法(subgradient met
阅读全文
摘要：可以参考这篇文章： https://zhuanlan.zhihu.com/p/36711903 《BP 神经网络 —— 逆向传播的艺术》 里面有一些重要的知识点： 神经网络的前馈 (forward propagation) 过程，前馈过程也非常容易理解，符合人正常的逻辑，具体的矩阵计算表达如下：
阅读全文
摘要：这一篇文章讲得很好： https://zhuanlan.zhihu.com/p/36564434 《梯度下降法 —— 经典的优化方法》 核心是这张图： 所以负梯度方向，不是随便得来的，是根据泰勒公式推导得来的。
阅读全文
