08 2021 档案

摘要：Optimizer 深度学习中，无法直接找到模型解析解，通常是利用梯度对权重参数做迭代式优化。 经典综述，paper link: https://arxiv.org/pdf/1609.04747.pdf 定义后续提到的相关符号，待优化参数 \theta ，目标函数 \(J(\theta)\) ，学习 阅读全文

摘要：背景 机器学习任务大多是一种迭代式优化算法，可分为三个步骤： 读取数据做模型前向计算forward； 计算loss，并进行反向传播backprop，得到参数梯度； 根据梯度利用优化算法optimizer进行参数迭代更新； 随着数据量的扩增，单节点的计算能力逐渐成为了瓶颈。13年可扩展的Paramer 阅读全文

摘要：本文主要是为了将ctr模型的历程整理分类，并记录各模型的重点部分。所示代码几乎都不能直接运行，而是力求将模型核心部分体现出来。这和我自己的定位有关，自己在学习看代码的时候我只是想知道模型干了什么怎么实现的，至于数据处理部分我并不关心，不同场景有不同的处理脚本。因此只想记录下各个模型的核心实现。 下边 阅读全文