摘要： Optimizer 深度学习中，无法直接找到模型解析解，通常是利用梯度对权重参数做迭代式优化。 经典综述，paper link: https://arxiv.org/pdf/1609.04747.pdf 定义后续提到的相关符号，待优化参数 \theta ，目标函数 \(J(\theta)\) ，学习 阅读全文

摘要： 背景 机器学习任务大多是一种迭代式优化算法，可分为三个步骤： 读取数据做模型前向计算forward； 计算loss，并进行反向传播backprop，得到参数梯度； 根据梯度利用优化算法optimizer进行参数迭代更新； 随着数据量的扩增，单节点的计算能力逐渐成为了瓶颈。13年可扩展的Paramer 阅读全文

摘要： 本文主要是为了将ctr模型的历程整理分类，并记录各模型的重点部分。所示代码几乎都不能直接运行，而是力求将模型核心部分体现出来。这和我自己的定位有关，自己在学习看代码的时候我只是想知道模型干了什么怎么实现的，至于数据处理部分我并不关心，不同场景有不同的处理脚本。因此只想记录下各个模型的核心实现。 下边 阅读全文

摘要： CTR预估模型 本文主要是为了将ctr模型的历程整理分类，并记录各模型的重点部分。所示代码几乎都不能直接运行，而是力求将模型核心部分体现出来。这和我自己的定位有关，自己在学习看代码的时候我只是想知道模型干了什么怎么实现的，至于数据处理部分我并不关心，不同场景有不同的处理脚本。因此只想记录下各个模型的 阅读全文

摘要： 利用hadoop分布式生成tfrecord格式文件 由于到处理的数据量较大，亿为单位的数据条数，所以提前利用hadoop的分布式的优势处理成tfrecord格式供tf训练。 hadoop streaming执行的是mapper reduce流处理。 完整脚本文件放在了 "github" 上， inp 阅读全文

摘要： hadoop && pig Hadoop 最近需要用到hadoop操作，发现hadoop的官网真的良心的，没那么多废话，直接说明白怎么用，而且还是中文的，简单粗暴啊！！！ "hadoop document" 在mapreduce中，map的输出是具有自动排序功能的！！！ 在reduce阶段 ，0 3 阅读全文

摘要： 频繁项集Apriori算法 Reference "数据挖掘十大算法之Apriori详解" "Apriori算法详解之【一、相关概念和核心步骤】" "关联分析之Apriori算法" haha 算法理解部分主要是前两个链接，写的很靠谱。在实际中再配合上hadoop的mapreduce。 阅读全文

摘要： tensorflow中multi GPU小坑记录 最近又需要点tf的代码，有几个点关于多卡的代码点需要记录下。一直想把平时常用的一些代码段整理一下，但是一直没时间，每周有在开新的进程，找时间再说吧。先零星的记点吧。 干货 1. 在tf构图阶段，把计算点都开在GPU上，尽量不要开在CPU上。提速杠杠滴 阅读全文

摘要： tensorflow中dropout小坑记录 几天看别人写的代码，有几行总觉得没什么用，自己写了小程序测试了下，果然。 虽然平时这么写的人不多，但是还是记录下吧。 对tensorflow使用时要转变下思维，和平时写的C++不太一样，只是建立了一个静态图。 1. 在list中进行for循环，内部操作是 阅读全文

摘要： 统计音频文件总时长 两种实现方法，调用sox工具，调用python wave库。 sox 命令行中键入 其中的length就是长度，单位seconds。 Code os.popen简记 python中调用外部命令行命令，主要使用 和`os.popen(cmd) os.popen subprocess 阅读全文