随笔分类 -  深度学习

NN[神经网络]中embedding的dense和sparse是什么意思？
摘要：NN[神经网络]中embedding的dense和sparse是什么意思？ dense 表示稠密，在embedding中的dense时： 假设我们有这样一个句子： “北京是北京”，我们将其数值化表示为： dense embedding，需要你讲它转换成onehot表示： 假设embedding对输出 阅读全文

posted @ 2020-06-09 18:51 龚细军 阅读(5370) 评论(0) 推荐(1) 编辑

Hierarchical softmax(分层softmax)简单描述.
摘要：最近在做分布式模型实现时,使用到了这个函数. 可以说非常体验非常的好. 速度非常快，效果和softmax差不多. 我们知道softmax在求解的时候，它的时间复杂度和我们的词表总量V一样O(V),是性线性的，从它的函数方程式中，我们也可以很容易得出: softmax: f(x) = e^x / su 阅读全文

posted @ 2019-01-10 15:55 龚细军 阅读(971) 评论(1) 推荐(1) 编辑

Use of Deep Learning in Modern Recommendation System: A Summary of Recent Works（笔记）
摘要：注意：论文中，很多的地方出现baseline,可以理解为参照物的意思，但是在论文中，我们还是直接将它称之为基线， 也就是对照物，参照物. 这片论文中，作者没有去做实际的实验，但是却做了一件很有意义的事，他收罗了近些年所有推荐系统中涉及到深度学习的文章 ，并将这些文章进行分类，逐一分析，然后最后给出了 阅读全文

posted @ 2018-01-19 15:38 龚细军 阅读(2096) 评论(0) 推荐(1) 编辑

调参过程中的参数 学习率，权重衰减，冲量(learning_rate , weight_decay , momentum)
摘要：无论是深度学习还是机器学习，大多情况下训练中都会遇到这几个参数，今天依据我自己的理解具体的总结一下，可能会存在错误，还请指正. learning_rate , weight_decay , momentum这三个参数的含义. 并附上demo. 我们会使用一个例子来说明一下： 比如我们有一堆数据，我们 阅读全文

posted @ 2017-12-15 11:18 龚细军 阅读(11624) 评论(1) 推荐(1) 编辑

mxnet框架样本，使用C++接口
摘要：哇塞，好久么有跟进mxnet啦，python改版了好多好多啊，突然发现C++用起来才是最爽的. 贴一个mxnet中的C++Example中的mlp网络和实现，感觉和python对接毫无违和感。真是一级棒呐. 结果： poch 18900 Accuracy: 0.703125epoch 19000 A 阅读全文

posted @ 2017-12-08 16:11 龚细军 阅读(6780) 评论(5) 推荐(0) 编辑

faster-rcnn中ROI_POOIING层的解读
摘要：在没有出现sppnet之前，RCNN使用corp和warp来对图片进行大小调整，这种操作会造成图片信息失真和信息丢失。sppnet这个模型推出来之后（关于这个网络的描述，可以看看之前写的一篇理解：http://www.cnblogs.com/gongxijun/p/7172134.html），rg大 阅读全文

posted @ 2017-10-23 17:49 龚细军 阅读(9086) 评论(0) 推荐(0) 编辑

RNN的简单的推导演算公式（BPTT）
摘要：附上y=2x-b拟合的简单的代码. 阅读全文

posted @ 2017-09-12 15:55 龚细军 阅读(1166) 评论(1) 推荐(0) 编辑

优化器--牛顿法总结
摘要：这里记录下一些关于牛顿法来作为优化器的个人笔记 ：） 关于牛顿法，先不说其中的概念，来简单看一个例子？ 不用计算器，如何手动开一个值的平方根，比如计算{sqrt(a) | a=4 } ？ 不用程序和代码如何求？ 比较简单有木有，直接上用公式来套就好了. xt = ( xt-1 + ( a / xt- 阅读全文

posted @ 2017-09-08 19:29 龚细军 阅读(676) 评论(0) 推荐(0) 编辑

使用神经网络来拟合函数y = x^3 +b
摘要：我们使用一个三层的小网络来，模拟函数y = x^3+b函数 1 import tensorflow as tf 2 import numpy as np 3 import matplotlib.pyplot as plt 4 5 #训练数据 6 x_data = np.linspace(-6.0,6 阅读全文

posted @ 2017-08-02 14:56 龚细军 阅读(904) 评论(0) 推荐(0) 编辑

对sppnet网络的理解
摘要：前言： 接着上一篇文章提到的RCNN网络物体检测，这个网络成功的引入了CNN卷积网络来进行特征提取，但是存在一个问题，就是对需要进行特征提取图片大小有严格的限制。当时面对这种问题，rg大神采用的是对分割出的2000多个候选区域，进行切割或者缩放形变处理到固定大小，这样虽然满足了CNN对图片大小的要求 阅读全文

posted @ 2017-07-16 00:44 龚细军 阅读(13675) 评论(2) 推荐(3) 编辑

读RCNN论文笔记
摘要：1. RCNN的模型（如下图）描述: RCNN相比传统的物体检测，还是引入传统的物体检测的基本流程，先找出候选目标物体，逐个的提取特征，不过rbg大神引入了当时炙手可热的CNN卷积网络取代传统上的HOG，DPM,LBP,SIFT等算法来对图像的特征进行提取，值得说道的是CNN由于可以放到GPU上，所 阅读全文

posted @ 2017-07-02 16:51 龚细军 阅读(7895) 评论(0) 推荐(0) 编辑

faster-rcnn系列笔记(一)
摘要：目录： 1. 序言 2.正文 2.1 关于ROI 2.2 关于RPN 2.3 关于anchor 3. 关于数据集合制作 4. 关于参数设置 5. 参考 1.序言 叽歪一下目标检测这个模型吧，这篇笔记是依据我对源码的阅读和参考一些博客，还有rbg的论文之后，这里描述一下个人对于faster-rcnn的 阅读全文

posted @ 2017-04-18 18:48 龚细军 阅读(1817) 评论(0) 推荐(0) 编辑

faster-rcnn在编译时遇到的一些问题
摘要：1.在安装faster-rcnn事如果报这种错误 处理方案: 这种问题出现的原因是在rbg开源这套物体检查方案时是依据的当时最新的cundnn版本，而这么多年过去，cudnn已经发布了好几个版本，所以要处理这个问题，只需要将caffe框架下的所有cudnn相关的文件替换车成当前caffe最新的即可. 阅读全文

posted @ 2017-04-06 11:56 龚细军 阅读(3506) 评论(2) 推荐(0) 编辑

mxnet运行时遇到问题及解决方法
摘要：1.训练好模型之后，进行预测时出现这种错误： 这种问题的解决方法，在全链接层fc中设置num_hidden你需要分类的个数和训练的模型的实际分类的个数参数不匹配，查看模型json，修改为对应值即可，这里修改成63及63个分类即可！ 阅读全文

posted @ 2017-01-09 15:19 龚细军 阅读(3938) 评论(0) 推荐(0) 编辑

关于BP网络的一些总结
摘要：背景 前段时间，用过一些模型如vgg,lexnet，用于做监督学习训练，顺带深入的学习了一下相关模型的结构&原理，对于它的反向传播算法记忆比较深刻， 就自己的理解来描述一下BP网络. 关于BP网络的整体简述 BP神经网络，全程为前馈神经网络，它被用到监督学习中的主体思想是（我们假定我们这里各个层La 阅读全文

posted @ 2016-12-21 20:15 龚细军 阅读(1210) 评论(0) 推荐(0) 编辑

神经网络模型之AlexNet的一些总结
摘要：说明： 这个属于个人的一些理解，有错误的地方，还希望给予教育哈～ 此处以caffe官方提供的AlexNet为例. 目录： 1.背景 2.框架介绍 3.步骤详细说明 5.参考文献 背景： AlexNet是在2012年被发表的一个金典之作，并在当年取得了ImageNet最好成绩，也是在那年之后，更多的更 阅读全文

posted @ 2016-11-04 10:27 龚细军 阅读(66411) 评论(29) 推荐(5) 编辑

点击右上角即可分享
微信分享提示