04 2017 档案
摘要：http://blog.csdn.net/luo123n/article/details/48878759 https://en.wikipedia.org/wiki/Hinge_loss Note that y should be the "raw" output of the classifie
阅读全文
摘要：在caffe中计算某个model的整个net以及各个layer的向前向后传播时间，可以使用下面的命令格式： 其中model指向待测model的prototxt文件，-iterations后面的100表示迭代100次，-gpu 0 表示使用第一张显卡来计算时间，若使用CPU计算，将solver.pro
阅读全文
摘要：caffe的model zoo里面有许多已有的模型，不仅有模型的prototxt，还有训练好的参数，可以下载来做fine tuning https://github.com/BVLC/caffe/wiki/Model-Zoo 下载的方式有以下几种: 1.直接去这个网址下载：http://dl.caf
阅读全文
摘要：fine-tuning是微调的意思，是用别人训练好的模型(即pre-trained model)，加上我们自己的数据，来训练新的模型。fine tune相当于使用别人的模型的前几层，来提取浅层特征，然后在最后再落入我们自己的分类中。 一般来说我们自己需要做的方向，比如在一些特定的领域的识别分类中，我
阅读全文
摘要：>>> a = ['1','2'] >>> b = ['3','4'] >>> a+b ['1', '2', '3', '4'] >>> a = [1,2] >>> b = [3,4] >>> a+b [1, 2, 3, 4]
阅读全文
摘要：因为实验室电脑之前装tensorflow是用的anaconda装的，导致现在用pip装tensorflow1.0装上了却还是用的annaconda下的tensorflow0.8，所以想删除anaconda http://blog.csdn.net/qq_22474567/article/detail
阅读全文
摘要：>>> import tensorflow as tf >>> hello = tf.constant('Hello, TensorFlow!') >>> sess = tf.Session() >>> print(sess.run(hello))
阅读全文
摘要：internal covariate shift(ics):训练深度神经网络是复杂的，因为在训练过程中，每层的输入分布会随着之前层的参数变化而发生变化。所以训练需要更小的学习速度和careful参数初始化，这将减缓训练的速度。 bn的目的就是解决ics 我们知道在神经网络训练开始前，都要对输入数据做
阅读全文
摘要：https://zhuanlan.zhihu.com/p/23270674 https://www.zybuluo.com/Feiteng/note/20154
阅读全文
摘要：Introduction: 传统的cnn过滤器是一个泛化的线性模型（GLM），我们认为这GLM的抽象能力是低级别的。把GLM替换为一个更有效的非线性函数近似能够提高抽象能力。当例子是线性可分时，GLM能实现很好的抽象。然而例子很多情况下是线性不可分的，输入的线性函数才能很好地表达。此网络没有采用传统
阅读全文
摘要：Architecture: 整个网络8层，5个卷积层，3个全连接层 Relu Nonlinearity： 非饱和的relu比饱和的sigmoid或者tanh训练速度快很多，并有效解决梯度消失 Overlapping Pooling： 论文中整个网络都使用重叠网络，分别降低top-1、top-5的错误
阅读全文
摘要：vggNet是从AlexNet而来，主要探索卷积神经网络的深度与性能之间的关系，通过反复堆叠3x3的卷积核（c中有1x1的卷积核,也只有c中有，c是16层）和2x2的最大池化层，vggNet构筑了16-19层深的卷积神经网络。 3x3卷积核：the smallest size to capture
阅读全文
摘要：inception1还在增加宽度，但resnet没有，只是增加深度
阅读全文
摘要：深度在神经网络中有及其重要的作用，但越深的网络越难训练。 随着深度的增加，从训练一开始，梯度消失或梯度爆炸就会阻止收敛，normalized initialization和intermediate normalization能够解决这个问题。但依旧会出现degradation problem：随着深
阅读全文
摘要：从LeNet-5开始，cnn就有了标准的结构：stacked convolutional layers are followed by one or more fully-connected layers。对于Imagenet这种大的数据集，趋势是增加层数和层的大小，用dropout解决过拟合。 1
阅读全文
摘要：1.深度学习本质就是找一个函数能够拟合某一个的问题。 2.如果没有非线性的激活函数，整个函数就只有线性，也就是说你只能去线性地分类问题，但很多问题都不是线性可分的。 3.人脑神经元的连接是稀疏的，因此研究者认为大型神经网络的合理的连接方式应该也是稀疏的。稀疏结构是非常适合神经网络的一种结构，尤其是对
阅读全文
摘要：如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。正因为上面的原因，我们决定引入非线性函数作为激励函数，这样
阅读全文
摘要：错误代码： 正确代码： 正确代码只是比错误代码在reverse函数中增加了一个参数引用 错误代码使用的reverse函数并不能改变str这个实参，导致后面的翻转出错。增加参数引用后就能对参数str进行改变。
阅读全文
摘要：删除~/.config目录下的SougouPY SogouPY.users sogou-qimpanel文件夹，然后重启搜狗输入法即可
阅读全文
摘要：#include<string> string s1 = "abcdefg"; string s2("abcdefg");
阅读全文
摘要：c++中单引号表示一个字符，双引号表示字符串 python中单引号与双引号是一样的
阅读全文
