摘要:
fine-tuning是微调的意思,是用别人训练好的模型(即pre-trained model),加上我们自己的数据,来训练新的模型。fine tune相当于使用别人的模型的前几层,来提取浅层特征,然后在最后再落入我们自己的分类中。 一般来说我们自己需要做的方向,比如在一些特定的领域的识别分类中,我 阅读全文
摘要:
>>> a = ['1','2'] >>> b = ['3','4'] >>> a+b ['1', '2', '3', '4'] >>> a = [1,2] >>> b = [3,4] >>> a+b [1, 2, 3, 4] 阅读全文
摘要:
因为实验室电脑之前装tensorflow是用的anaconda装的,导致现在用pip装tensorflow1.0装上了却还是用的annaconda下的tensorflow0.8,所以想删除anaconda http://blog.csdn.net/qq_22474567/article/detail 阅读全文
摘要:
>>> import tensorflow as tf >>> hello = tf.constant('Hello, TensorFlow!') >>> sess = tf.Session() >>> print(sess.run(hello)) 阅读全文
摘要:
internal covariate shift(ics):训练深度神经网络是复杂的,因为在训练过程中,每层的输入分布会随着之前层的参数变化而发生变化。所以训练需要更小的学习速度和careful参数初始化,这将减缓训练的速度。 bn的目的就是解决ics 我们知道在神经网络训练开始前,都要对输入数据做 阅读全文
摘要:
https://zhuanlan.zhihu.com/p/23270674 https://www.zybuluo.com/Feiteng/note/20154 阅读全文
摘要:
Introduction: 传统的cnn过滤器是一个泛化的线性模型(GLM),我们认为这GLM的抽象能力是低级别的。把GLM替换为一个更有效的非线性函数近似能够提高抽象能力。当例子是线性可分时,GLM能实现很好的抽象。然而例子很多情况下是线性不可分的,输入的线性函数才能很好地表达。此网络没有采用传统 阅读全文
摘要:
Architecture: 整个网络8层,5个卷积层,3个全连接层 Relu Nonlinearity: 非饱和的relu比饱和的sigmoid或者tanh训练速度快很多,并有效解决梯度消失 Overlapping Pooling: 论文中整个网络都使用重叠网络,分别降低top-1、top-5的错误 阅读全文
摘要:
vggNet是从AlexNet而来,主要探索卷积神经网络的深度与性能之间的关系,通过反复堆叠3x3的卷积核(c中有1x1的卷积核,也只有c中有,c是16层)和2x2的最大池化层,vggNet构筑了16-19层深的卷积神经网络。 3x3卷积核:the smallest size to capture 阅读全文
摘要:
inception1还在增加宽度,但resnet没有,只是增加深度 阅读全文