摘要： 之前在Caffe学习 一 网络参数和自定义网络包含一些参数的设置项。 momentum是梯度下降法中一种常用的加速技术。对于一般的SGD，其表达式为 w沿负梯度方向下降。 而带momentum项的SGD则写生如下形式： 即如果上次的v与这次的负梯度方向相同，那本次下降的幅度就会加大，以达加速收敛。 阅读全文

摘要： 原理参照Caffe学习 五 conv_layer与im2col。 以下是一个比较，使用自己写的conv2d的卷积速度非常慢。 im2col转换进行的卷积与sg.convolve2d（不旋转180°）速度接近。 除此之外，im2col还使得反向传播更为简单。 im2col将卷积操作变为矩阵乘法，反向传 阅读全文

摘要： 延续上一篇进行修改，可用于多层卷积网络，按mini batch传播，正确率96%左右。 存在的问题是卷积速度过慢，学习率更新方式。 下一篇将使用im2col。 阅读全文

摘要： 之前的随笔卷积层和池化层中有一个凌乱的CNN实现，此处做一些修改。 主要改动： 1.将ConvLayer和PoolLayer合并。 在theano的例子（基于theano的深度卷积神经网络）中，这两层共用一套weight和biasis；在caffe中（Caffe学习 一 网络参数和自定义网络），没有 阅读全文

摘要： （Under review as a conference paper at ICLR 2017） ICLR 2017已提交的关于自动编程有 12 篇论文，以下为其中一篇。 主要工作是提出一种利用神经网络生成算法代码的方法，相比于不用神经网络的搜索过程，速度有极大的提升。 学习编程（DeepCode 阅读全文

摘要： 上一篇随笔中，采用三层神经网络，ReLu作为激活函数，经过反向传播训练，可以得到对训练数据集100%的正确率。 对于测试数据集上的正确率，由于实际特征并不仅限于像素点，所以没有足够高。 以下为涂鸦的两个数字，虽然都代表2，但是像素点上没有相同之处，在多层神经网络中很容易被识别成不一样的数字。 人眼中 阅读全文

摘要： 1. BP算法 多层感知机模型理论上有求解线性不可分的能力，但是当时并没有有效的训练方法。 1986年，Rumelhart和McCelland领导的科学家小组在《Parallel Distributed Processing》一书中，提出了一种前馈型神经计算模型和用于调节该模型神经元联系效率或联结强 阅读全文

摘要： 1. 神经元模型 以下引用自Poll的笔记：神经网络基础。 神经元是神经网络中最基本的结构，也可以说是神经网络的基本单元，它的设计灵感完全来源于生物学上神经元的信息传播机制。我们学过生物的同学都知道，神经元有两种状态：兴奋和抑制。一般情况下，大多数的神经元是处于抑制状态，但是一旦某个神经元收到刺激， 阅读全文

摘要： 1. 生物的眼睛 眼睛是绝大多数动物必备的器官，其复杂精妙令人惊叹。 在进化过程中，最初的眼应该是从单个感光细胞逐渐扩增分化而来。 以下转自林十之在知乎眼睛是如何进化出来的？的中回答。 嗯哼祖师爷达尔文也承认眼睛这类复杂器官的进化是进化论上的一个难点。他最后作了一个猜想——两个细胞组成的感光器官。一 阅读全文

摘要： 米勒实验 一种模拟在原始地球还原性大气中进行雷鸣闪电能产生有机物（特别是氨基酸），以论证生命起源的化学进化过程的实验。1952年由美国芝加哥大学研究生米勒（S.L.Miller）在其导师尤利（H.C.Urey）指导下完成。 以下表格摘自维基百科，在多个模拟原始地球的实验中，由无机物合成出多种氨基酸。 阅读全文