摘要：
损失函数(Loss/Error Function): 计算单个训练集的误差，例如：欧氏距离，交叉熵，对比损失，合页损失 代价函数(Cost Function): 计算整个训练集所有损失之和的平均值 至于目标函数(Objective function)，字面一些，就是有某个（最优化）目标的函数，比如最 阅读全文
摘要：
前言 我们都知道增加网络的宽度和深度可以很好的提高网络的性能，深的网络一般都比浅的的网络效果好，比如说一个深的网络A和一个浅的网络B，那A的性能至少都能跟B一样，为什么呢？因为就算我们把A的网络参数全部迁移到B的前面几层，而B后面的层只是做一个等价的映射，就达到了A网络的一样的效果。一个比较好的例子 阅读全文
摘要：
GoogLeNet Incepetion V1 这是GoogLeNet的最早版本，出现在2014年的《Going deeper with convolutions》。之所以名为“GoogLeNet”而非“GoogleNet”,文章说是为了向早期的LeNet致敬。 介绍 深度学习以及神经网络快速发展， 阅读全文
摘要：
前言 这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x（权重），使得f(x)的值最小。 本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。 SGD SGD指stochastic gradient descent，即随机梯度下降。是梯度下降的batch版本。 对于训 阅读全文
摘要：
1. 联合概率 联合概率：是指两个事件同时发生的概率。 P(A,B)=P(B|A)⋅P(A)⇒P(B|A)=P(A,B)/P(A) 因此当两事件独立时，P(A,B)=P(A)⋅P(B)，此时，P(B|A)=P(B)，也即事件 A 发不发生对事件 B 发生的概率没有影响。 阅读全文
摘要：
协方差 用来衡量两个随机变量的分布之间的总体变化性，经常用来衡量两个随机变量之间的线性相关性，如果两个随机变量的协方差为0，那么称这两个随机变量是线性不相关。 偏差(bias) 偏差度量了学习算法的期望预测与真实结果的偏离程序, 即 刻画了学习算法本身的拟合能力 . 方差(variance) 方差度 阅读全文
摘要：
此设计模式遵循的设计原则之一：类应该支持扩展，而拒绝修改（Open-Closed Principle） 装饰者模式简述 装饰者模式通过组合的方式扩展对象的特性，这种方式允许我们在任何时候对对象的功能进行扩展甚至是运行时扩展，而若我们用继承来完成对类的扩展则只能在编译阶段实现，所以在某些时候装饰者模式 阅读全文
摘要：
1. 概述 将一个请求封装为一个对象(即我们创建的Command对象），从而使你可用不同的请求对客户进行参数化; 对请求排队或记录请求日志，以及支持可撤销的操作。 2. 解决的问题 在软件系统中，行为请求者与行为实现者通常是一种紧耦合的关系，但某些场合，比如需要对行为进行记录、撤销或重做、事务等处理 阅读全文
摘要：
桥梁模式（Bridge Patter）也叫做桥接模式，是一个比较简单的模式。 定义： 将抽象和实现解耦，使得两者可以独立地变化。 通用类图： ● Abstraction——抽象化角色 它主要的职责是定义出该角色的行为，同时保存一个对实现化角色的引用，该角色一般是抽象类。 ● Implementro— 阅读全文
摘要：
定义：将一个复杂对象的构建与它的表示分离，使得同样的构建过程可以创建不同的表示。 类型：创建类模式 类图： 四个要素 产品类：一般是一个较为复杂的对象，也就是说创建对象的过程比较复杂，一般会有比较多的代码量。在本类图中，产品类是一个具体的类，而非抽象类。实际编程中，产品类可以是由一个抽象类与它的不同 阅读全文