alexanderkun

摘要： 一、统计学的基本概念统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述：均值：标准差：方差：均值描述的是样本集合的中间点，它告诉我们的信息是有限的，而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。以这两个集合为例，[0, ... 阅读全文

摘要： 假设我们有一个固定样本集，它包含个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例，其代价函数为：这是一个（二分之一的）方差代价函数。给定一个包含个样例的数据集，我们可以定义整体代价函数为：以上公式中的第一项是一个均方差项。第二项是一个规则化项（也叫权重衰减项），其目的是减小权重... 阅读全文