摘要：我们在训练的时候经常会遇到这两种情况： 1、模型在训练集上误差很大。 2、模型在训练集上误差很小，表现不错，但是在测试集上的误差很大 我们先来分析一下这两个问题： 对于第一个问题，明显就是没有训练好，也就是模型没有很好拟合数据的能力，并没有学会如何拟合，可能是因为在训练时我们选择了较少的特征，或者是 阅读全文

摘要：我们知道感知器算法对于不能完全线性分割的数据是无能为力的，在这一篇将会介绍另一种非常有效的二分类模型——逻辑回归。在分类任务中，它被广泛使用 逻辑回归是一个分类模型，在实现之前我们先介绍几个概念： 几率（odds ratio）： $$ \frac {p}{(1 p)} $$ 其中p表示样本为正例的概 阅读全文

摘要：上一篇我们实现了使用梯度下降法的自适应线性神经元，这个方法会使用所有的训练样本来对权重向量进行更新，也可以称之为批量梯度下降（batch gradient descent）。假设现在我们数据集中拥有大量的样本，比如百万条样本，那么如果我们现在使用批量梯度下降来训练模型，每更新一次权重向量，我们都要使 阅读全文

摘要：上篇博客我们说了感知器，这篇博客主要记录自适应线性神经元的实现算法及一些其他的训练细节，自适应线性神经元（简称为Adaline）由Bernard Widrow和他的博士生Tedd Hoff提出，对感知器算法进行了改进。 当然Adaline对输入向量x的处理和感知器是一样的，都是使用一个权重向量w与x 阅读全文

摘要：最近在看机器学习相关的书籍，顺便把每天阅读的部分写出来和大家分享，共同学习探讨一起进步！作为机器学习的第一篇博客，我准备从感知器开始，之后会慢慢更新其他内容。 在实现感知器算法前，我们需要先了解一下神经元（neuron）的工作原理，神经元有很多树突和一个轴突，树突（Dendrites）可以从其他神经 阅读全文