摘要：
在本篇文章中，我们讨论一下利用线性模型进行分类的有关问题。与回归问题不同，分类问题的输出不是一个连续的值，而是一个离散的量（k=1....K），在大多数场景中，classes之间通常是互斥的(disjiont)，也就是说每一个输入只能属于一个类别，也就有了决策边界、决策面之说。在本文中，如果数据集的类别可以被线性决策面精确分开，那么该数据集就是线性可分的。在概率论模型中，如何是两类问题，我们可以用t=0，t=1去表示不同的类别。对于K>2时，我们用向量t=(0,1,0,0,0)T来表示，它表示5个类别中的第2类，用tk的值表示它属于类Ck的概率，使用p(x,t)对这种不确定性进行建模，从 阅读全文
摘要：
当利用多项式对二次曲线进行拟合的时候，我们会发现如果多项式的次数比较高，为了和训练数据一致，系数会出现很多非常大和非常小的数，并且多项式函数的曲线出现很大的波动。直观上讲，M(order)的值越大，越容易受随机噪声的影响。但是，这种过似合现象会随着数据的增多而逐渐减轻，也就是说，数据量越大，越应该使用较为复杂的模型去拟合。有一种经验的说法是说，样式本的数量至少要多于所要学习的参数的5到10倍，但是有研究表明，参数的数量并不与模型的复杂度成比例，并且我们也不能根据参数的个数来选择模型的复杂度，而是应该根据问题本身。对于过学习问题，判别模型使用正则化方法来解决（i.e., ||w||2=w20+w 阅读全文