摘要：
软分类：y 的取值只有正负两个离散值，例如 {0, 1} 硬分类：y 是正负两类区间中的连续值，例如 [0, 1] 一、感知机 主要思想：分错的样本数越少越好 用指示函数统计分错的样本数作为损失函数，不可微； 对错误分类样本，∑ -yi * f(xi) = ∑ -yi * WTxi (因为求和项一定 阅读全文
摘要：
θ* = argmin L(θ) 梯度方向：损失函数等高线的法线方向（切线方向，变化最快的方向） θt+1 = θt - ηg(θt) 关于梯度下降的Tips: 1. 调整学习率 adaptive learning rates 简单直觉的想法：训练刚开始的时候可以用比较大的学习率；经过一些epoch 阅读全文
摘要：
误差来自于偏差和方差（bias and variance） 对于随机变量 X，假设其期望和方差分别为 μ 和 σ2。随机采样 N 个随机变量构成样本，计算算术平均值 m，并不会直接得到 μ （除非采样无穷多个样本点）。 假设 m 和 s2 是样本均值和样本方差，由于样本都是随机抽取的，m 和 s2 阅读全文
摘要：
一、主要思想 利用正交变换把可能线性相关变量表示的观测数据，转换为由少数几个线性无关变量（主成分）表示的数据。（重构原始特征空间；线性降维） 要尽可能保留原始数据中的信息，两个思路：最大投影方差、最小投影距离。 完全的无监督，只需要通过方差来衡量信息量（但也是一种局限性）。各个主成分正交，降维后不同 阅读全文