所以燃

摘要： 一、单高斯模型GSM（多元正态分布MVN） 当特征为2D时： 马氏距离=翻转坐标系下的欧式距离： 高斯分布证明（极大熵）： [例]拉格朗日乘子法对q求导： 服从指数分布族： 证毕。 二、高斯混合模型GMM（多个单高斯的线性叠加，可逼近任意分布，每个高斯是一个聚类中心） 目标求三个参数： (1)当样本类别已知时（简单问题）：经验公式求... 阅读全文

摘要： 一、结构风险结构风险=经验风险+置信风险经验风险=分类器的训练误差置信风险=分类器的测试误差其中置信风险由样本数量N与分类函数的VC维h决定。样本数量越多模型越接近真实分布，置信风险越小；VC维越大，模型越复杂推广性差，置信风险越大。结构风险公式如下：二、VC维定义：若h个样本能被分类函数按所有可能的2h种形式分开，则称分类函数能把h个样本打散。分类函数的VC为就是它能打散的最大样本数h。若分类边界为线性，则h=D+1，D为特征维数。[例]2维平面内只能找到3个点被直线打散分成两堆。设A、B、C表示三个点，+1，-1表示堆的类别。当h=3时，有8种打散方式：当h=4时，只有14种打散方式（应该 阅读全文

摘要： 阅读全文