摘要：
PCA与Kernel PCA介绍与对比 1. 理论介绍 PCA：是常用的提取数据的手段，其功能为提取主成分（主要信息），摒弃冗余信息（次要信息），从而得到压缩后的数据，实现维度的下降。其设想通过投影矩阵将高维信息转换到另一个坐标系下，并通过平移将数据均值变为零。PCA认为，在变换过后的数据中，在某一 阅读全文
posted @ 2018-11-25 14:28 Charlie_ODD 阅读(922) 评论(0) 推荐(0) 编辑
摘要：
基本思想 其基本思想就是设法提取数据的主成分（或者说是主要信息），然后摒弃冗余信息（或次要信息），从而达到压缩的目的。本文将从更深的层次上讨论PCA的原理，以及Kernel化的PCA。 引子 首先我们来考察一下，这里的信息冗余是如何体现的。如下图所示，我们有一组二维数据点，从图上不难发现这组数据的两 阅读全文
posted @ 2018-11-25 13:47 Charlie_ODD 阅读(1623) 评论(0) 推荐(0) 编辑
摘要：
一.递归与分治 一.递归与分治 （1）递归：直接或间接地调用自身的算法称为递归算法。 递归是算法设计与分析中经常使用的一种技术，描写叙述简单且易于理解。 （2）分治：分治的设计思想是将一个规模为n难以解决的问题分解为k个规模较小的子问题，这些子问题相互独立且与原问题同样。递归地解这些子问题，然后将各 阅读全文
posted @ 2018-11-23 14:05 Charlie_ODD 阅读(842) 评论(0) 推荐(0) 编辑
摘要：
一.简介 支持向量机（support vector machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。由简至繁的模型包括： （1）当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机；（2）当训练样 阅读全文
posted @ 2018-11-13 16:07 Charlie_ODD 阅读(872) 评论(0) 推荐(0) 编辑
摘要：
结论： 分支限界算法的思想通过本例子加以体现，明显这种方法是可行的，比盲目的查找结点有用，但是其效果（查找结点的个数）没有回溯算法有效，只能说明回溯算法在此问题上比朴素的分支限界算法（基于前面的限界函数）较优，接下来的一些改进或许能进一步提升分支限界算法的效果。 阅读全文
posted @ 2018-11-08 20:51 Charlie_ODD 阅读(281) 评论(0) 推荐(0) 编辑
摘要：
（1）判别式模型（Discriminative Model）是直接对条件概率p(y|x;θ)建模。常见的判别式模型有线性回归模型、线性判别分析、支持向量机SVM、神经网络、boosting、条件随机场等。 举例：要确定一个羊是山羊还是绵羊，用判别模型的方法是从历史数据中学习到模型，然后通过提取这只羊 阅读全文
posted @ 2018-11-07 15:02 Charlie_ODD 阅读(668) 评论(0) 推荐(0) 编辑
摘要：
虽然叫做“回归”，但是这个算法是用来解决分类问题的。回归与分类的区别在于：回归所预测的目标量的取值是连续的（例如房屋的价格）；而分类所预测的目标变量的取值是离散的（例如判断邮件是否为垃圾邮件）。当然，为了便于理解，我们从二值分类（binary classification）开始，在这类分类问题中，y 阅读全文
posted @ 2018-11-07 14:52 Charlie_ODD 阅读(450) 评论(0) 推荐(0) 编辑