摘要：1） 极/最大似然估计 MLE 给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参，即“模型已定，参数未知”。例如，我们知道这个分布是正态分布，但是不知道均值和方差；或者是二项分布，但是不知道均值。 最大似然估计（MLE，Maximum Likelihood
阅读全文
posted @ 2018-11-29 19:39
11 2018 档案
摘要：时间复杂度 时间复杂度并不是表示一个程序解决问题需要花多少时间，而是当问题规模扩大后，程序需要的时间长度增长得有多快。也就是说，对于高速处理数据的计算机来说，处理某一个特定数据的效率不能衡量一个程序的好坏，而应该看当这个数据的规模变大到数百倍后，程序运行时间是否还是一样，或者也跟着慢了数百倍，或者变
阅读全文
posted @ 2018-11-28 14:02
摘要：PCA与Kernel PCA介绍与对比 1. 理论介绍 PCA：是常用的提取数据的手段，其功能为提取主成分（主要信息），摒弃冗余信息（次要信息），从而得到压缩后的数据，实现维度的下降。其设想通过投影矩阵将高维信息转换到另一个坐标系下，并通过平移将数据均值变为零。PCA认为，在变换过后的数据中，在某一
阅读全文
posted @ 2018-11-25 14:28
摘要：基本思想 其基本思想就是设法提取数据的主成分（或者说是主要信息），然后摒弃冗余信息（或次要信息），从而达到压缩的目的。本文将从更深的层次上讨论PCA的原理，以及Kernel化的PCA。 引子 首先我们来考察一下，这里的信息冗余是如何体现的。如下图所示，我们有一组二维数据点，从图上不难发现这组数据的两
阅读全文
posted @ 2018-11-25 13:47
摘要：一.递归与分治 一.递归与分治 （1）递归：直接或间接地调用自身的算法称为递归算法。 递归是算法设计与分析中经常使用的一种技术，描写叙述简单且易于理解。 （2）分治：分治的设计思想是将一个规模为n难以解决的问题分解为k个规模较小的子问题，这些子问题相互独立且与原问题同样。递归地解这些子问题，然后将各
阅读全文
posted @ 2018-11-23 14:05
摘要：
阅读全文
posted @ 2018-11-23 13:48
摘要：一.简介 支持向量机（support vector machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。由简至繁的模型包括： （1）当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机；（2）当训练样
阅读全文
posted @ 2018-11-13 16:07
摘要：
阅读全文
posted @ 2018-11-08 21:46
摘要：结论： 分支限界算法的思想通过本例子加以体现，明显这种方法是可行的，比盲目的查找结点有用，但是其效果（查找结点的个数）没有回溯算法有效，只能说明回溯算法在此问题上比朴素的分支限界算法（基于前面的限界函数）较优，接下来的一些改进或许能进一步提升分支限界算法的效果。
阅读全文
posted @ 2018-11-08 20:51
摘要：（1）判别式模型（Discriminative Model）是直接对条件概率p(y|x;θ)建模。常见的判别式模型有线性回归模型、线性判别分析、支持向量机SVM、神经网络、boosting、条件随机场等。 举例：要确定一个羊是山羊还是绵羊，用判别模型的方法是从历史数据中学习到模型，然后通过提取这只羊
阅读全文
posted @ 2018-11-07 15:02
摘要：虽然叫做“回归”，但是这个算法是用来解决分类问题的。回归与分类的区别在于：回归所预测的目标量的取值是连续的（例如房屋的价格）；而分类所预测的目标变量的取值是离散的（例如判断邮件是否为垃圾邮件）。当然，为了便于理解，我们从二值分类（binary classification）开始，在这类分类问题中，y
阅读全文
posted @ 2018-11-07 14:52
摘要：线性回归 线性回归是很常见的一种回归，线性回归可以用来预测或者分类，主要解决线性问题。 最小二乘法 线性回归过程主要解决的就是如何通过样本来获取最佳的拟合线。最常用的方法便是最小二乘法，它是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。
阅读全文
posted @ 2018-11-07 14:35
摘要：在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。 似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。 概率
阅读全文
posted @ 2018-11-07 10:44
摘要：问题描述： 图着色问题（Graph Coloring Problem, GCP） 又称着色问题，是最著名的NP-完全问题之一。 数学定义：给定一个无向图G=（V, E），其中V为顶点集合，E为边集合，图着色问题即为将V分为K个颜色组，每个组形成一个独立集，即其中没有相邻的顶点。其优化版本是希望获得最
阅读全文
posted @ 2018-11-02 10:14
