上一页 1 2 3 4 5 6 7 ··· 11 下一页
摘要: 1. 工厂模式 工厂模式又细分为三种,分为简单工厂、工厂方法、抽象工厂这三种,分别介绍: 1)简单工厂模式:当需要产品类时,只需要传入一个对应该产品类的参数,就可以获取所需要的对象,无须知道其创建细节。 2) 工厂方法模式:一个抽象产品类,可以派生出多个具体产品类。一个抽象工厂类,可以派生出多个具体 阅读全文
posted @ 2016-08-06 11:10 ooon 阅读(768) 评论(0) 推荐(0) 编辑
摘要: 本文讲解的是无约束优化中几个常见的基于梯度的方法,主要有梯度下降与牛顿方法、BFGS 与 L-BFGS 算法。 梯度下降法是基于目标函数梯度的,算法的收敛速度是线性的,并且当问题是病态时或者问题规模较大时,收敛速度尤其慢(几乎不适用); 牛顿法是基于目标函数的二阶导数(Hesse 矩阵)的,其收敛速 阅读全文
posted @ 2016-08-02 17:04 ooon 阅读(14784) 评论(1) 推荐(0) 编辑
摘要: 本文总结了一些二分查找的变形,其中大部分来自 leetcode 1. (leetcode 33) Search in Rotated Sorted Array (i.e., 0 1 2 4 5 6 7 might become 4 5 6 7 0 1 2). public int search(in 阅读全文
posted @ 2016-08-02 10:15 ooon 阅读(565) 评论(0) 推荐(0) 编辑
摘要: 最近的看的一些内容好多涉及到凸优化,没时间系统看了,简单的了解一下,凸优化的两个基本元素分别是凸函数与凸包 凸集 凸集定义如下: 也就是说在凸集内任取两点,其连线上的所有点仍在凸集之内。 凸函数 凸函数的定义如下: $\theta x+(1-\theta)y$的意思就是说在区间 $(x,y)$ 之间 阅读全文
posted @ 2016-08-01 16:14 ooon 阅读(6894) 评论(1) 推荐(1) 编辑
摘要: 本文承接上一篇 约束优化方法之拉格朗日乘子法与KKT条件,将详解一些拉格朗日对偶的内容。都是一些在优化理论中比较简单的问题或者一些特例,复杂的没见过,但是简单的刚接触都感觉如洪水猛兽一般,所以当真是学海无涯。 在优化理论中,目标函数 $f(x)$ 会有多种形式:如果目标函数和约束条件都为变量 $x$ 的线性函数, 称该问题为线性规划; 如果目标函数为二次函数, 约束条件为线性函数, 称该最优化问题... 阅读全文
posted @ 2016-07-31 19:35 ooon 阅读(30434) 评论(7) 推荐(12) 编辑
摘要: 引言 本篇文章将详解带有约束条件的最优化问题,约束条件分为等式约束与不等式约束,对于等式约束的优化问题,可以直接应用拉格朗日乘子法去求取最优值;对于含有不等式约束的优化问题,可以转化为在满足 KKT 约束条件下应用拉格朗日乘子法求解。拉格朗日求得的并不一定是最优解,只有在凸优化的情况下,才能保证得到的是最优解,所以本文称拉格朗日乘子法得到的为可行解,其实就是局部极小值,接下来从无约束优化开始一一讲... 阅读全文
posted @ 2016-07-30 15:59 ooon 阅读(90777) 评论(12) 推荐(43) 编辑
摘要: 机器学习中一个重要的话题便是模型的泛化能力,泛化能力强的模型才是好模型,对于训练好的模型,若在训练集表现差,不必说在测试集表现同样会很差,这可能是欠拟合导致;若模型在训练集表现非常好,却在测试集上差强人意,则这便是过拟合导致的,过拟合与欠拟合也可以用 Bias 与 Variance 的角度来解释,欠拟合会导致高 Bias ,过拟合会导致高 Variance ,所以模型需要在 Bias 与 Vari... 阅读全文
posted @ 2016-07-28 18:55 ooon 阅读(9135) 评论(0) 推荐(0) 编辑
摘要: 有监督学习中,预测误差的来源主要有两部分,分别为 bias 与 variance,模型的性能取决于 bias 与 variance 的 tradeoff ,理解 bias 与 variance 有助于我们诊断模型的错误,避免 over-fitting 或者 under-fitting. 在统计与机器学习领域权衡 Bias 与 Variance 是一项重要的任务,因为他可以使得用有限训练数据训... 阅读全文
posted @ 2016-07-27 16:02 ooon 阅读(18681) 评论(1) 推荐(2) 编辑
摘要: 信息论(Information Theory)是概率论与数理统计的一个分枝。用于信息处理、信息熵、通信系统、数据传输、率失真理论、密码学、信噪比、数据压缩和相关课题。本文主要罗列一些基于熵的概念及其意义,注意本文罗列的所有 $\log$ 都是以 2 为底的。 信息熵 在物理界中熵是描述事物无序性的参 阅读全文
posted @ 2016-07-26 16:15 ooon 阅读(9711) 评论(0) 推荐(0) 编辑
摘要: 之前写的一篇感觉太 Naive ,这里重新写一篇作为总结。Logistic 与 Softmax 都是一种概率判别模型(PRML p203),Softmax 通常用在 Neural Network 里最后全连接层 ,Logistic 在业界更是普及,因为简单有效、便于并行、计算量小快,适合大规模数据等优点,而且采用 SGD 的 Logistic 相当于直接 Online Learning ,非常方便... 阅读全文
posted @ 2016-07-21 10:35 ooon 阅读(2070) 评论(0) 推荐(1) 编辑
上一页 1 2 3 4 5 6 7 ··· 11 下一页