君子博学而日参省乎己 则知明而行无过矣

博客园 首页 新随笔 联系 订阅 管理
  1057 随笔 :: 381 文章 :: 141 评论 :: 169万 阅读

12 2015 档案

最优化局部极小点的条件（二）
摘要：回忆一下关于元实值函数的的求导问题，函数的一阶导数为 函数的梯度正好是导数的转置，即；函数的二阶导数，也称为hessian矩阵，可表示为： 对于向量,和约束集中的某个点，如果存在一个实数使得对于所有，仍然在约束集内... 阅读全文
posted @ 2015-12-28 04:57 刺猬的温驯 阅读(4763) 评论(0) 推荐(1) 编辑

最优化方法及其数学模型（一）
摘要：最优化方法广泛的体现于自然界及人类社会中，它“先天地生，独立而不改，周行而不殆“，正如神正论者说，当前世界是上帝所创造的可能世界中最好的世界；生物的生存及进化都遵循着最优化的原则，从而形成当今我们世界的众生万物；——于人类社会中，这种原则有过之而无不及，它源于人类的一种贪婪的想法，它企图在一定... 阅读全文
posted @ 2015-12-18 22:42 刺猬的温驯 阅读(2915) 评论(0) 推荐(1) 编辑

Latent semantic analysis note(LSA)
摘要：1 LSA IntroductionLSA(latent semantic analysis)潜在语义分析，也被称为LSI(latent semantic index)，是Scott Deerwester, Susan T. Dumais等人在1990年提出来的一种新的索引和检索方法。该方法和传统向... 阅读全文
posted @ 2015-12-11 23:47 刺猬的温驯 阅读(577) 评论(0) 推荐(0) 编辑

线性回归
摘要：本文主要从一个例子开始说说线性回归模型以及线性回归模型的损失函数，求解方法和概率解释。不涉及统计学里的回归分析等诸多细节。例子假设我们中介手上有一些房屋销售的数据（北京的房价太高了）：面积(平方米)价格（万）8032090365100380120400150500有个人有个130平方米的房子要卖，中... 阅读全文
posted @ 2015-12-08 01:09 刺猬的温驯 阅读(334) 评论(0) 推荐(0) 编辑

数学基础之概率
摘要：本文主要介绍概率与数理统计中的一些常见的基本概念。样本空间对于随机试验，尽管在每次试验之前不能预知试验的结果，但是试验的所有可能结果集合是已知的，我们将随机试验E的所有可能的结果组成的集合称为E的样本空间，记为S。样本空间的的元素，即E的每个可能结果，称为样本点。比如事件E：抛一枚硬币，观察正面H，... 阅读全文
posted @ 2015-12-08 01:02 刺猬的温驯 阅读(1110) 评论(0) 推荐(0) 编辑

数学基础之微积分
摘要：本文主要介绍学习机器学习过程中涉及到的一些微积分的基本概念，也包括部分数值分析，优化求解的概念。极限（limit）直观定义当函数 y=f(x) 在 x0 的某个去心邻域内有定义，若当 x “无限趋近于” x0 时，其对应的函数值 f(x) “无限趋于” 一个确定的常数... 阅读全文
posted @ 2015-12-08 00:56 刺猬的温驯 阅读(1171) 评论(0) 推荐(0) 编辑

神经网络那些事儿（二）
摘要：在上一篇中，我们看到了神经网络是怎样使用梯度下降算法来学习它们的权值和偏置。然而，我们还有一些没有解释：我们没有讨论怎样计算损失函数的梯度。本篇中将解释著名的BP算法，它是一个快速计算梯度的算法。反向传播算法（Backpropagation algorithm,BP）是在1970s提出的，但是它的重... 阅读全文
posted @ 2015-12-06 16:32 刺猬的温驯 阅读(2216) 评论(0) 推荐(0) 编辑

神经网络那些事儿（一）
摘要：这次主要说说神经网络的一些主要思想，包括介绍两种人工神经元（perceptron neuron和sigmoid neuron）以及神经网络的标准学习算法，随机梯度下降法。神经网络可以认为是一种不同于使用普通计算机语言编程的那种基于规则的编程范型，它从生物中受到启发（人脑），让计算机可以从大量的数据中... 阅读全文
posted @ 2015-12-06 16:26 刺猬的温驯 阅读(6026) 评论(0) 推荐(0) 编辑

人脸识别经典算法三：Fisherface（LDA）
摘要：Fisherface是由Ronald Fisher发明的，想必这就是Fisherface名字由来。Fisherface所基于的LDA（Linear Discriminant Analysis，线性判别分析）理论和特征脸里用到的PCA有相似之处，都是对原有数据进行整体降维映射到低维空间的方法，LDA和... 阅读全文
posted @ 2015-12-06 12:58 刺猬的温驯 阅读(2827) 评论(0) 推荐(0) 编辑

人脸识别经典算法二：LBP方法
摘要：与第一篇博文特征脸方法不同，LBP（Local Binary Patterns，局部二值模式）是提取局部特征作为判别依据的。LBP方法显著的优点是对光照不敏感，但是依然没有解决姿态和表情的问题。不过相比于特征脸方法，LBP的识别率已经有了很大的提升。在[1]的文章里，有些人脸库的识别率已经达到了98... 阅读全文
posted @ 2015-12-06 12:57 刺猬的温驯 阅读(2133) 评论(0) 推荐(0) 编辑

特征脸(Eigenface)理论基础-PCA(主成分分析法)
摘要：在之前的博客 人脸识别经典算法一：特征脸方法（Eigenface）里面介绍了特征脸方法的原理，但是并没有对它用到的理论基础PCA做介绍，现在做补充。请将这两篇博文结合起来阅读。以下内容大部分参考自斯坦福机器学习课程：http://cs229.stanford.edu/materials.html假设... 阅读全文
posted @ 2015-12-06 12:55 刺猬的温驯 阅读(1182) 评论(0) 推荐(0) 编辑

人脸识别经典算法一：特征脸方法（Eigenface）
摘要：这篇文章是撸主要介绍人脸识别经典方法的第一篇，后续会有其他方法更新。特征脸方法基本是将人脸识别推向真正可用的第一种方法，了解一下还是很有必要的。特征脸用到的理论基础PCA在另一篇博客里：特征脸(Eigenface)理论基础-PCA(主成分分析法)。本文的参考资料附在最后了^_^步骤一：获取包含M张人... 阅读全文
posted @ 2015-12-06 12:54 刺猬的温驯 阅读(3031) 评论(0) 推荐(0) 编辑

文本特征词提取算法
摘要：在文本分类中，需要先对文本分词，原始的文本中可能由几十万个中文词条组成，维度非常高。另外，为了提高文本分类的准确性和效率，一般先剔除决策意义不大的词语，这就是特征词提取的目的。本文将简单介绍几种文本特征词提取算法。信息增益（IG）对于一个系统，其信息熵为\(H(S)=-\sum_{i}^{C}P_i... 阅读全文
posted @ 2015-12-04 02:02 刺猬的温驯 阅读(8317) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示