摘要：
今年 6 月份，Alex Rodriguez 和 Alessandro Laio 在 Science 上发表了一篇名为《Clustering by fast search and find of density peaks》的文章，为聚类算法的设计提供了一种新的思路。虽然文章出来后遭到了众多... 阅读全文
摘要：
word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没有谈及太多算法细节，因而在一定程度上增加了这个工具包... 阅读全文
摘要：
Martin A. Zinkevich 等人（Yahoo！Lab）合作的论文 Parallelized Stochastic Gradient Descent 中给出了一种适合于 MapReduce 的并行随机梯度下降法，并给出了相应的收敛性分析。这里忽略理论部分，根据自己的理解给出文中所提并行随机梯度下降法的描述。 阅读全文
摘要：
Log-Linear 模型（也叫做最大熵模型）是 NLP 领域中使用最为广泛的模型之一，其训练常采用最大似然准则，且为防止过拟合，往往在目标函数中加入（可以产生稀疏性的） L1 正则。但对于这种带 L1 正则的最大熵模型，直接采用标准的随机梯度下降法（SGD）会出现效率不高和难以真正产生稀疏性... 阅读全文
摘要：
生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”，这样可以降低风险。深究一下，这是为什么呢？其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出其中所涉及数... 阅读全文
摘要：
生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”，这样可以降低风险。深究一下，这是为什么呢？其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出其中所涉及数... 阅读全文
摘要：
生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”，这样可以降低风险。深究一下，这是为什么呢？其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出其中所涉及数... 阅读全文
摘要：
生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”，这样可以降低风险。深究一下，这是为什么呢？其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出其中所涉及数... 阅读全文
摘要：
生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”，这样可以降低风险。深究一下，这是为什么呢？其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出其中所涉及数... 阅读全文
摘要：
生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”，这样可以降低风险。深究一下，这是为什么呢？其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出其中所涉及数... 阅读全文
摘要：
生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”，这样可以降低风险。深究一下，这是为什么呢？其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出其中所涉及数... 阅读全文
摘要：
朋友@耗子突然问起我一个 Lagrange 插值公式的问题，发现几年没碰差不多要忘干净了，于是找了本教科书来翻了翻，顺便把几个要点整理成文，以备日后查阅。作者: peghoty出处:http://blog.csdn.net/itplus/article/details/22827961... 阅读全文
摘要：
本文对自编码器（Auto-Encoder）算法及其相关变种算法进行简要介绍，其中包括 Regularized Auto-Encoder、Sparse Auto-Encoder、Denoising Auto-Encoder 和 Contractive Auto-Encoder... 阅读全文
摘要：
Sparse Filtering 是一个用于提取特征的无监督学习算法，与通常特征学习算法试图建模训练数据的分布的做法不同，Sparse Filtering 直接对训练数据的特征分布进行分析，在所谓“好特征”的指导下构建目标函数来进行优化，其中只涉及一个可调参数。本文将... 阅读全文
摘要：
Sparse Filtering 是一个用于提取特征的无监督学习算法，与通常特征学习算法试图建模训练数据的分布的做法不同，Sparse Filtering 直接对训练数据的特征分布进行分析，在所谓“好特征”的指导下构建目标函数来进行优化，其中只涉及一个可调参数。本文将... 阅读全文
摘要：
Sparse Filtering 是一个用于提取特征的无监督学习算法，与通常特征学习算法试图建模训练数据的分布的做法不同，Sparse Filtering 直接对训练数据的特征分布进行分析，在所谓“好特征”的指导下构建目标函数来进行优化，其中只涉及一个可调参数。本文将... 阅读全文
摘要：
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出... 阅读全文
摘要：
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出... 阅读全文
摘要：
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出... 阅读全文
摘要：
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出... 阅读全文