03 2014 档案

自编码器及相关变种算法简介
摘要：本文对自编码器（Auto-Encoder）算法及其相关变种算法进行简要介绍，其中包括 Regularized Auto-Encoder、Sparse Auto-Encoder、Denoising Auto-Encoder 和 Contractive Auto-Encoder... 阅读全文
posted @ 2014-03-31 22:48 peghoty 阅读(392) 评论(0) 推荐(0) 编辑
Sparse Filtering 学习笔记（三）目标函数的建立和求解
摘要：Sparse Filtering 是一个用于提取特征的无监督学习算法，与通常特征学习算法试图建模训练数据的分布的做法不同，Sparse Filtering 直接对训练数据的特征分布进行分析，在所谓“好特征”的指导下构建目标函数来进行优化，其中只涉及一个可调参数。本文将... 阅读全文
posted @ 2014-03-25 17:19 peghoty 阅读(361) 评论(0) 推荐(0) 编辑
Sparse Filtering 学习笔记（二）好特征的刻画
摘要：Sparse Filtering 是一个用于提取特征的无监督学习算法，与通常特征学习算法试图建模训练数据的分布的做法不同，Sparse Filtering 直接对训练数据的特征分布进行分析，在所谓“好特征”的指导下构建目标函数来进行优化，其中只涉及一个可调参数。本文将... 阅读全文
posted @ 2014-03-25 17:19 peghoty 阅读(305) 评论(0) 推荐(0) 编辑
Sparse Filtering 学习笔记（一）网络结构与特征矩阵
摘要：Sparse Filtering 是一个用于提取特征的无监督学习算法，与通常特征学习算法试图建模训练数据的分布的做法不同，Sparse Filtering 直接对训练数据的特征分布进行分析，在所谓“好特征”的指导下构建目标函数来进行优化，其中只涉及一个可调参数。本文将... 阅读全文
posted @ 2014-03-25 17:18 peghoty 阅读(254) 评论(0) 推荐(0) 编辑
牛顿法与拟牛顿法学习笔记（五）L-BFGS 算法
摘要：机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出... 阅读全文
posted @ 2014-03-24 00:53 peghoty 阅读(567) 评论(0) 推荐(0) 编辑
牛顿法与拟牛顿法学习笔记（四）BFGS 算法
摘要：机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出... 阅读全文
posted @ 2014-03-24 00:53 peghoty 阅读(367) 评论(0) 推荐(0) 编辑
牛顿法与拟牛顿法学习笔记（三）DFP 算法
摘要：机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出... 阅读全文
posted @ 2014-03-24 00:52 peghoty 阅读(502) 评论(0) 推荐(0) 编辑
牛顿法与拟牛顿法学习笔记（二）拟牛顿条件
摘要：机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出... 阅读全文
posted @ 2014-03-24 00:51 peghoty 阅读(338) 评论(0) 推荐(0) 编辑
牛顿法与拟牛顿法学习笔记（一）牛顿法
摘要：机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出... 阅读全文
posted @ 2014-03-24 00:51 peghoty 阅读(418) 评论(0) 推荐(0) 编辑
TF-IDF 简介
摘要：假设我们手头有大量的文档（或网页）, 通常我们会比较关心以下几个问题：1. 每一个文档的关键词（或主题词）包括哪些？2. 给定一个（或一组）关键词，与这个（或组）词最相关的文档是哪一个？3. 给定一个文档，哪个（或哪些）文档与它具有最大的相似度呢？ 回答上述三... 阅读全文
posted @ 2014-03-10 22:58 peghoty 阅读(215) 评论(0) 推荐(0) 编辑