摘要：RankNet 论文的笔记： "Learning to rank using gradient descent" . 模型 特征 $\mathbf x_i \in \mathbb R^d$ 模型函数：$f: \mathbb R^d \to \mathbb R$若 $f(\mathbf x_i) f(... 阅读全文

摘要：这篇笔记主要参考冯杨的五篇博客： "在线最优化求解(Online Optimization)" 。因为对于在线学习方法，稀疏性问题需要特别关注：每次在线学习一个新 instance 的时候，优化方向并不一定是全局最优，不容易产生稀疏解，而简单截断又可能将从全局看不该稀疏掉的特征变为零。所以这里以 ... 阅读全文

摘要：1. 玻尔兹曼分布：$$p(E) \thicksim e^{-E/kT} $$2. RBM两层：隐层和可视层， $\mathbf v$, $\mathbf h$$$v_i \in \{0, 1\}, \ \ \ h_j \in \{0, 1\}$$ - 能量假设： $$ E (\mathbf v, ... 阅读全文

摘要：一、说明 一个最常见的分类算法.训练集：$\{(\mathbf x^{(1)}, y^{(1)}),..., (\mathbf x^{(i)}, y^{(i)}), ..., (\mathbf x^{(m)}, y^{(m)})\}$.训练参数：$ \theta = (\theta_0, \the... 阅读全文

摘要：本文从理论基础的角度梳理对SVD的理解，不涉及SVD的实现算法。若有不准确的地方，请指正。转载请注明出处。 下面是两篇介绍SVD基础的非常不错的文章，本文的一些思路参考了它们：http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-a... 阅读全文

摘要：1、PageRank算法 Google 著名的 PageRank 算法根据网页间的链接情况计算网页的重要程度。每个页面（Document）的 PageRank 值用向量 $\mathbf{p}$ 表示。页面间的链接关系用矩阵 $\mathbf{H}$ 表示，其中 $H_{ij}$ 表示页面 $i$ 跳转到 $j$ 的概率，满足\begin{equation} H_{ij} = \left\{ \begin{array} {ll} 0 & \textrm{(if i have no link to j)} \\ \frac{1}{k_i} & (\textrm{if i have 阅读全文