摘要： Shooting算法是Wenjiang提出的一种优化Lasso(L1 Regularization)和Bridge Regression的算法, 本文以Lasso为例.对于线性回归问题$\mathbb{y}=X\mathbb{\beta}+\epsilon$, 普通最小二乘法(OLS, ordina... 阅读全文

摘要： Subgradient是一种可以优化不可微的凸函数的方法.首先回顾凸函数的定义:$f(y) \geq f(x) + \nabla f(x)^T(y-x), all \hspace{2 pt} x, y$凸函数的subgradient的定义为满足以下条件的$g\in \mathcal{R}^n$$f(... 阅读全文

摘要： Factorization Machine Model如果仅考虑两个样本间的交互, 则factorization machine的公式为:$\hat{y}(\mathbf{x}):=w_0 + \sum_{i=1}^nw_ix_i + \sum_{i=1}^n\sum_{j=i+1}^nx_ix_j... 阅读全文

摘要： 最大间隔分类器假设我们仍然使用线性模型来建模:$y(\mathbf{x})=\mathbf{w}^T\phi(\mathbf{x})+b$假设数据的标签为$\{-1, +1\}$, 我们根据分类器的输出$y(\mathbf{x})$的符号进行分类. 假设数据是线性可分的, 那么对于标签为1的样本, ... 阅读全文

摘要： 本博客已经迁往http://www.kemaswill.com/, 博客园这边也会继续更新, 欢迎关注~在机器学习领域, kernel trick是一种非常有效的比较两个样本(对象)的方法. 给定两个对象$x_i, x_j \in \mathcal{X}$, 用$k(x_i, x_j) :=\lef... 阅读全文

摘要： 本博客已经迁往http://www.kemaswill.com/, 博客园这边也会继续更新, 欢迎关注~作者(Alex Rodriguez, Alessandro Laio)提出了一种很简洁优美的聚类算法, 可以识别各种形状的类簇, 并且其超参数很容易确定.算法思想该算法的假设是, 类簇的中心由一些... 阅读全文

摘要： 本博客已经迁往http://www.kemaswill.com/, 博客园这边也会继续更新, 欢迎关注~Contractive Autoencoder(CAE)是Bengio等人在2011年提出的一种新的Autoencoder, 在传统的Autoencoder的重构误差上加上了新的惩罚项, 亦即编码... 阅读全文

摘要： 本博客已经迁往http://www.kemaswill.com/, 博客园这边也会继续更新, 欢迎关注~数学计算是Shell中比较常用的一种操作, 但是因为shell中所有的变量都默认为字符串, 这就使得在shell中进行数学计算比较复杂, 以下直觉上貌似正确的方法是不对的：#第一种错误方法$ var=1+1#第二种错误方法$ var=1$ var=$var+1以上两种方法的输出结果都是1+1, 而不是我们期望的2.在shell中进行数学计算可以通过以下方法来进行:1. declare我们可以声明一个变量的类型, 比如声明变量n为整数declare -i n$ n=6/3$ echo $n6/ 阅读全文

摘要： 本博客已经迁往http://www.kemaswill.com/, 博客园这边也会继续更新, 欢迎关注~牛顿方法是一种求解等式的非常有效的数值分析方法.1. 牛顿方法假设\(x_0\)是等式的根\(r\)的一个比较好的近似, 且\(r=x_0+h\), 所以\(h\)衡量了近似值\(x_0\)和真实... 阅读全文

摘要： 本博客已经迁往http://www.kemaswill.com/, 博客园这边也会继续更新, 欢迎关注~Linear Regression预测的目标\(Y\)是连续值, Logistic Regression预测的目标是二元变量, 泊松回归预测的是一个整数, 亦即一个计数(Count).1. 泊松分布如果一个离散随机变量\(Y\)的概率分布函数(probability mass function)为$$Pr(Y=k)=\frac{\lambda^ke^{-\lambda}}{k!}$$其中\(\lambda>0, k=0,1,2,...\), 则称\(Y\)服从泊松分布, 示意图如下图所 阅读全文