游园惊梦(https://github.com/chenghuige)

摘要： 介绍Expression template，本文是一个学习笔记，主要参考 mashadow项目关于表达式模板的教程 https://github.com/dmlc/mshadow/tree/master/guide/exp-template 类似matlab形式的向量操作如 VEC0 = VEC1 + VEC2 + VEC3存在效率问题 class Vec { public: Vec(... 阅读全文

摘要： c++11 中类型初始更加方便 比如 vector vec = {1,2,3}; vector vec{1,2,3}; map m = {{ "help", 3 }, {"good", 4}}; 另外的一些常用示例，包括自己定义的类如何接受list初始化 //struct class 在c++11中都支持更简单的初始化 可以不用手写初始化函数 class Node { public: ... 阅读全文

摘要： 一开始我们设定F(x)也就是每个样本的预测值是0(也可以做一定的随机化) Scores = { 0， 0， 0， 0， 0， 0， 0， 0} 那么我们先计算当前情况下的梯度值 GetGradientInOneQuery = [this](int query, const Fvec& scores) { //和实际代码稍有出入 简化版本 _grad... 阅读全文

摘要： 考虑一个简单的例子来演示GBDT算法原理 下面是一个二分类问题，1表示可以考虑的相亲对象，0表示不考虑的相亲对象 特征维度有3个维度，分别对象 身高，金钱，颜值 cat dating.txt #id,label,hight,money,face _0,1,20,80,100 _1,1,60,90,25 _2,1,3,95,95 _3,1,66,95,60 _4,0,30,95... 阅读全文

摘要： 这里以二元分类为例子，给出最基本原理的解释 GBDT 是多棵树的输出预测值的累加 GBDT的树都是 回归树 而不是分类树 分类树 分裂的时候选取使得误差下降最多的分裂 计算的技巧 最终分裂收益按照下面的方式计算，注意圆圈内的部分是固定值 GBDT 二分类 GBDT在实现中可以完全复用上面的计算... 阅读全文

摘要： NG的课件1也讲到了牛顿法，它对应的update rule是 H对应Hessian矩阵 http://en.wikipedia.org/wiki/Hessian_matrix http://aria42.com/blog/2014/12/understanding-lbfgs/ 给出了关于牛顿法更详细的解释... 阅读全文

摘要： NG的课件1，引出常用的优化方法梯度下降法(gradient descent) 对于 ordinary least squares regression， cost function为 求最小值，意味着求导数为0的位置 考虑只有一个样本 这叫做LMS update rule (Least Mean Squares) 对应所有样本的训练集合 ... 阅读全文

摘要： Bloom filter 思路 用多个不同hash 来记录，比如遇到一个 love 有4个hash function 映射到4个bit位置，如果所有位置都是1 那么认为之前已经遇到love这个词(有一定错误概率)，如果有任何一个位置是0，那么表明love这个词之前没有遇到(100%这样) Count Min Sketch 思路类似。。 考虑一个近似的(允许一定错误）的类似 has... 阅读全文

摘要： 考虑典型的文本分类，一个经典的方法就是 分词，扫描所有特征，建立特征词典 重新扫描所有特征，利用特征词典将特征映射到特征空间编号 得到特征向量 学习参数 w 存储学习参数 w ， 存储特征映射词典 预测截断装载学习参数w，装载特征映射词典 扫描数据，将所有特征利用特征映射词典映射到特征空间编号 得到特征向量 利用用学习参数w 对得到的特征向量 进行 点积 做出预测 Featur... 阅读全文

摘要： http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf Loss Function 损失函数可以看做 误差部分(loss term) + 正则化部分(regularization term)... 阅读全文