合唱团abc

2017年8月23日

摘要：优点： 1）能够处理很高维度（feature很多）的数据，并且不用做特征选择（特征列采样） 2）训练完后，能够返回特征的重要性 3 ) 训练时树与树之间是相互独立的,易于并行化 4）可以处理缺失特征（决策树的优点）缺点: 分裂的时候，偏向于选择取值较多的特征 http://blog.csdn.ne 阅读全文

posted @ 2017-08-23 16:39 合唱团abc 阅读(2867) 评论(1) 推荐(0) 编辑

决策树处理缺失值

摘要：缺失值问题可以从三个方面来考虑 1. 在选择分裂属性的时候，训练样本存在缺失值，如何处理？（计算分裂损失减少值时，忽略特征缺失的样本，最终计算的值乘以比例（实际参与计算的样本数除以总的样本数））假如你使用ID3算法，那么选择分类属性时，就要计算所有属性的熵增(信息增益，Gain)。假设10个样本，阅读全文

posted @ 2017-08-23 16:31 合唱团abc 阅读(6806) 评论(0) 推荐(0) 编辑

2017年8月22日

海量数据处理面试题

摘要： http://blog.csdn.net/u013719780/article/details/48912679 阅读全文

posted @ 2017-08-22 19:21 合唱团abc 阅读(192) 评论(0) 推荐(0) 编辑

异常点检测算法

摘要：基于统计学的方法一、基于正态分布的一元离群点检测方法假设有 n 个点$(x_1, ...,x_n)$, 那么可以计算出这n个点的均值$\mu$和方差$\sigma$.均值和方差分别被定义为：在正态分布的假设下，区域$\mu +- 3 \sigma$包含了99.7% 的数据，如果某个值距离分布的阅读全文

posted @ 2017-08-22 19:01 合唱团abc 阅读(1126) 评论(0) 推荐(0) 编辑

2017年8月15日

Deep learning网络调参技巧

摘要：参数初始化下面几种方式,随便选一个,结果基本都差不多。但是一定要做。否则可能会减慢收敛速度，影响收敛结果，甚至造成Nan等一系列问题。n_in为网络的输入大小，n_out为网络的输出大小，n为n_in或(n_in+n_out)*0.5Xavier初始法论文：http://jmlr.org/proc 阅读全文

posted @ 2017-08-15 19:11 合唱团abc 阅读(1239) 评论(0) 推荐(0) 编辑

2017年8月14日

拉格朗日对偶性

摘要：首先，考虑标准形式的凸最优化问题：则其拉格朗日函数为：其中$\lambda_i$被称为与$f_i(x) <= 0$相关的拉格朗日乘子,$\lambda_i >= 0$，$v_i$被称为与$h_i(x) = 0$相关的拉格朗日乘子。拉格朗日对偶函数：下面介绍拉格朗日对偶函数的一个重要性质：拉阅读全文

posted @ 2017-08-14 18:52 合唱团abc 阅读(479) 评论(0) 推荐(0) 编辑

2017年8月13日

神经网络中各种激活函数比较

摘要： ReLU 激活函数： ReLu使得网络可以自行引入稀疏性，在没做预训练情况下，以ReLu为激活的网络性能优于其它激活函数。数学表达式： $y = max(0,x)$ 第一，sigmoid的导数只有在0附近的时候有比较好的激活性，在正负饱和区的梯度都接近于0，所以这会造成梯度消失，而relu函数在大阅读全文

posted @ 2017-08-13 14:05 合唱团abc 阅读(3233) 评论(0) 推荐(0) 编辑

关于凸优化的一些简单概念

摘要：凸集的定义为：其几何意义表示为：如果集合C中任意2个元素连线上的点也在集合C中，则C为凸集。其示意图如下所示：常见的凸集有： n维实数空间；一些范数约束形式的集合；仿射子空间；凸集的交集；n维半正定矩阵集；这些都可以通过凸集的定义去证明。凸函数的定义为：其几何意义表示为函数任意两点连线上的值阅读全文

posted @ 2017-08-13 11:13 合唱团abc 阅读(678) 评论(0) 推荐(0) 编辑

C/C++中static关键字作用总结 && 指针与引用的比较

摘要： static作用：常规答案： 1. 全局变量的隐藏；2. 函数体内记忆功能；3.类所有实例共享，static函数不接受this指针，只能访问static成员变量。拓展：1.全局变量的隐藏，因为在其他文件不可见。编译的时候解决符号表中不会导出这个变量，这样这个变量只能是内部链接，这样可以避免重复定阅读全文

posted @ 2017-08-13 09:23 合唱团abc 阅读(365) 评论(0) 推荐(0) 编辑

2017年8月10日

DeepFM

摘要： DeepFM integrates the architectures of FM and deep neural networks (DNN). It models low-order feature interactions like FM(二阶组合特征) and models high-ord 阅读全文

posted @ 2017-08-10 17:28 合唱团abc 阅读(783) 评论(0) 推荐(0) 编辑

公告