摘要：
https://zhuanlan.zhihu.com/p/28871960 深度学习模型中的卷积神经网络(Convolution Neural Network, CNN)近年来在图像领域取得了惊人的成绩，CNN直接利用图像像素信息作为输入，最大程度上保留了输入图像的所有信息，通过卷积操作进行特征的提 阅读全文
摘要：
100G的数组排序，只有2G内存，怎么排序？ http://www.oschina.net/question/165717_25135?sort=time&p=1 先哈希，后取余分成小文件，然后每次读取两个小文件，比较队首元素，然后就排序了 不创建临时变量交换两个数的值： http://blog.c 阅读全文
摘要：
进程与线程的区别 读写锁 同步异步 memcpy存在的问题（如果复制的地址有重叠，可能出现问题）？用memmove为什么不会有这种问题？请实现？（memmove开辟了一块临时空间） linux文件词频统计：http://blog.csdn.net/dlutbrucezhang/article/det 阅读全文
摘要：
1、什么是boosting tree 2、GBDT 3、L1和L2正则为何可以减弱over-fitting，L1和L2正则有什么区别？ 从贝叶斯的角度来看, 正则化等价于对模型参数引入先验分布 http://www.cnblogs.com/ljygoodgoodstudydaydayup/p/648 阅读全文
摘要：
Softmax回归(Softmax Regression) 最简单的Softmax回归模型是先将输入层经过一个全连接层得到的特征，然后直接通过softmax 函数进行多分类 输入层的数据$X$传到输出层，在激活操作之前，会乘以相应的权重$W$,并加上偏置变量 $b$，具体如下： $ y_i = {s 阅读全文
摘要：
模型的优化目标如下： 其中，$<x_n,y_n>$是一条训练样本，$y_n$是训练目标，$x_n$是normalized bag of features。矩阵参数A是基于word的look-up table，也就是A是词的embedding向量。$Ax_n$矩阵运算的数学意义是将word的embed 阅读全文
摘要：
词向量： 用一个向量的形式表示一个词 词向量的一种表示方式是one-hot的表示形式：首先，统计出语料中的所有词汇，然后对每个词汇编号，针对每个词建立V维的向量，向量的每个维度表示一个词，所以，对应编号位置上的维度数值为1，其他维度全为0。这种方式存在问题并且引发新的质疑：1）无法衡量相关词之间的距 阅读全文
摘要：
KNN适用情景： 需要一个特别容易解释的模型的时候。 比如需要向用户解释原因的推荐算法。 贝叶斯适用情景： 需要一个比较容易解释，而且不同维度之间相关性较小的模型的时候。 可以高效处理高维数据，虽然结果可能不尽如人意。 决策树适用情景： 因为它能够生成清晰的基于特征(feature)选择不同预测结果 阅读全文
摘要：
Optimization in speed and memory usage Many boosting tools use pre-sorted based algorithms[1][2](e.g. default algorithm in xgboost) for decision tree 阅读全文
摘要：
集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能，对“弱学习器” 尤为明显。弱学习器常指泛化性能略优于随机猜测的学习器。集成学习的结果通过投票法产生，即“少数服从多数”。个体学习不能太坏，并且要有“多样性”，即学习器间具有差异。即集成个体应“好而不同”。 假设基分类器的错误率 阅读全文