随笔分类 - machine learning
摘要：矩阵中每一行是一个样本，计算两个矩阵中样本之间的距离，即成对距离（pair-wise distances），可以采用 scipy 中的函数 scipy.spatial.distance.cdist，方便计算。
阅读全文
摘要：之所以会有这个问题，是因为在学习 logistic regression 时，《统计机器学习》一书说它的负对数似然函数是凸函数，而 logistic regression 的负对数似然函数（negative log likelihood）和 交叉熵函数（cross entropy）具有一样的形式。
阅读全文
摘要：验证集效果比测试集好怎么办？
阅读全文
摘要：梯度下降法、最速下降法、牛顿法等迭代求解方法，都是在无约束的条件下使用的，而在有约束的问题中，直接使用这些梯度方法会有问题，如更新后的值不满足约束条件。如何处理有约束的优化问题？大致可以分为以下两种方式：
1. 将有约束的问题转化为无约束的问题，如拉格朗日乘子法和KKT条件；
2. 对无约束问题下的求解算法进行修改，使其能够运用在有约束的问题中，如对梯度下降法进行投影，使得更新后的值都满足约束条件。
阅读全文
摘要：本文简单介绍了线性回归、lasso回归和岭回归，主要解释为什么 lasso 更容易使部分权重变为 0 而 ridge 不行，或者说为什么 lasso 可以进行 feature selection，而 ridge 不行。
阅读全文
摘要：通过矩阵分解补全矩阵用处很广，如推荐系统、缺失值预处理等。本文先简单介绍补全缺失值的一般方法，然后介绍如何用矩阵分解补全缺失值，最后给出含缺失值矩阵分解的python代码。
阅读全文
摘要：softmax 和 cross entropy 是机器学习中很常用的函数，softmax 常用来作为 DNN 分类网络最后一层的激活函数，而 cross entropy 也是一种常用的 loss function。熟悉两者的求导有助于理解为什么 tensorflow 会把这两个函数封装成一个 function 中。本文主要介绍 softmax 和 cross entropy 的求导过程。
阅读全文
摘要：本文简单介绍什么是主动学习，为什么需要主动学习，主动学习和监督学习、弱监督学习、半监督学习、无监督学习之间是什么关系，主动学习又有哪些种类。
阅读全文
摘要：介绍 active learning 的 query criteria 的种类，以及如何结合这些不同的 criteria。Active learning 是弱监督学习的一个子领域。
阅读全文
摘要：决策树怎么处理回归问题，在 xgboost、lightGBM 大行其道的时候，了解什么是回归树是很有必要的。
阅读全文
摘要：延续上一篇博客的内容，本文简单介绍了梯度下降法、最速下降法、牛顿法、共轭方向法、拟牛顿法，这几种方法的收敛速度。
阅读全文
摘要：本文从方向导数的角度理解偏导数和梯度，厘清这几者之间的关系，即“导数是一个值，代表切线的斜率，而梯度是一个向量。最大方向导数的方向就是梯度代表的方向，最大的方向导数就是梯度的欧几里德范数”。
阅读全文
摘要：本文简单介绍了什么是贝叶斯深度学习，贝叶斯深度学习应该如何进行预测和训练，贝叶斯深度学习和非贝叶斯深度学习有什么区别，最后提醒注意贝叶斯神经网络和贝叶斯网络是两个不同概念。本文对如何训练贝叶斯深度学习没有进行过多阐述，具体可以参考引用资料。
阅读全文
摘要：给定一个分布 ，计算机中如何进行采样？本文大致介绍了计算机中如何对均匀分布进行采样，并对离散分布和连续分布采样进行了简单介绍。本文不涉及 MCMC 和 Gibbs 采样。
阅读全文
摘要：支持向量机（Support Vector Machine，简称 SVM）于 1995 年正式发表，由于其在文本分类任务中的卓越性能，很快就成为机器学习的主流技术。尽管现在 Deep Learning 很流行，SVM 仍然是一种很有的机器学习算法，在数据集小的情况下能比 Deep Learning 取得更好的结果。本文主要讨论线性 SVM，kernel 部分没有涉及。
阅读全文
摘要：熵（entropy）、KL散度（Kullback-Leibler (KL) divergence）和交叉熵（cross-entropy）在机器学习的很多地方会用到。比如在决策树模型使用信息增益来选择一个最佳的划分，使得熵下降最大；深度学习模型最后一层使用 softmax 激活函数后，我们也常使用交叉熵来计算两个分布的“距离”。KL散度和交叉熵很像，都可以衡量两个分布之间的差异，相互之间可以转化。本文将对熵、KL散度和交叉熵进行简单的介绍。
阅读全文
摘要：在训练集上，神经网络越深，效果会越好吗？理论上是的，但传统神经网络做不到这一点。在神经网络的深度达到一定时，在训练集上，越深的网络效果可能越差，这就是退化问题。而ResNet可以处理这个问题。
阅读全文
摘要：现在提到“神经网络”和“深度神经网络”，会觉得两者没有什么区别，神经网络还能不是“深度”（deep）的吗？我们常用的 Logistic regression 就可以认为是一个不含隐含层的输出层激活函数用 sigmoid（logistic） 的神经网络，显然 Logistic regression 就不是 deep 的。不过，现在神经网络基本都是 deep 的，即包含多个隐含层。Why？
阅读全文
摘要：经典卷积神经网络的结构一般满足如下表达式：输出层 -> （卷积层+ -> 池化层？）+ -> 全连接层+。上述公式中，“+”表示一个或者多个，“？”表示一个或者零个，如“卷积层+”表示一个或者多个卷积层，“池化层？”表示一个或者零个池化层。“->”表示 forward 方向。本文将分别介绍 LeNet-5、AlexNet 和 VGG-16 结构。
阅读全文
摘要：为什么使用序列模型（sequence model）？标准的全连接神经网络（fully connected neural network）处理序列会有两个问题：1）全连接神经网络输入层和输出层长度固定，而不同序列的输入、输出可能有不同的长度，选择最大长度并对短序列进行填充（pad）不是一种很好的方式；2）全连接神经网络同一层的节点之间是无连接的，当需要用到序列之前时刻的信息时，全连接神经网络无法办到，一个序列的不同位置之间无法共享特征。而循环神经网络（Recurrent Neural Network，RNN）可以很好地解决问题。本文介绍了RNN的结构，对RNN前向传播过程进行了剖析。此外对GRU和LSTM也进行了简单介绍。
阅读全文
