摘要：
核方法（Kernel Methods） 支持向量机（SVM）是机器学习中一个常见的算法，通过最大间隔的思想去求解一个优化问题，得到一个分类超平面。对于非线性问题，则是通过引入核函数，对特征进行映射（通常映射后的维度会更高），在映射之后的特征空间中，样本点就变得线性可分了。 核方法的示意图如下： 上图 阅读全文
摘要：
0、开始训练之前先要做些什么？ 在开始调参之前，需要确定方向，所谓方向就是确定了之后，在调参过程中不再更改 1、根据任务需求，结合数据，确定网络结构。 例如对于RNN而言，你的数据是变长还是非变长；输入输出对应关系是many2one还是many2many等等，更多结构参考如下 非RNN的普通过程，从 阅读全文
摘要：
第四周：深层神经网络(Deep Neural Networks) 1、深层神经网络（Deep L-layer neural network） 在打算使用深层神经网络之前，先去尝试逻辑回归，尝试一层然后两层隐含层，把隐含层的数量看做是另一个可以自由选择大小的超参数，然后再保留交叉验证数据上评估，或者用 阅读全文
摘要：
第三周：浅层神经网络(Shallow neural networks) 1、激活函数（Activation functions） sigmoid函数和tanh函数两者共同的缺点是，在z特别大或者特别小的情况下，导数的梯度或者函数的斜率会变得特别小，最后就会接近于0，导致降低梯度下降的速度。 Relu 阅读全文
摘要：
第二周：神经网络的编程基础(Basics of Neural Network programming) 1、逻辑回归的代价函数（Logistic Regression Cost Function） 逻辑回归需要注意的两个点是，sigmoid函数和log损失函数。 sigmoid函数的函数表达式为 作 阅读全文
摘要：
本系列主要是我对吴恩达的deeplearning.ai课程的理解和记录，完整的课程笔记已经有很多了，因此只记录我认为重要的东西和自己的一些理解。 第一门课 神经网络和深度学习(Neural Networks and Deep Learning) 第一周：深度学习引言(Introduction to 阅读全文
摘要：
上一篇介绍了从数据角度出发，如果去处理不平衡问题，主要是通过过采样和欠采样以及它们的改进方式。 本篇博客，介绍不平衡问题可以采样的算法。 一、代价敏感学习 在通常的学习任务中，假定所有样本的权重一般都是相等的，或者说误分类成本是相同的。但是在大多数实际应用中，这种假设是不正确的。 最简单的例子就是在 阅读全文
摘要：
一、不平衡数据集的定义 所谓的不平衡数据集指的是数据集各个类别的样本量极不均衡。以二分类问题为例，假设正类的样本数量远大于负类的样本数量，通常情况下通常情况下把多数类样本的比例接近100:1这种情况下的数据称为不平衡数据。不平衡数据的学习即需要在分布不均匀的数据集中学习到有用的信息。 不平衡数据集的 阅读全文
摘要：
一、模型评价的意义 在完成模型构建之后，必须对模型的效果进行评估，根据评估结果来继续调整模型的参数、特征或者算法，以达到满意的结果。 评价一个模型最简单也是最常用的指标就是准确率，但是在没有任何前提下使用准确率作为评价指标，准确率往往不能反映一个模型性能的好坏，例如在不平衡的数据集上，正类样本占总数 阅读全文
摘要：
一、Word2vec word2vec是Google与2013年开源推出的一个用于获取word vecter的工具包，利用神经网络为单词寻找一个连续向量看空间中的表示。word2vec是将单词转换为向量的算法，该算法使得具有相似含义的单词表示为相互靠近的向量。 此外，它能让我们使用向量算法来处理类别 阅读全文