摘要：
凸优化 (convex optimization) 使用数学方法（例如梯度下降法）寻找凸函数最小值的过程。机器学习方面的大量研究都是专注于如何通过公式将各种问题表示成凸优化问题，以及如何更高效地解决这些问题。 丢弃正则化 (dropout regularization) 正则化的一种形式，在训练神经 阅读全文
摘要：
常用：Sigmoid，tanh，Relu 神经网络中，运算特征是不断进行循环计算，所以在每代循环过程中，每个神经元的值也是在不断变化的。tanh特征相差明显时的效果会很好，在循环过程中会不断扩大特征效果显示出来。 但有时候，特征相差比较复杂或是相差不是特别大时，需要更细微的分类判断的时候，sigmo 阅读全文
摘要：
(1)归一化： １）把数据变成(０，１)或者（1,1）之间的小数。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。 ２）把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达 阅读全文
摘要：
主要解决求最小值问题，其基本思想在于不断地逼近最优点，每一步的优化方向就是梯度的方向 (1)随机梯度下降法： 每次随机从样本集中抽取一个样本对进行更新 如果要遍历整个样本集的话需要迭代很多次，且每次更新并不是向着最优的方向进行，所以每走一步都要“很小心”，也就是说随机梯度下降法的学习率α不能设置太大 阅读全文
摘要：
(1)循环神经网络原理 RNNs的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立 阅读全文
摘要：
deep learning 深度学习 Day2 1.反向传播是神经网络训练的本质，简单的说就是迭代获得误差率，基于此调整参数，从而获得更可靠的模型。 2.链式法则，如果某个函数由复合函数表示，则该复合函数的导数可以用构成复合函数的各个函数的导数的乘积表示。 3.样本分成独立的三部分训练集(train 阅读全文
摘要：
deep learning 深度学习 Day1 1.深度学习是模拟人脑神经网络，通过无监督学习样本数据，提取特征，从而建立准确的分类或预测模型。 2.“深度”则是指学习过程中的特征颗粒处理层次更加深入，好比从分子到原子、从原子到夸克，对特征的抽取粒度越细、层级越深，特征对样本的表达就越准确。 3.表 阅读全文