04 2019 档案

PyTorch中ReLU的inplace
摘要：0 - inplace 在pytorch中，nn.ReLU(inplace=True)和nn.LeakyReLU(inplace=True)中存在inplace字段。该参数的inplace=True的意思是进行原地操作，例如： x=x+5是对x的原地操作 y=x+5,x=y不是对x的原地操作 所以， 阅读全文
posted @ 2019-04-29 15:45 CZiFan 阅读(7728) 评论(0) 推荐(2)
优化算法：AdaGrad | RMSProp | AdaDelta | Adam
摘要：0 - 引入 简单的梯度下降等优化算法存在一个问题：目标函数自变量的每一个元素在相同时间步都使用同一个学习率来迭代，如果存在如下图的情况（不同自变量的梯度值有较大差别时候），存在如下问题： 选择较小的学习率会使得梯度较大的自变量迭代过慢 选择较大的学习率会使得梯度较小的自变量迭代发散 因此，自然而然 阅读全文
posted @ 2019-04-27 17:46 CZiFan 阅读(1768) 评论(0) 推荐(0)
数据挖掘流程
摘要：0 - 引入 并行处理、流水线处理、自动化调参、持久化是sklearn优雅地进行数据挖掘的核心。 并行处理和流水线处理是将多个特征处理工作，甚至包括模型训练工作组合成一个工作。 在组合的前提下，自动化调参技术帮我们省去了人工调参的繁琐。 训练好的模型是贮存在内存中的数据，持久化能够将这些数据保存到文 阅读全文
posted @ 2019-04-26 12:33 CZiFan 阅读(386) 评论(0) 推荐(0)
降维
摘要：0 - 引入 在特征选择之后，有可能由于特征量过大导致计算量太大、内存溢出或者训练时间长的问题，因此需要通过降维方法将特征维度降低。 常用的降维方法有如下几种： 基于L1惩罚项的模型（上一篇特征选择提到的） 主成分分析法（PCA） 线性判别分析（LDA） 下面通过sklearn并基于iris数据集来 阅读全文
posted @ 2019-04-25 18:22 CZiFan 阅读(373) 评论(0) 推荐(0)
特征选择
摘要：0 - 引入 在数据预处理之后，我们通常需要选择有意义的特征进行后续的训练，一般选取特征的依据有如下两个方面： 特征是否发散（我觉得更好的描述应该是，特征分布是否正常）：如果一个特征不发散，则方差接近0，说明各个样本的该特征相差无几，所以该特征对于样本的区分用处不大； 特征与目标的相关性：对于目标相 阅读全文
posted @ 2019-04-25 17:33 CZiFan 阅读(761) 评论(0) 推荐(0)
数据预处理
摘要：0 - 引入 一般通过特征提取或者数据集给出的特征，可能都有如下问题： 由于存在上述问题，因此在我们设计算法和模型之前，我们需要相对数据进行预处理，下面通过sklearn中的preprocessing模块并基于iris数据集来介绍不同的数据预处理。 导入iris数据集。 1 - sklearn方法查 阅读全文
posted @ 2019-04-25 13:40 CZiFan 阅读(452) 评论(0) 推荐(0)