06 2019 档案

摘要:一、定义 类别不平衡是指分类任务中不同类别的训练样例数目差别很大的情况。 二、问题:从线性分类器角度讨论,用y = wTx+b对新样本x进行分类,事实上是用预测出的y值与一个阈值进行比较,例如通常在y>0.5时判别为正例,否则为反例。y表达的是正例的可能性,几率y/1-y反映了正例可能性与反例可能性 阅读全文
posted @ 2019-06-28 10:36 X18301096 阅读(511) 评论(0) 推荐(0) 编辑
摘要:一、可视化比较 1、示例一 上图描述了在一个曲面上,6种优化器的表现,从中可以大致看出:① 下降速度:三个自适应学习优化器Adagrad、RMSProp与AdaDelta的下降速度明显比SGD要快,其中,Adagrad和RMSProp齐头并进,要比AdaDelta要快。两个动量优化器Momentum 阅读全文
posted @ 2019-06-27 10:55 X18301096 阅读(2509) 评论(0) 推荐(0) 编辑
摘要:一、梯度下降法 1、标准梯度下降法(GD) 公式:Wt+1=Wt−ηtΔJ(Wt) 其中,WtWt表示tt时刻的模型参数。 从表达式来看,模型参数的更新调整,与代价函数关于模型参数的梯度有关,即沿着梯度的方向不断减小模型参数,从而最小化代价函数。 基本策略可以理解为”在有限视距内寻找最快路径下山“, 阅读全文
posted @ 2019-06-27 10:12 X18301096 阅读(1405) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示