随笔分类 -  DeepLearing

摘要:包含项目结构、整体训练流程、训练调用细节 目的仅为梳理paddle在目标检测方面的训练流程以及调用细节,详见官方文档及代码 Paddle-detection框架 首先,观察整个项目的目录结构: 静态图选择配置模型在configs中,支持数据类型在dataset中,所有模型具体代码在ppdet中,数据 阅读全文
posted @ 2021-01-31 16:52 you-wh 阅读(2224) 评论(0) 推荐(0) 编辑
摘要:入门示例 pdpd静态图大体上是如下这样一个过程,先有个印象,具体参考代码理解首先定义前向网络(定义模型时需要占位),指标计算(label,loss,outs),优化器train函数: 设置paddle的数据读取对象reader,类似torch的dataloader,reader会一次提供多列数据 阅读全文
posted @ 2021-01-25 17:12 you-wh 阅读(967) 评论(0) 推荐(1) 编辑
摘要: 阅读全文
posted @ 2020-06-12 12:10 you-wh 阅读(372) 评论(0) 推荐(0) 编辑
摘要:为什么不进行多卡同步? BatchNorm的实现都是只考虑了single gpu。也就是说BN使用的均值和标准差是单个gpu算的,相当于缩小了mini-batch size。至于为什么这样实现,1)因为没有sync的需求,因为对于大多数vision问题,单gpu上的mini-batch已经够大了,完 阅读全文
posted @ 2019-03-21 11:28 you-wh 阅读(1140) 评论(0) 推荐(0) 编辑
摘要:json文件保存模型的结构,h5文件保存模型的参数,加载模型后加载参数,然后需要编译模型;之后就可以进行评估和预测。 阅读全文
posted @ 2019-03-02 09:59 you-wh 阅读(1729) 评论(0) 推荐(0) 编辑
摘要:BN的基本思想,其提出是解决梯度消失的问题的某一方法。 在深度神经网络做非线性变换前的激活输入值(x=wu+b,u是输入),当层数越深的时候,输入值的分布就会发生偏移,梯度出现消失的情况, 一般是整体分布逐渐往函数的取值区间的上下限靠拢,而这个时候非线性函数的梯度就会发生消失,所以训练收敛变慢。 B 阅读全文
posted @ 2019-02-28 21:32 you-wh 阅读(359) 评论(0) 推荐(0) 编辑
摘要:深度学习中的end to end是什么意思? 端到端就是输入一个数据进入模型,然后模型直接可以输出你想要的结果,也就是一体性。 简单讲就是,Input >系统(这里指神经网络) >Output(直接给出输入,NN神经网络就给出结果) 阅读全文
posted @ 2019-02-26 15:44 you-wh 阅读(281) 评论(0) 推荐(0) 编辑
摘要:反向传播算法从大体上理解就是通过计算最终误差与某个权值参数的梯度,来更新权值参数。 梯度就是最终误差对参数的导数,通过链式求导法则求出。 然后通过赋予学习率计算得出,例如: 其中 为学习率。 Python代码如下: 阅读全文
posted @ 2019-01-27 11:35 you-wh 阅读(595) 评论(0) 推荐(0) 编辑
摘要:为什么要经过非线性化?因为没有激励函数的神经网络只能逼近线性的函数而不能逼近任意函数,神经网络的本质其实是一个参数待定的函数卷积神经网络参数共享:神经元用于连接数据窗的权重是固定的,这意味着,对同一个神经元而言,不论上一层数据窗口停留在哪个位置,连接两者之间的权重都是同一组数。那代表着,上面的例子中 阅读全文
posted @ 2018-12-21 11:09 you-wh 阅读(338) 评论(0) 推荐(0) 编辑

Fork me on GitHub
点击右上角即可分享
微信分享提示