01 2020 档案

摘要:作为一只半路出家的野生深度学习程序猿,没人指导,一切都靠自己摸索,在学习实践的路上走过不少弯路. 我正式读的第一篇论文是目标检测网络yolov3的论文.yolov3原生代码是作者用纯c手撸的,叫做darknet,其实也算一个框架,游离于主流深度学习框架之外.这是项目地址. 最近跟着这本书,重新学习p 阅读全文
posted @ 2020-01-19 09:58 core! 阅读(802) 评论(0) 推荐(1) 编辑
摘要:残差网络ResNet resnet是何凯明大神在2015年提出的.并且获得了当年的ImageNet比赛的冠军. 残差网络具有里程碑的意义,为以后的网络设计提出了一个新的思路. googlenet的思路是加宽每一个layer,resnet的思路是加深layer. 论文地址: 论文里指出,随着网络深度的 阅读全文
posted @ 2020-01-17 16:57 core! 阅读(5128) 评论(1) 推荐(0) 编辑
摘要:批量归一化 论文地址: 批量归一化基本上是现在模型的标配了 . 说实在的,到今天我也没搞明白batch normalize能够使得模型训练更稳定的底层原因,要彻底搞清楚,涉及到很多凸优化的理论,需要非常扎实的数学基础才行. 目前为止,我理解的批量归一化即把每一层输入的特征,统一变换到统一的尺度上来, 阅读全文
posted @ 2020-01-16 16:38 core! 阅读(4081) 评论(0) 推荐(2) 编辑
摘要:GoogLeNet GoogLeNet和vgg分别是2014的ImageNet挑战赛的冠亚军.GoogLeNet则做了更加大胆的网络结构尝试,虽然深度只有22层,但大小却比AlexNet和VGG小很多,GoogleNet参数为500万个,AlexNet参数个数是GoogleNet的12倍,VGGNe 阅读全文
posted @ 2020-01-15 13:48 core! 阅读(820) 评论(0) 推荐(2) 编辑
摘要:网络中的网络NIN 之前介绍的LeNet,AlexNet,VGG设计思路上的共同之处,是加宽(增加卷积层的输出的channel数量)和加深(增加卷积层的数量),再接全连接层做分类. NIN提出了一个不同的思路,串联多个由卷积层和'全连接层'(1x1卷积)构成的小网络来构建一个深层网络. 论文地址: 阅读全文
posted @ 2020-01-14 14:32 core! 阅读(1595) 评论(0) 推荐(1) 编辑
摘要:VGG AlexNet在Lenet的基础上增加了几个卷积层,改变了卷积核大小,每一层输出通道数目等,并且取得了很好的效果.但是并没有提出一个简单有效的思路. VGG做到了这一点,提出了可以通过重复使⽤简单的基础块来构建深度学习模型的思路. 论文地址: vgg的结构如下所示: 上图给出了不同层数的vg 阅读全文
posted @ 2020-01-10 22:54 core! 阅读(1587) 评论(0) 推荐(0) 编辑
摘要:AlexNet AlexNet是2012年提出的一个模型,并且赢得了ImageNet图像识别挑战赛的冠军.首次证明了由计算机自动学习到的特征可以超越手工设计的特征,对计算机视觉的研究有着极其重要的意义. AlexNet的设计思路和LeNet是非常类似的.不同点主要有以下几点: 激活函数由sigmoi 阅读全文
posted @ 2020-01-08 18:29 core! 阅读(1387) 评论(0) 推荐(0) 编辑
摘要:卷积神经网络 在之前的文章里,对28 X 28的图像,我们是通过把它展开为长度为784的一维向量,然后送进全连接层,训练出一个分类模型.这样做主要有两个问题 1. 图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。 2. 对于大尺寸的输入图像,使用全连接层容易造成模型 阅读全文
posted @ 2020-01-07 15:33 core! 阅读(877) 评论(0) 推荐(0) 编辑
摘要:GPU计算 默认情况下,pytorch将数据保存在内存,而不是显存. 查看显卡信息 我的机器输出如下: 单卡,gtx 1050,4g显存. 查看gpu是否可用 查看gpu数量 查看当前gpu号 查看设备名 把tensor复制到显存 使用 可以将CPU上的 转换(复制)到GPU上。如果有多块GPU,我 阅读全文
posted @ 2020-01-03 17:10 core! 阅读(26820) 评论(0) 推荐(8) 编辑
摘要:模型读取和存储 总结下来,就是几个函数 1. torch.load()/torch.save() 通过python的pickle完成序列化与反序列化.完成内存磁盘转换. 2. Module.state_dict()/Module.load_state_dict() state_dict()获取模型参 阅读全文
posted @ 2020-01-03 16:01 core! 阅读(7141) 评论(0) 推荐(1) 编辑
摘要:自定义layer 一文里说了怎么写自定义的模型.本篇说怎么自定义层. 分两种: 不含模型参数的layer 含模型参数的layer 核心都一样,自定义一个继承自 ,在类的forward函数里实现该layer的计算,不同的是,带参数的layer需要用到 不含模型参数的layer 直接继承nn.Modul 阅读全文
posted @ 2020-01-03 14:43 core! 阅读(3721) 评论(0) 推荐(2) 编辑
摘要:模型参数的访问初始化和共享 参数访问 参数访问:通过下述两个方法.这两个方法是在nn.Module类中实现的.继承自该类的子类也有相同方法. .parameters() .named_parameters() 输出 可见返回的名字自动加上了层数的索引作为前缀。 我们再来访问 中单层的参数。对于使用 阅读全文
posted @ 2020-01-02 17:56 core! 阅读(4404) 评论(0) 推荐(1) 编辑
摘要:模型构造 nn.Module nn.Module是pytorch中提供的一个类,是所有神经网络模块的基类.我们自定义的模块要继承这个基类. 输出如下: Module的子类 torch中还提供了一些其他的类,方便我们构造模型. 这些类也都是继承自nn.Module. Sequential Module 阅读全文
posted @ 2020-01-02 14:27 core! 阅读(1747) 评论(0) 推荐(2) 编辑
摘要:2019总结 2019年对我而言,是极为重要的一年. 这一年,我离开了工作四年的地方,离开了已经做了四年的运营商j计费业务,离开了温水煮青蛙的状态. 离开了两年前就该离开,却因为事少离家近朝九晚五不加班而不舍得踏出舒适区的状态. 阴差阳错地,进入了一家自动驾驶创业公司,成了一名深度学习工程师,开始接 阅读全文
posted @ 2020-01-01 00:35 core! 阅读(307) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示