摘要:
填充和步幅 先将两个控制卷积层输出大小的超参数:填充 & 步幅。 上面是一个例子,如果是一张$3232$的图片,使用一个$55$的kernel来进行卷积,那么在第7层的时候图片大小会变成$4*4$,那么就不能在进行卷积了,换句话说就是,卷积层最多只能进行7层。 那如果要做深应该怎么办?(其实深度学习 阅读全文
摘要:
从全连接到卷积 卷积是深度学习中最重要的概念之一,今天就学习下卷积的基本知识。 36M*100=3.6B。 使用MLP来处理图片会遇到权重参数过多的问题。 就是100个单元的单隐层,这里的权重都需要 3.6*1e9 * 4 / 1024 / 1024 / 1024 = 13.4GB的内存,这就需要很 阅读全文
摘要:
竞赛总结 我们讲知识,也不可能所有东西都cover到,让大家竞赛不是让大家去学某个特定的知识,而是说大家遇到一个问题,怎么去找一个解决方案。这一次的解决方案和下一次的会不一样,但是问题是你怎么去找这个东西,去问人也行,去搜索也行。 私榜和公开榜是不一样的,大家能看到的都是公榜的(私榜就是为了防止大家 阅读全文
摘要:
使用GPU 其实如果没有钱买GPU的话,使用Google Colab也是一个不错的选择,大概是10 dollar一个月。 算力其实是很贵的... 利用好算力是一件很重要的事情! 关于Nvidia Driver too old的问题,如果是服务器的话,这里不要盲目的去更新显卡驱动,这样子会把别人的环境 阅读全文
摘要:
模型构造 这里主要是要继承nn.Module这个类,然后书写其中的__init__() & forward()方法即可。 参数管理 假设我们已经定义好我们的模型了,那我们参数应该怎么去访问? 自定义层 自定层其实和自定义网络没有什么区别,因为层也是nn.Module的一个子类。 读写文件 读写文件, 阅读全文