2_CNN(卷积层)

1. 理解卷积

2. 理解CNN

2.1 一点思考：

  1. 由【参考链接第一条】这个知乎答案中获得启发：要十分深刻而准确的把握每一个trick背后的物理直觉。这些物理直觉作为一种先验知识加入到网络设计中，构成一些组件。这些组件能够work，正是因为这些组件满足了【图像目标检测】背后的某些物理直觉【我们面对一张图片，如何检测一个obj，所具有的先验知识】
  2. 例如：图像中obj的【空间平移不变性】、【尺寸不变性】、某些识别任务中的【旋转及观测视角不变形】。
  3. 这些不变形都要通过【设计网络组件】来满足。
  4. 比如，Fully-Connected NN中的【梯度消失】最后发现本质是【activation func】的锅，修正了activation func就基本解决了。
  5. 各种设计与trick最重要最精华的是【加入了何种物理直觉？】
  6. 这个物理直觉如何变成网络组件的？体现是什么？这个组件如何实施为数学运算？这个数学计算如何做编程上的运算？这个编程问题如何转化为矩阵运算？因为gpu唯一能并行计算的就是矩阵运算
  7. 也许为了gpu的并行计算，可能还要学下python/c++多进程，CUDA编程。

2.x参考：

[1]. 李宏毅的视频加PPT是最大最佳的启蒙 【最好的入门资料】
[2]. https://www.zhihu.com/question/39022858/answer/194996805
[3]. http://cs231n.github.io/convolutional-networks/
[4]. https://www.zhihu.com/question/39022858/answer/203073911
[5]. https://www.zhihu.com/question/39022858/answer/224446917
[6]. https://www.zhihu.com/question/39022858/answer/120211609
[7]. https://www.zhihu.com/question/39022858/answer/81026163
[8]. https://www.zhihu.com/question/39022858/answer/282874143 【不太严谨，但是思想有些是对的】
[9]. https://www.zhihu.com/question/39022858/answer/416590182 【组件的细节图文并茂，这点有参考价值】
[10]. https://www.zhihu.com/question/39022858/answer/218205885 【他认为卷积的本质是：衡量局部区域与核的相似性，因为只有卷积核长得和我感兴趣的局部特征很相似，卷积的结果才会很大，才会被下一层利用。这个观点很新奇，但正确性有待进一步考量】
[11]. https://www.zhihu.com/question/39022858/answer/214394498 【是对上一个链接的本质抽取再描述：讲卷积核的运算本质：卷积运算，从频域角度看，是频谱相乘】
[12]. https://www.zhihu.com/people/DataTerminatorX/posts 【对上述链接的补充】

- 突然意识到一个问题：其实只有波【信号】才有频率和振幅的说法，脱离波函数不存在频率和幅值。比如正弦波，它的频率是周期的倒数【表示每秒变化的次数】，幅度是信号在某时刻t下的强度，即f(t)
- （但是文章中有时会缺省，默认在讨论一个波的频率和幅值）所以我要习惯这种缺省默认，不要蒙了。
- 我们在做一维信号的傅里叶分解得到的频域图：横坐标为频率，纵坐标为幅度，这个【纵坐标为幅度】的准确的本质含义其实是：是对应着【以当前频率为频率的某个正弦函数】的最大振幅【比如标准sin(x)最大值为1】
- 某函数如有频谱函数f(w)，默认是：w为某频率，f(w)为【以这个w为频率的某正弦波】的振幅最大值。二维f(w1,w2)就是：以w1,w2两个频率能对应一个f(w1,w2)这个振幅。
- 启发：有时候不明白这些默认缺省的小东西，就容易被一些文章的描述迷惑。所以要加强【信号与系统以及交叉学科的基本概念】的快速入门能力

[13]. https://www.cnblogs.com/skyfsm/p/6790245.html 【一个不错的CNN全过程概述】
[14 http://www.cnblogs.com/pinard/p/6483207.html 【流程是正确的，讲的还行】

posted @ 2019-02-14 21:18  hzhang_NJU  阅读(233)  评论(0)  编辑  收藏  举报