2020.9.14、星期一

1、偏置什么时候可以不要？

 BN操作，里面有一个关键操作

     其中x1 = x0 * w0 + b0，而E[x1] = E[x0*w0] + b0， 所以对于分子而言，加没加偏置，没有影响；

而对于下面分母而言，因为Var是方差操作，所以也没有影响（为什么没影响，回头问问你的数学老师就知道了）。

所以，卷积之后，如果要接BN操作，最好是不设置偏置，因为不起作用，而且占显卡内存。

2、github周末编辑的内容没有上传

3、hourglass

 

 上面这个是single hourglass，每一个方框都是residual block， 如果简化的话可以将residual 改为常规的cnn

 

 层和层之间的连接关系

Layer Implementation

　　他的动机是捕捉所有尺寸的信息，网络的最小的分辨率是4*4像素

　　网络设置： CNN+maxpooling 用来将feature 分辨率降低，每一个maxpooling step之前都会进行一个卷积

　　输入是256*256的分辨率需要一个很大的GPU内存，因此hourglass输入最大的分辨率是64*64， 这个不会影响网络产生精确的joint的能力

　　网络开始是7*7的卷积层，步长是2， 然后是residual module 和一个max pooling 将分辨率从256降低到64

Stacked Hourglass with Intermediate Supervision

　　stacked hourglass的关键是，我们可以在哪一个feature map 上计算loss

　　　　 

 

 　　　　每一个single hourglass ，都对loss 有贡献的情况下，对于pose estimate效果好

　　蓝色的是1*1的卷积网络用来提升卷积的featuremap 数目的，这里是expansion