论文-Multi-view Convolutional Neural Networks for 3D Shape Recognition

Multi-view Convolutional Neural Networks for 3D Shape Recognition 

 

面对3D 模型， 想要识别3D模型，想要识别该3D模型，将目前最热的CNN使用上去，并且首次提出了识别3D模型的CNN网络。

 

方法是：将3D模型渲染成为一系列的2D images， 实验证明，使用CNN的时候，一系列的2D images 带来的信息比3D 模型识别的效果更好。

整个模型为：

 

针对一个3D shape model，利用不同的角度，将其渲染成多张 image，利用多张image，同时传入多个CNN的前部分，即是多个Conv层（Relu）, 每一个角度都可以得到一个feature map。

中间的是本paper新增加的一种layer， view-pooling layer，在本paper 中，使用element-wise maximum， 就是对feature map的每一个element，进行pixel级别的取最大操作。 这样多个feature map最终被pooling成一个feature map。View-pooling layers 有点类似max-pooling layers 或maxout layers.

 

这个算法的精华是： 利用多个Conv(Relu) 层对多个输入的images进行feature selective，选择最active的feature，这样在view-pooling 起来，继续 CNN 的后半部分的网络。

 

角度选择：

(1)， 12个角度，水平对一个物体进行渲染，选择围绕物体，每30度产生一张image；

(2)， 利用正二十面体的形状，对每一个点以0，90， 180，270度的角度去渲染，一共可以产生80张image。

 

 

 总结：

 多个角度的image， 提供多个不同的feature。