论文阅读：Holistically-Nested Edge Detection

论文地址：https://arxiv.org/abs/1504.06375

现有的多尺度多层次的神经网络

 　　多尺度学习可以在神经网络中，以越来越大的感受野和下采样的形式，每个层中学习的特征表示是多尺度的，另一方面在神经网络之外，也可以通过例如调整输入图像的尺度获得多尺度信息。

多尺度学习的可能配置

　　

　　multi-stream learning: 多个（并行）网络流具有不同的参数号和接收字段大小，对应于多个尺度。将输入数据同时馈入多个流中，然后将各流产生的级联特征响应馈入全局输出层以产生最终结果。

　　skip-net learning: skip-net体系结构的拓扑结构不是训练多个并行流，而是以一个主流为中心。添加链接以合并来自主网络流的不同级别的特征响应，然后将这些响应组合到共享输出层中。

　　Single model on multiple inputs: 为了获得多尺度预测，还可以对多个（缩放的）输入图像运行单个网络（或具有绑定权重的网络）。

　　Training independent networks: 通过训练具有不同深度和不同输出损耗层的多个独立网络来进行多尺度预测。实施这项工作可能具有实际挑战性，因为这一重复将使培训所需资源成倍增加。

　　Holistically-nested networks: 网络是一个相对简单的变种，能够从多个尺度产生预测。该体系结构可以解释为图2（d）中“独立网络”方法的“整体嵌套”版本。架构包括一个具有多个边输出的单流深度网络。

 

网络细节

　　

　　每一层的目标函数（公式1），使用一种简单的策略自动平衡正负样本之间的损失（公式2）。为了直接利用边输出预测，我们在网络中加入一个加权融合层，同时在训练过程中学习融合权重（公式3）。通过标准（反向传播）随机梯度下降最小化以下目标函数（公式4）。