随笔分类 -  深度网络（DeepNetwork）

摘要：本文来自公众号"AI大道理" —————— Siamese Network（孪生网络）很早就被发明了，它的作者是著名的卷积神经网络LeNet-5的作者LeCun。最早用来从相似图片数据集上学习图片表示的网络结构就是siamese网络。两幅图通过两个共享权重的CNN得到各自的表示，而各自表示的距离决定 阅读全文

摘要：​ 本文来自公众号“AI大道理” ​ Network Slimming剪枝是比较广泛的一种模型剪枝方法，作者来自清华大学、英特尔中国实验室、复旦大学和科内尔大学。 ​ 添加图片注释，不超过 140 字（可选） ​ 1、Network Slimming剪枝理论 Network Slimming剪枝是结 阅读全文

摘要：​ 本文来自公众号“AI大道理”。 深度学习网络模型从卷积层到全连接层存在着大量冗余的参数，大量神经元激活值趋近于0，将这些神经元去除后可以表现出同样的模型表达能力，这种情况被称为过参数化，而对应的技术则被称为模型剪枝。 网络一般是over-parameterized参数过多的，有冗余的权重和神经元 阅读全文

摘要：​ 本文来自公众号“AI大道理” 卷积和池化层在神经网络中非常常见。 正因为习以为常，所以容易让人误以为是必不可少的。 那么卷积能代替池化吗？ 池化又能否代替卷积呢？ 要想回答这个问题，必须深究其本质，才能看清楚他们是否不可获取，以及缺了会怎么样。 ​编辑 1、卷积的本质 卷积是一种运算，特征图与卷 阅读全文

摘要：​ 本文来自公众号“AI大道理” 人类利用有限的注意力资源从大量信息中快速筛选出高价值信息，这是人类在长期进化中形成的一种生存机制，人类视觉注意力机制极大地提高了视觉信息处理的效率与准确性。 attention从注意力模型的命名方式看，借鉴了人类的注意力机制。 ​ 编辑 1、从机器翻译说起 Seq2 阅读全文

摘要：​ 本文来自公众号“AI大道理” ​ YOLov6的量化问题： yolov6在结构中大量使用了重参数结构，导致数据分布过差，PTQ精度急剧下降。另外，重参数化结构网络无法直接使用QAT进行微调提升量化性能。 因为Deploy部署的模型无BN，不利于训练；Train模式进行QAT之后无法进行分支融合。 阅读全文

摘要：​ 本文来自公众号“AI大道理” ResNet、DenseNet 等复杂的多分支网络可以增强模型的表征能力，使得训练效果更好。但是多分支的结构在推理的时候效率严重不足。 看起来二则不可兼得。 能否两全其美？ RepVGG通过结构重参数化的方法，在训练的时候使用多分支结构，而在推理的时候多分支结构融合 阅读全文