摘要：
摘要 虽然权重和激活量化是深度神经网络（DNN）压缩的有效方法，并且具有很多利用bit操作来提高推理速度的潜力，但在量化模型和完整模型之间的预测精度方面仍存在明显差距。为了解决这个差距，我们建议联合训练量化的，位操作兼容的DNN及其相关的量化器，而不是使用固定的手工量化方案，例如均匀或对数量化。我们 阅读全文
摘要：
摘要 受到灾难性遗忘现象的启发，我们研究了神经网络在单一分类任务训练时的学习动态。 我们的目标是了解当数据没有明显的分布式转变时是否会出现相关现象。 我们定义了一个“遗忘事件”当个别训练示例在学习过程中从正确分类转换为错误时。 在几个基准数据集中，我们发现：（i）某些例子被高频率遗忘，有些则完全没有 阅读全文
摘要：
摘要 我们引入了一种新的高维矢量压缩方案，该方案使用来自M个不同码本的M个码字的和来近似矢量。 我们表明，所提出的方案允许压缩和未压缩矢量之间的有效距离和标量积计算。 我们进一步建议矢量编码和码本学习算法，其可以最小化所提出的方案内的编码误差。 在实验中，我们证明了所提出的压缩可以代替乘积量化或与乘 阅读全文
摘要：
摘要 由于其对高维视觉特征进行编码的有效性，乘积量化已被广泛用于快速图像检索。 通过将硬分配扩展到软分配，我们可以将乘积量化作为卷积神经网络的一层进行合并，并提出我们的乘积量化网络。 同时，我们提出了一种新的非对称triplet损失，它有效地提高了基于非对称相似性的所提出的乘积量化网络的检索精度。 阅读全文
摘要：
摘要 神经网络既是计算密集型又是内存密集型，使得它们难以在嵌入式系统上部署。此外，传统网络在训练开始之前固定架构;因此，训练无法改善架构。为了解决这些限制，我们描述了一种方法，通过仅学习重要连接，将神经网络所需的存储和计算减少一个数量级而不影响其准确性。我们的方法使用三步法修剪冗余连接。首先，我们训 阅读全文
摘要：
摘要 乘积量化（PQ）是一种有效的矢量量化方法。乘积量化器可以以非常低的存储器/时间成本生成指数大的码本。 PQ的本质是将高维向量空间分解为子空间的笛卡尔乘积，然后分别量化这些子空间。最佳空间分解对于PQ性能很重要，但仍然是一个未解决的问题。在本文中，我们通过最小化空间分解和量化码本的量化失真来优化 阅读全文
摘要：
恢复内容开始 摘要 量化被认为是优化神经网络模型的推理成本的最有效方法之一，用于部署到具有严格资源限制的移动和嵌入式系统。在这种方法中，在严格的精度损失约束（例如，1％）下提供低成本量化是至关重要的。在本文中，我们提出了一种基于加权熵概念量化权重和激活的新方法。与最近关于二进制加权神经网络的工作不同 阅读全文
摘要：
摘要 深度神经网络（DNN）在许多复杂的感知任务中表现出色，但众所周知，很难理解他们如何做出决策。我们在此介绍ImageNet上的高性能DNN架构，其决策更容易解释。我们的模型是ResNet-50架构的一个名为BagNet的简单变体，它根据出现的情况对图像进行分类小的局部图像特征而不考虑它们的空间排 阅读全文
摘要：
摘要 在本文中，我们提出了一个简单而通用的框架，用于训练非常微小的CNN（例如，通道数减少到1/32的VGG）用于目标检测。由于表示能力有限，为检测等复杂任务训练非常小的网络具有挑战性。据我们所知，我们称为Quantization Mimic的方法是第一个专注于非常小的网络的方法。我们使用两种类型的 阅读全文
摘要：
摘要 卷积神经网络（CNN）通常被认为通过学习对象形状的日益复杂的表示来识别对象。最近的一些研究表明图像纹理具有更重要的作用。我们在这里通过评估具有纹理-形状线索冲突的图像的CNN和人类观察者来将这些相互矛盾的假设置于定量测试中。我们表明，ImageNet训练的CNN强烈偏向于识别纹理而不是形状，这 阅读全文