赌书香

摘要： 摘要 对智能移动应用的需求飙升需要在移动设备上部署强大的深度神经网络（DNN）。然而，DNN的出色性能众所周知地依赖于越来越复杂的模型，而这反过来又与计算开销的增加相关，远远超过了移动设备的容量。更糟糕的是，应用服务提供商需要收集和利用包含敏感信息的大量用户数据来构建复杂的DNN模型。在公共移动设备 阅读全文

摘要： 摘要 乘积量化（PQ）搜索及其衍生产品是用于大规模近似最近邻搜索的流行且成功的方法。 在本文中，我们回顾了这类算法的基本算法，并提供了可执行的示例代码。 然后，我们对最近基于PQ的方法进行了全面的调查。 PQ编码的推广与改进 预先旋转 原始PQ简单地将输入向量均匀地划分为子向量，而不考虑数据分布。 阅读全文

摘要： 摘要 已经针对各种应用提出了用于多维空间的线性映射的若干方案，诸如用于时空数据库的访问方法和图像压缩。在这些应用中，来自这种线性映射的最期望的属性之一是聚类，这意味着多维空间中的对象之间的局部性被保留在线性空间中。人们普遍认为希尔伯特空间填充曲线可以实现最佳聚类[1]，[14]。在本文中，我们通过导 阅读全文

摘要： 摘要 本文介绍了一种基于乘积量化的近似最近邻搜索方法。 这个想法是将空间分解为低维子空间的笛卡尔积，并分别量化每个子空间。 矢量由其子空间量化索引和短码表示。 可以从它们的码字有效地估计两个矢量之间的欧氏距离。 非对称版本增加了精度，因为它计算向量和码字之间的近似距离。 实验结果表明，我们的方法有效 阅读全文

摘要： 摘要 深度神经网络（DNN）继续取得重大进展，解决从图像分类到翻译或强化学习的任务。受到相当大关注的领域的一个方面是在资源受限的环境中有效地执行深度模型，例如移动或嵌入式设备。本文重点讨论了这个问题，并提出了两种新的压缩方法，它们共同利用大型网络称为“教师”的权重量化和蒸馏，进入压缩的“学生”网络。 阅读全文

摘要： 摘要 神经网络既是计算密集型又是内存密集型，使得它们难以部署在具有有限硬件资源的嵌入式系统上。为了解决这个限制，我们引入了“深度压缩”，一个三阶段流水线：修剪，训练量化和霍夫曼编码，它们协同工作以减少神经网络的存储需求，在不影响他们的准确性的基础上能够压缩35到49倍。我们的方法首先通过仅学习重要的 阅读全文

摘要： 摘要 深度卷积神经网络（CNN）已成为最有前途的物体识别方法，近年来反复展示了图像分类和物体检测的破纪录结果。然而，非常深的CNN通常涉及具有数百万个参数的许多层，使得网络模型的存储非常大。这限制在资源有限的硬件上使用深度CNN，尤其是手机或其他嵌入式设备。在本文中，我们通过研究用于压缩CNN参数的 阅读全文

摘要： 摘要 我们描述了一种图像压缩方法，包括非线性分析变换，均匀量化器和非线性合成变换。变换是在卷积线性滤波器和非线性激活函数的三个连续阶段中构建的。与大多数卷积神经网络不同，选择联合非线性来实现局部增益控制的形式，其灵感来自用于模拟生物神经元的那些。使用随机梯度下降的变体，我们在训练图像数据库上联合优化 阅读全文

摘要： 摘要 深度神经网络在视觉识别任务（如图像分类和物体检测）上实现了最先进的精确度。然而，现代网络包含数百万个已学习的连接，并且当前的趋势是朝向更深和更密集连接的体系结构。这对在资源受限的系统（例如智能手机或移动机器人）上部署最先进的网络提出了挑战。通常，更有效地利用计算资源将有助于从嵌入式平台到运行网 阅读全文

摘要： 摘要 卷积神经网络（CNN）越来越多地用于计算机视觉的许多领域。它们特别有吸引力，因为它们能够通过数百万个参数“吸收”大量标记数据。然而，随着模型尺寸的增加，分类器的存储和存储器需求也在增加，这阻碍了许多应用，例如移动电话和其他设备上的图像和语音识别。在本文中，我们提出了一种新颖的网络架构，频率敏感 阅读全文