02 2023 档案
摘要:
所谓模型剪枝,其实是一种从神经网络中移除"不必要"权重或偏差(weigths/bias)的模型压缩技术。本文深入描述了 pytorch 框架的几种剪枝 API,包括函数功能和参数定义,并给出示例代码。
阅读全文

摘要:
所谓深度神经网络的优化算法,即用来更新神经网络参数,并使损失函数最小化的算法。优化算法对于深度学习非常重要,网络参数初始化决定模型是否收敛,而优化算法的性能则直接影响模型的训练效率。
阅读全文

摘要:
残差网络(ResNet)的提出是为了解决深度神经网络的“退化”(优化)问题。ResNet 通过设计残差块结构,调整模型结构,让更深的模型能够有效训练更训练。
阅读全文

摘要:
近年来主流的模型压缩方法包括:数值量化(Data Quantization,也叫模型量化),模型稀疏化(Model sparsification,也叫模型剪枝 Model Pruning),知识蒸馏(Knowledge Distillation), 轻量化网络设计(Lightweight Network Design)和 张量分解(Tensor Decomposition)。其中模型剪枝是一种应用非常广的模型压缩方法,其可以直接减少模型中的参数量。本文会对模型剪枝的定义、发展历程、分类以及算法原理进行详细的介绍。
阅读全文

摘要:
基于深度学习的主流单目3D目标检测算法可以分为两个过程:2D目标检测 + 基于投影几何原理的回归网络设计。本文首先介绍了单目 3D 目标检测的理论基础-投影几何原理和算法原理,并解读了几个主流模型。
阅读全文

摘要:
本文深度讲解了卷积计算的原理,并详细介绍了构成所有卷积网络主干的基本元素,包括卷积层本身、填充(padding)和步幅 (stride)的基本细节、用于在相邻区域汇聚信息的汇聚层(pooling),最后给出卷积层和汇聚层的代码示例和CNN框架结构图。
阅读全文

摘要:
当我们处理的数据具有不同尺度时,执行数据标准化操作是很有必要的。本文给出了数据标准化(Normalization)的定义、常用方法以及为什么要做数据标准化,并给出相关代码实现。
阅读全文

摘要:
训练深度神经网络的复杂性在于,因为前面的层的参数会发生变化导致每层输入的分布在训练过程中会发生变化。这又导致模型需要需要较低的学习率和非常谨慎的参数初始化策略,从而减慢了训练速度,并且具有饱和非线性的模型训练起来也非常困难。网络层输入数据分布发生变化的这种现象称为内部协变量转移,BN 就是来解决这个问题。
阅读全文

摘要:
个人感觉阿里云的智能语音交互产品的精度还是很高的,通过 sdk 的方式嵌入在其他代码中也很方便,可以应用在工业界产品中,比如智能音箱。
虽然有诸多优点,但再完美的产品也是缺点的,以下是我测评之后总结的一些可以考虑改进的点:
- SDK 文档描述不够清晰,给出的代码示例不够丰富,且注释很少
- 语音合成效果可以更自然些
阅读全文

摘要:
本文介绍了图像搜索产品的背景、原理和使用过程都已经叙述完毕了,个人感觉阿里云的图像搜索这款产品的识别准确率还不错,但是返回结果的可视化功能还有待提升,目前是纯 `json` 形式的字符串返回结果,不如直接图片上添加文字和方框形式的返回结果直观。
阅读全文

摘要:
交叉验证是机器学习当中的概念,一般深度学习不会使用交叉验证方法,原因是深度学习的数据集一般都很大。但是也有例外,Kaggle 的一些医疗类比赛,训练集一般只有几千张,由于训练数据很少,用来作为验证集的数据会非常少,因此训练的模型在验证集上精度可能会有很大波动,这直接取决于我们所选择的验证集和训练集划分方式,也就是说,验证集的划分方式可能会造成验证集精度存在较大方差,从而无法对模型进行有效评估,同时也无法进行有效的超参数调整(batch 设置多少模型最佳收敛)。
阅读全文
