随笔分类 - 深度学习
摘要：在神经网络中，通常需要随机初始化模型参数。下面我们来解释这样做的原因。 回顾多层感知机。为了方便解释，假设输出层只保留一个输出单元 且隐藏层使用相同的激活函数。如果将每个隐藏单元的参数都初始化为相等的值，那么在正向传播时每个隐藏单元将根据相同的输入计算出相同的值，并传递至输出层。在反向传播中，每个隐
阅读全文
摘要：一文看尽12种Dropout及其变体 本文转载自：AI公园 作者：Axel Thevenot 编译：ronghuaiyang 导读 深入了解DNNs，CNNs以及RNNs中的Dropout来进行正则化，蒙特卡洛不确定性和模型压缩的方法。 动机 在深度机器学习中训练一个模型的主要挑战之一是协同适应。这
阅读全文
摘要：首先，给出官方文档的链接： https://pytorch.org/docs/stable/generated/torch.gather.html?highlight=gather#torch.gather 然后，我用白话翻译一下官方文档。 gather，顾名思义，聚集、集合。有点像军训的时候，排队
阅读全文
摘要：前言 本文对PyTorch的.view()方法和.reshape()方法还有.resize_()方法进行了分析说明，关于本文出现的view和copy的语义可以看一下我之前写的文章，传送门： 深浅拷贝对比：图文代码浅谈Python中Shallow Copy(浅拷贝)和DeepCopy(深拷贝)的区别
阅读全文
摘要：作者：桂。 时间：2017-05-31 21:14:56 链接：http://www.cnblogs.com/xingshansi/p/6925955.html 前言 VQ（Vector Quantization）是一个常用的压缩技术，本文主要回顾： 1）VQ原理 2）基于VQ的说话人识别（SR,s
阅读全文
摘要：AP & mAP AP：PR 曲线下面积（下面会说明） mAP：mean Average Precision, 即各类别 AP 的平均值 TP、FP、FN、TN True Positive (TP): IoU> ( 一般取 0.5 ) 的检测框数量（同一 Ground Truth 只计算一次） Fa
阅读全文
摘要：Training Region-based Object Detectors with Online Hard Example Mining 00 Astract 摘要主要讲了四点： (1) 训练过程需要进行参数的空间搜索 (2) 简单样本与难分辨样本之间的类别不平衡是亟需解决的问题 (3) 自动地
阅读全文
摘要：转载，原文链接：https://www.cnblogs.com/guoyaohua/p/8724433.html Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hint
阅读全文
摘要：前言 对于使用机器学习解决的大多数常见问题，通常有多种可用的模型。每个模型都有自己的独特之处，并随因素变化而表现不同每个模型在“验证/测试”数据集上来评估性能，性能衡量使用各种统计量如准确度（accuracy），精度（precision），召回率（recall）等。选择的统计量通常针对特定应用场景和
阅读全文
摘要：在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？ 在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：https://arxiv.org/pdf/1609.0
阅读全文
摘要：29 November 2019 14:48 GRU is a popular variant of LSTM which replaces the forget gate and the input gate with only one update gate GRU achieves the s
阅读全文