09 2017 档案
摘要:dmlc-core是Distributed (Deep) Machine Learning Community的一个基础模块,这个模块用被应用到了mxnet中。dmlc-core在其中用了比软多的宏技巧,代码写得很简洁,值得大家学习。这博客中讲解了其中的宏和mxnet中是怎么向dmlc-core中注册函数和初始化参数的。
阅读全文
摘要:mxnet([github-mxnet](https://github.com/apache/incubator-mxnet))的python接口相当完善,我们可以完全不看C\++的代码就能直接训练模型,如果我们要学习它的C\++的代码,从python训练与预测的模型中可以看到C\++的代码是怎么被调用的。上一篇博客中,我已经说明了mshadow的工作原理——[mshadow的原理--MXNet](http://www.cnblogs.com/heguanyou/p/7545344.html);在这一篇中,来说明一下mxnet的训练过程,看python是调用发哪些C\++的接口,但对C\++接口的更进一步解释并没有很详细,具体可以自己看源码,后面也可能会有新的博客解释。
阅读全文
摘要:在机器学习的Loss函数中,通常会添加一些正则化(正则化与一些贝叶斯先验本质上是一致的,比如L2L2正则化与高斯先验是一致的、L1L1正则化与拉普拉斯先验是一致的等等,在这里就不展开讨论)来降低模型的结构风险,这样可以使降低模型复杂度、防止参数过大等。大部分的课本和博客都是直接给出了L1L1正则化的解释解或者几何说明来得到L1L1正则化会使参数稀疏化,本来会给出详细的推导。
阅读全文
摘要:mshadow的原理 MXNet 这文章主要解释了 "表达式模板" 的工作原理(也是mshadow的主要原理),文章的前半部分是翻译自 "exp template/README.md" 。我们会解释它为什么会影响编译代码的性能,表达式模板也是 矩阵运算库的用到的主要技巧,比如Eigen,GSL,bo
阅读全文
摘要:【引言】SphereFace在MegaFace数据集上识别率在2017年排名第一,用的A-Softmax Loss有着清晰的几何定义,能在比较小的数据集上达到不错的效果。这个是他们总结成果的论文:SphereFace: Deep Hypersphere Embedding for Face Recognition。我对论文做一个小的总结。
阅读全文

浙公网安备 33010602011771号