09 2017 档案

摘要:dmlc-core是Distributed (Deep) Machine Learning Community的一个基础模块,这个模块用被应用到了mxnet中。dmlc-core在其中用了比软多的宏技巧,代码写得很简洁,值得大家学习。这博客中讲解了其中的宏和mxnet中是怎么向dmlc-core中注册函数和初始化参数的。 阅读全文
posted @ 2017-09-29 23:27 Thaurun 阅读(2512) 评论(1) 推荐(1)
摘要:mxnet([github-mxnet](https://github.com/apache/incubator-mxnet))的python接口相当完善,我们可以完全不看C\++的代码就能直接训练模型,如果我们要学习它的C\++的代码,从python训练与预测的模型中可以看到C\++的代码是怎么被调用的。上一篇博客中,我已经说明了mshadow的工作原理——[mshadow的原理--MXNet](http://www.cnblogs.com/heguanyou/p/7545344.html);在这一篇中,来说明一下mxnet的训练过程,看python是调用发哪些C\++的接口,但对C\++接口的更进一步解释并没有很详细,具体可以自己看源码,后面也可能会有新的博客解释。 阅读全文
posted @ 2017-09-27 22:23 Thaurun 阅读(6395) 评论(4) 推荐(1)
摘要:在机器学习的Loss函数中,通常会添加一些正则化(正则化与一些贝叶斯先验本质上是一致的,比如L2L2正则化与高斯先验是一致的、L1L1正则化与拉普拉斯先验是一致的等等,在这里就不展开讨论)来降低模型的结构风险,这样可以使降低模型复杂度、防止参数过大等。大部分的课本和博客都是直接给出了L1L1正则化的解释解或者几何说明来得到L1L1正则化会使参数稀疏化,本来会给出详细的推导。 阅读全文
posted @ 2017-09-23 21:14 Thaurun 阅读(23652) 评论(12) 推荐(5)
摘要:mshadow的原理 MXNet 这文章主要解释了 "表达式模板" 的工作原理(也是mshadow的主要原理),文章的前半部分是翻译自 "exp template/README.md" 。我们会解释它为什么会影响编译代码的性能,表达式模板也是 矩阵运算库的用到的主要技巧,比如Eigen,GSL,bo 阅读全文
posted @ 2017-09-18 21:28 Thaurun 阅读(2736) 评论(4) 推荐(2)
摘要:【引言】SphereFace在MegaFace数据集上识别率在2017年排名第一,用的A-Softmax Loss有着清晰的几何定义,能在比较小的数据集上达到不错的效果。这个是他们总结成果的论文:SphereFace: Deep Hypersphere Embedding for Face Recognition。我对论文做一个小的总结。 阅读全文
posted @ 2017-09-11 00:30 Thaurun 阅读(29605) 评论(2) 推荐(9)
摘要:卡尔曼滤波的推导的完整过程 阅读全文
posted @ 2017-09-10 23:34 Thaurun 阅读(7658) 评论(0) 推荐(0)