Hiroki

摘要： 安装MXNET 由于公司需要，近期需要快速精通mxnet，接下来的几个星期会陆续更新关于mxnet的笔记，提供参考和备忘。第一篇介绍mxnet的安装，mxnet的安装过程十分蛋疼，个人也是摸索了许久才安装成功，期间也是遇到了各种奇奇怪怪的坑，为了避免新人少走弯路，遂将经验总结于此。 windows上 阅读全文

摘要： 转自 http://wulfric.me/2013/09/github and academy/ 以 github 的精神提供学术服务，也许是一个不错的方向。 什么是 github？ Github 是编程项目的托管服务，在这里，既有老鸟的牛逼项目，也有新手的实验性项目。表面上，github 是项目的 阅读全文

摘要： 指数分布族的变分推理 回顾一下上节课 变分推断 讲的内容。 与MCMC，Gibbs Sampling等基于抽样来估计未知分布的方法不同，变分推断通过一个优化过程来近似隐变量的后验概率分布。给定一组隐变量 $Z=\{z_1,...,z_M\}$，其中$M$表示$Z$可以分解为$M$个独立成分。变分推断 阅读全文

摘要： 贝叶斯线性回归 问题背景： 为了与PRML第一章一致，我们假定数据出自一个高斯分布： $$ p(t|x,\mathbf{w},\beta)=\mathcal{N}(t|y(x,\mathbf{w}),\beta^{ 1})=\sqrt{\frac{\beta}{2\pi}}\exp( \frac{\ 阅读全文

摘要：  阅读全文

摘要： 强化学习（1） 作者：hschen 写于：16 4 13 强化学习简介 监督学习在机器学习中取得了重大的成功，然而在顺序决策制定和控制问题中，比如无人直升机、无人汽车等，难以给出显式的监督信息，因此这类问题中监督模型无法学习。 强化学习就是为了解决这类问题而产生的。在强化学习框架中，学习算法被称为一 阅读全文

摘要： theano中的dimshuffle函数用于对张量的维度进行操作，可以增加维度，也可以交换维度，删除维度。 注意的是只有shared才能调用dimshuffle() 'x'表示增加一维，从0d scalar到1d vector (0, 1)表示一个与原先相同的2D向量 (1, 0)表示将2D向量的两 阅读全文

摘要： softmax是logisitic regression在多酚类问题上的推广，$W=[w_1,w_2,...,w_c]$为各个类的权重因子，$b$为各类的门槛值。不要想象成超平面，否则很难理解，如果理解成每个类的打分函数，则会直观许多。预测时我们把样本分配到得分最高的类。 Notations: $x 阅读全文

摘要： 随时间反向传播 （BackPropagation Through Time，BPTT） 符号注解： $K$:词汇表的大小 $T$:句子的长度 $H$:隐藏层单元数 $E_t$:第t个时刻（第t个word）的损失函数,定义为交叉熵误差$E_t= y_t^Tlog(\hat{y}_t)$ $E$:一个句 阅读全文

摘要： keras介绍 Keras是一个简约，高度模块化的神经网络库。采用Python / Theano开发。 使用Keras如果你需要一个深度学习库： 可以很容易和快速实现原型（通过总模块化，极简主义，和可扩展性） 同时支持卷积网络（vision）和复发性的网络（序列数据）。以及两者的组合。 无缝地运行在 阅读全文