摘要：
注：在Cousera的DL课程中，设计矩阵和系数矩阵都是都是转置版本。我们采用这种描述。 $X$为转置的设计矩阵，维数是$n\times m$ $Z^{[1]}=W^{[1]}X+b^{[1]}$，维数是$h\times m$，h为隐藏层神经元数量 $A^{[1]}=\tanh(Z^{[1]})$， 阅读全文
2017年8月10日
摘要：
在神经网络中，我们经常要用到矩阵乘法，而BackProp过程中，要对系数矩阵的每一个元素求偏导数。这里来推导一下。 我们假设有如下一个函数：$y=f(AB)$，其中 1、$A$是$n\times m$矩阵，$B$是$m\times k$矩阵。 2、f是一个标量函数，参数是一个矩阵。 我们现在要求$\ 阅读全文
2017年8月9日
摘要：
设计矩阵通常是用来描述数据集的一个方法。通常有m行n列， 1、每个行向量$\boldsymbol x^{(i)}$代表第$i$个实例 2、每个列向量$\boldsymbol x_j$代表第$j$个feature $X=\begin{bmatrix} \boldsymbol x_1 & \boldsy 阅读全文
2017年7月10日
摘要：
目标函数：最小化$f(x,y,z)=x^2+y^2+z^2$ 约束： $g_1(x,y,z)=x+y-2=0$ $g_2(x,y,z)=x+z-2=0$ 目标函数f在三维空间中的等值线是一个个球面。 约束$g_1,g_2$在三维空间中分别是一个平面 仅考虑一个约束：考虑$g_1$上任意一条轨迹线t， 阅读全文
2017年6月17日
摘要：
前言： PRML是严肃学习机器学习的首选教材。虽然内容略微陈旧，但是从写作水平来说，目前没有与之匹敌的其他读物。可惜我英语水平有限，原著读起来很容易疲劳，幸得网上流传的PRML中译版，整体流畅严谨，显然是译者在有相当理解的基础上翻译的。只是阅读的过程中偶有卡壳，结合英文版原著，发现有些小问题，这里都 阅读全文
2017年5月7日
摘要：
3.1 概念： 1、学习者和决策者称为代理 2、代理以外称为环境。环境予以新状态，以及奖励 3、从状态到行动的概率的映射，称为策略。$\pi_t(s,a)$代表第t时刻在$s_t=s$时选择$a_t=a$的概率 4、定义环境和代理的边界，跟问题本身有关。所有不能直接控制的，通常都是环境。哪怕代理理解 阅读全文
2017年3月27日
摘要：
这里将MIT的《概率导论》关于贝叶斯统计推断的阐述总结一下。 1、问题描述： 已知： (1)参数$\Theta$的先验分布$p_{\Theta}(\theta)$ (2)$\theta$给定的前提下，相关变量$X$的分布：$p_{X|\Theta}(x|\theta)$ (3)$X$的一系列观测样本 阅读全文
2017年3月19日
摘要：
前言 关于Kalman Filter，有一篇很好的入门文章，建议先通读： Understanding the Basis of the Kalman Filter Via a Simple and Intuitive Derivation 不过这篇文章只推导了一元分布的情况，对多元分布的情况只是简单 阅读全文
2017年3月10日
摘要：
一、矩阵和向量的乘积 $A\boldsymbol x=\left[ \begin{array}{cc}a _{1,1}&a_{1,2}\\a_{2,1}&a_{2,2} \end{array} \right]\left[ \begin{array}{cc}x_1\\x_2 \end{array} \ 阅读全文
摘要：
一、一般线性变换 1、对于一个典型的线性变换： $y=A\boldsymbol x=\left[ \begin{array}{cc} \boldsymbol w_1 & \boldsymbol w_2\end{array} \right]\left[ \begin{array}{cc} x_1 \\ 阅读全文
