摘要:
虽然我在矩阵微分系列中有介绍关于矩阵和向量的求导,但是不够系统,无意中发现一位同仁写的矩阵和向量的求导系列博客,写的很详细,相当不错,特此推荐: 机器学习中的矩阵向量求导(一) 求导定义与求导布局 机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法 机器学习中的矩阵向量求导(三) 矩阵向量求导之微 阅读全文
摘要:
$\ell_{2,1}$-norm encourages the columns of matrix A to be zeros. For example, we have objective function: 阅读全文
摘要:
tic k = 0; for ii = 1:100 k = k + ii; end disp(k); toc 运行结果: 阅读全文
摘要:
reshape函数 reshape(X,M,N) or reshape(X,[M,N]) returns the M-by-N matrix whose elements are taken columnwise from X. An error results if X does not have 阅读全文
摘要:
本文摘自张贤达的《矩阵分析与应用》第四章第3节、王书宁等人译的《凸优化》的第三章第1节和第4节 阅读全文
摘要:
在上一篇博客中,我们介绍了次梯度,本篇博客,我们将用它来求解优化问题。 优化目标函数: $min \frac{1}{2} ||Ax-b||_2^2+\mu ||x||_1$ 已知$A, b$,设定一个$\mu$值,此优化问题表示用数据矩阵$A$的列向量的线性组合去拟合目标向量$b$,并且解向量$x$ 阅读全文
摘要:
本文摘自张贤达的《矩阵分析与应用》第四章第5节 示例: 上面左图的红线是函数$y=x^2$在点$x=0$的梯度方向,也是唯一的次梯度方向。上面右图的三条红线都是函数$y=|x|$在点$x=0$的次梯度方向。 阅读全文
摘要:
方法一: import scipy as spy from scipy.sparse import csc_matrix m = 2 n = 3 A = spy.sparse.rand(m, n, density=0.5, format='csc', dtype=None).toarray() pr 阅读全文
摘要:
np.ones(shape), np.zeros(shape), np.random.randint(low, high, shape)这里的shape必须用元组或列表形式,例如: np.reshape(shape), 这里的shape可以用元组形式,也可以直接写数字,例如: np.random.r 阅读全文
摘要:
百度百科上对Lipschitz连续的介绍挺不错的:Lipschitz连续 此外,张贤达的《矩阵分析与应用》第四章第4节中也有对Lipschitz连续的介绍: 阅读全文