风来水面

摘要：When does a digraph admit a doubly stochastic adjacency matrix Doubly Stochastic: 对于每一个节点，如果输入权重和输出权重都等于1，那么就是双随机的有向图。简而言之，如果允许双重随机邻接矩阵的有向图，称为具有双重随机性质 阅读全文

摘要：简介：避免数据融合中心（a data fusion center）或是远程通信(a long distance communication)又或是提供更好的负载平衡（better load balance），即一般的分布式计算的背景。 特点:exact：准确收敛constant stepsize：固 阅读全文

摘要：Asynchronous Gossip-Based Random Projection Algorithm Over Networks 概述本篇论文讨论的是在有向平衡的拓扑结构下的，带约束的分布式次梯度投影算法。首先，根据次梯度下降算法的性质，步长必定是逐渐下降的才能最终收敛于最优解；对于一个固定的 阅读全文

摘要：Consensus-Based Distributed Optimization: Practical Issues and Applications in Large-Scale Machine Learning 摘要 本文讨论了实际的基于共识的分布式优化算法。在基于共识的优化算法中，节点用共识迭 阅读全文

摘要：原理 将\(c\)表示成\(c=(c_B,c_N)\),其中\(c_B\)表示对应雨基变量的分量，\(c_N\)对应非基变量。有：$$f_0=cx^{(0)} =(c_B,c_N)\begin{bmatrix} B^{-1}b \\ 0\end{bmatrix}=c_BB^{-1}b$$ 那么，根据 阅读全文

摘要：标准形式 $$ \begin{aligned}\min \quad &\bf{cx} \\s.t. \quad &\bf{Ax}=\bf{b}\\&x\ge0\end{aligned}$$其中\(A\)是\(m\times n\)矩阵，\(c\)是\(n\)维行向量， \(b\)是\(m\)维列向量 阅读全文

摘要：线性空间 线性空间又称为向量空间。 线性空间满足两大预算运算： - 加法运算- 纯量乘法运算 这两个运算有8个特性： - 加法交换性- 加法结合性\(\alpha+\beta=\beta+\alpha\)- 加0得到自身（零元性）- 负元素性- 乘1得到自身- 乘法结合律- 乘法交换律\((k+l) 阅读全文

摘要：Pareto optimality 帕雷托最优，也称为Pareto efficiency。帕雷托最优是指资源分配的一种理想状态。给定固有的一群人和可分配的资源，如果从一种分配状态到另一种状态的变化中，在没有使任何人境况变坏的前提下，使得至少一个人变得更好，这就是帕雷托改善。帕雷托最优的状态就是不可能 阅读全文

摘要：Strong connectivity \(\quad\)强连通性。图形拓扑的基本概念之一，一个图的每一个顶点(Vertex)如果能到达图中的其余任何顶点，那么这个图就是强连通的。 Closed Convex Function \(\quad\)闭凸函数。在数学中，对于每一个\(\alpha\)，子 阅读全文

摘要：强凸性多用在优化中(Optimization)，特别是保证很多基于梯度下降方法的算法的线形收敛速率的条件之一。 定义 一个可微函数强凸的定义是： $$f(y) \ge f(x) +\nabla f(x)^T(y-x)+\frac{u}{2} \Vert y-x \Vert ^2 $$ 值得注意的是， 阅读全文

摘要：Push-DIGing Algorithm For $k=0,1,2, \cdots$ do $\mathbf{u}(k+1)=\mathbf{C}(k)(\mathbf{u}(k)-\alpha \mathbf{y}(k))$ $\mathbf{v}(k+1)=\mathbf{C}(k) \mat 阅读全文

摘要：1. det($\mathbf{I}$) = 1 2. 交换行列式的行，行列式符号变换。 即，置换矩阵 det($\mathbf{P}$)=1 或 -1 并且，行列式的置换是区分奇偶的，奇数次变换只能通过奇数次变换等价，而不能通过偶数次变换得到。 3. a. 一个数乘以行列式的一行，结果等于乘以行列 阅读全文

摘要：一个最小二乘法的例子： 三个点分别是 $(1,1), (2,2),(3,2)$. 对这三个点进行回归分析，假设以下的方程： $$ y = C + D t$$ 那么有矩阵运算： $$\begin{bmatrix} 1& 1 \\ 1 & 2 \\1 & 3 \end{bmatrix}\begin{bm 阅读全文

摘要：任何一个向量 $b$， 都有 $$b = P b +(I-P)b$$ 其中， $P$ 是投影向某一个空间的投影矩阵，而 $(I-P)$ 是投影向垂直于该空间的投影矩阵。 如何解一个无解的方程 $Ax=b$ 的解 基础的的解决方案是： $A^TA \hat{x} = A^T b$ rank ($A^T 阅读全文

摘要：两个子空间 $S$ 和 $T$ 正交，意味着， $S$ 中的任何Vector都与 $T$ 中的任何Vector正交 如果两个平面在某个向量处相交，那它们一定不正交 平面内的子空间：零空间、过原点的直线、整个平面 零空间和行空间是正交的，并且这两个子空间的维数等于整个空间的维数（Complements 阅读全文