Machine Learning and Optimization - 随笔分类(第4页) - Picassooo

子空间学习

摘要：1. 鲁棒性主成分分析(Robust PCA, RPCA) RPCA 将原始数据矩阵分解为一个低秩的成分和一个稀疏的成分，其中低秩的成分表示提取出的纯净数据，而稀疏的成分表示噪声。Cand`es从理论上证明了在一定条件下可以通过求解一个凸优化问题来精确地恢复低秩成分和稀疏噪声。在 RPCA 中，模阅读全文

posted @ 2020-06-22 22:41 Picassooo 阅读(456) 评论(0) 推荐(0) 编辑

转：软阈值迭代，矩阵补全，低秩稀疏矩阵恢复

摘要：软阈值迭代算法（ISTA）和快速软阈值迭代算法（FISTA）低秩矩阵填充|奇异值阈值算法低秩稀疏矩阵恢复|ADM(IALM)算法阅读全文

posted @ 2020-06-22 21:05 Picassooo 阅读(539) 评论(0) 推荐(0) 编辑

近端梯度下降(proximal gradient decent)

摘要：阅读全文

posted @ 2020-06-22 17:34 Picassooo 阅读(952) 评论(3) 推荐(0) 编辑

凸函数，强凸函数，拟凸函数，一阶二阶判断条件

摘要：本文摘自张贤达的《矩阵分析与应用》第四章第3节、王书宁等人译的《凸优化》的第三章第1节和第4节阅读全文

posted @ 2020-06-14 10:48 Picassooo 阅读(4866) 评论(0) 推荐(0) 编辑

次梯度算法小实例

摘要：在上一篇博客中，我们介绍了次梯度，本篇博客，我们将用它来求解优化问题。优化目标函数：

m i n \frac{1}{2} | | A x - b | |_{2}^{2} + μ | | x | |_{1}

$min \frac{1}{2} ||Ax-b||_2^2+\mu ||x||_1$ 已知

A, b

$A, b$ ，设定一个

μ

$\mu$ 值，此优化问题表示用数据矩阵

A

$A$ 的列向量的线性组合去拟合目标向量

b

$b$ ，并且解向量

x

$x$ 阅读全文

posted @ 2020-06-13 19:20 Picassooo 阅读(2013) 评论(0) 推荐(0) 编辑

次梯度和次微分

摘要：本文摘自张贤达的《矩阵分析与应用》第四章第5节示例：上面左图的红线是函数

y = x^{2}

$y=x^2$ 在点

x = 0

$x=0$ 的梯度方向，也是唯一的次梯度方向。上面右图的三条红线都是函数

y = | x |

$y=|x|$ 在点

x = 0

$x=0$ 的次梯度方向。阅读全文

posted @ 2020-06-13 17:50 Picassooo 阅读(3037) 评论(0) 推荐(0) 编辑

Lipschitz连续

摘要：百度百科上对Lipschitz连续的介绍挺不错的：Lipschitz连续此外，张贤达的《矩阵分析与应用》第四章第4节中也有对Lipschitz连续的介绍：阅读全文

posted @ 2020-06-11 21:49 Picassooo 阅读(1397) 评论(0) 推荐(0) 编辑

Tikhonov正则化

摘要：本文摘自张贤达的《矩阵分析与应用》第六章第2节阅读全文

posted @ 2020-06-10 00:33 Picassooo 阅读(5230) 评论(0) 推荐(0) 编辑

最小二乘法

摘要：本文摘自张贤达的《矩阵分析与应用》第六章第一节阅读全文

posted @ 2020-06-10 00:26 Picassooo 阅读(302) 评论(0) 推荐(0) 编辑

矩阵方程求解方法分类

摘要：本文摘自张贤达的《矩阵分析与应用》第六章阅读全文

posted @ 2020-06-10 00:21 Picassooo 阅读(1238) 评论(0) 推荐(0) 编辑

低秩矩阵恢复和鲁棒主成分分析

摘要：本文摘自本文摘自史加荣等人发表在计算机应用研究杂志的《低秩矩阵恢复算法综述》优化问题式(10)被称为鲁棒主成分分析(Robust Principal Component Analysis). 阅读全文

posted @ 2020-06-09 20:59 Picassooo 阅读(518) 评论(0) 推荐(0) 编辑

范数与正则化

摘要：以下几个资料对范数和正则项的介绍比较好：张贤达《矩阵分析与应用》第六章 Michael Nielsen的Neural Networks and Deep Learning，第三章第2节机器学习中的范数规则化之（一）L0、L1与L2范数机器学习中的范数规则化之（二）核范数与规则项参数选择一文搞阅读全文

posted @ 2020-06-08 16:20 Picassooo 阅读(384) 评论(0) 推荐(0) 编辑

拉格朗日函数，拉格朗日对偶函数，KKT条件

摘要：在王书宁译的Boyd著的《凸优化》的第五章有很好的对拉格朗日函数、拉格朗日对偶函数、KKT条件的介绍。阅读全文

posted @ 2020-06-06 10:08 Picassooo 阅读(295) 评论(0) 推荐(0) 编辑

上确界sup和下确界inf的理解

摘要：本文摘自：常用的数学符号sup（上确界）和 inf（下确界） sup与max的区别：sup可能不在集合中，max一定在集合中。阅读全文

posted @ 2020-05-26 17:04 Picassooo 阅读(4578) 评论(1) 推荐(0) 编辑

论文笔记：博士论文《基于稀疏和低秩约束的模型学习研究》第一二章

摘要：子空间学习方法概述子空间学习就是基于某一特定的准则，将数据从原始的高维特征空间变换到低维的、有意义的子空间的过程，其目的是为了抓住数据的内在结构，进而作进一步地分析。无监督子空间学习方法利用数据的局部关系来保持数据内在的流形结构，代表性的方法有：局部线性嵌入 (Locally linear 阅读全文

posted @ 2020-05-15 09:20 Picassooo 阅读(1362) 评论(0) 推荐(0) 编辑

用PCA对鸢尾花数据集降维并可视化

摘要：上篇博客中，我们介绍了并用代码实现了PCA算法，本篇博客我们应用PCA算法对鸢尾花数据集降维，并可视化。鸢尾花数据集简介代码实现代码来自MOOC网的《Python机器学习应用》课程。 import matplotlib.pyplot as plt from sklearn.decomposit 阅读全文

posted @ 2020-04-14 20:58 Picassooo 阅读(3208) 评论(0) 推荐(0) 编辑

Python实现PCA降维

摘要：PCA算法主成分分析（Principal Component Analysis，PCA）是最常用的一种降维方法，通常用于高维数据集的探索与可视化，还可以用作数据压缩和预处理等。PCA可以把具有相关性的高维变量合成为线性无关的低维变量，称为主成分。主成分能够尽可能保留原始数据的信息。PCA的计算涉及阅读全文

posted @ 2020-04-14 20:23 Picassooo 阅读(5265) 评论(2) 推荐(0) 编辑

转：数据为什么要中心化和标准化？

摘要：数据什么时候需要做中心化和标准化处理？阅读全文

posted @ 2020-04-14 11:41 Picassooo 阅读(552) 评论(0) 推荐(0) 编辑

转：信息量，熵，KL散度，交叉熵，JS散度，Wasserstein距离，WGAN中对KL散度和JS散度的描述

摘要：信息量，熵，KL散度，交叉熵，JS散度，Wasserstein距离，WGAN中对KL散度和JS散度的描述阅读全文

posted @ 2020-03-31 11:28 Picassooo 阅读(240) 评论(0) 推荐(0) 编辑

总结: NLLLoss, CrossEntropyLoss, BCELoss, BCEWithLogitsLoss比较，以及交叉熵损失函数推导

摘要：一、pytorch中各损失函数的比较 Pytorch中Softmax、Log_Softmax、NLLLoss以及CrossEntropyLoss的关系与区别详解 Pytorch详解BCELoss和BCEWithLogitsLoss Focal Loss理解-菜鸟笔记 (coonote.com) 总结阅读全文

posted @ 2020-03-30 17:50 Picassooo 阅读(3825) 评论(0) 推荐(0) 编辑

Picassooo

随笔分类 - Machine Learning and Optimization

公告

搜索

常用链接

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论