洞明先生的博客

穷通悟理是极乐
  新随笔  :: 管理

矩阵基础_七月算法4月机器学习班第3次课程笔记

Posted on 2016-05-13 11:00  洞明  阅读(726)  评论(0编辑  收藏  举报
 
 
  desc
关注什么点
就是 到底有哪几个线索 是你所模糊的
 
关于方程解的个数
关于是否可逆
关于是否可以对角化
summary 判别式
是否能对角化
 
看来两个条件:
 
要么是 对称阵
要么是 特征值均不相同的方阵
summary 判别式
能否可逆
要么 det >0
要么 满秩
可逆矩阵 一定是方阵
正定矩阵
一定是对称阵,对称阵一定是方阵
正定矩阵一定有 N 个非零特征值,即满秩,所以可逆
正定矩阵
看英文名字才好理解
positive definite
definite 是确定的 概念
确定为正,即 一定的 正,即 每一个 特征值 都为正
但是 这么一翻译过来就 没这感觉了
矩阵间的关系
 
 
 
  desc
矩阵分解的种类
特征分解
谱分解        #基于特征分解,但是 与 特征分解的结果又完全不同
奇异值分解
QR分解等等
 
但是 特征分解(Eigen decomposition),又称谱分解(Spectral decomposition)
是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法,但是两者的分解 结果形式完全不同,一个是乘积一个是加和
矩阵的特征分解
前提,必须是可对角化的矩阵,
即或者是 对称矩阵或者是各个特征值不相等的矩阵。即特征值的代数重数均为1
 
其基本思路是:
因为 A 可以对角化即:
P^-1·A·P = Q
那么,必有:
A = P·Q·P^-1
相当于 反过来倒是有一个 矩阵的等式【观点】
所以 定义这种方式为 矩阵的特征分解
 
矩阵的 SVD 分解,是矩阵的特征分解在任意矩阵上的推广
谱分解
1. 概念什么是谱:就是特征值的集合。
 
2. 物理意义:
因为 矩阵的谱分解的形态不是 把矩阵分解为 A*B 等乘积的形式,而是分解为相加的形式
即 
A = Σλi Ai  #这是其亮点【观点】
而这里每一个元素 就像是 光谱的叠加,所以叫做 基于谱的分解
 
3. 矩阵的谱分解 和 矩阵特征分解 的关系
refer
解释
A = PQP^-1
如何理解 这个 P,P^-1
先放过来,为 Q = P^-1 A P
即:一般的矩阵,只能保证 P 的各个列之间是线性无关,不一定正交
而只有 对称矩阵,正定矩阵,才能让 P 为 正交矩阵,此时 的 P^-1 = P^T 了
 
所以 才说  对称矩阵 可以 酉变换,即 用酉矩阵对角化
酉矩阵
又称  幺正矩阵,即  正交矩阵在 复数上的扩展
线性无关的直观理解
二维的 就是不共线
三维的 就是不共面,即两个合成一个,另外一个给抵消了
 
 
 
   
程博士的讲课思路
引入了 四个子空间
讲解了 特征分解
讲解了 SVD
讲解了 PCA
新的观点
Ax = b【观点】
新的观点
Ax = λx
Ax 其实是对 x 在做旋转和伸缩   【观点】
而 对于A 的特征向量,A 对 x 没有做旋转只做了 伸缩
 
新的观点
AB = C
A 叫做维度矩阵,B 叫做数据矩阵,C 就是 降维后的矩阵
A 在对 B 做降维
四个子空间
关于 列空间,零空间,行空间,左零空间
对于 Ax = B,其中 A = [a1, a2, a3, ,,, an], A = m*n
列空间 是的 矩阵每个列拼接的,所以维度 与 每个列维度相同,所以是 m 维度
零空间 就是 x 的维度,所以是 n 维度的
 
 
对于 N 维度的全空间而言,基的个数 和 基的维度一定相等
但是 全空间的子空间 不一定,即:虽然也是 m 维度的,但是 子空间只占一部分
矩阵 A 的列空间 是 R^m 的子空间
即:可能填不满
而 子空间也有基,即  列空间是一个 m维全空间的子空间,其 的 各个列如果线性无关将会组成 该子空间的一组基
即:仅仅是 方程组的这些列 尚不足以构成 全空间的基
但是还有 左零空间,左零空间的基   一定与 列空间的 基 正交
两者合并 构成了完整的 m维度的全空间
列空间与全空间的关系
【观点】 就是 全空间的一个子集,一部分空间而已
子空间只能 撑开一个 低维度的空间
列空间的 属性是 子空间
列空间 强调的 是空间
高维空间的补
空间的补充与拼接,只能在 维度上 垂直着的补,而不是 斜着补 
列空间本身也有基,即子空间的基
 
认识一个概念 高维空间 之间的垂直
即:列空间这个空间中的 任意拿出的一个向量  与 left null space 中的 任意拿出的一个向量
都是相互垂直的,这个是 整个空间的垂直 
新的观点
列空间的 秩 是 列空间这个子空间 占整个全空间的 筹码
比如 列空间是维度是 10,它的秩是 6,那么列空间就站 全空间的 60%
 
列空间基的个数 等于其rank ,这就是 重新认识 秩的概念
秩相当于该 子空间在 全空间的 占比
如何使用这四个子空间
1. 判断方程组是否有解
2. SVD 的解释
3. 依据 SVD 直接 给出 方程组的解
新的观点
Ax = b
如果 b ∈ C(A),那么方程组有解
如果 b ∉ C(A),那么方程组无解
 
当方程组有解,如果 A 的零空间基为零,即维度为0,那么唯一解
如果大于0,那么无穷多解
 
 
这个的用法 主要是 解释 以前给你的判断 有解无解 的公式 依据,一种思考角度,即:
rank([A b]) = rank(A)  说明 b ∈C(A),那么 一定有解,即在看 b 是否属于 C(A)
n - rank R(A)  如果为0,那么唯一解,否则无穷多解, 即在看 零空间的维度,此时即 满秩矩阵
 
矩阵的列秩和行秩总是相等的,因此它们可以简单地称作矩阵A的秩
所以 上面的 rank R(A) 可以写为 rank A
借助 SVD 求 方程组的解
对 A SVD 拿到它的 V2
然后通过 取特殊值,得到一个 特解 p
然后 x = p + v2 · Φ
几何重数 和 代数重数
这两个都是 特征值的属性,即 矩阵的特征方程多项式分解后,每个 特征值的 指数为代数重数
每个特征值对应的线性无关向量的个数为 几何重数
 
如果 代数重数 均为1,那么 一定可以 对角化
几何重数 小于等于 对应的代数重数
refer
数学的抽象性
抽象 的概念就是 难理解,不好掌握,掌握了也忘了,不知道其 需求来源
即:在于 没有用处,当知道怎么用。。。就有体会了
 
 
听课前的困惑
方程组的解的判定,基础解系 ?貌似与 秩有关 ????
互相不等 特征值
线性无关特征向量
特征值的个数
秩 和 特征值的 关系