随笔分类 - 数学
摘要：最近阅读论文，再回顾一些基础的线性代数知识 1. 行列式 转置不改变行列式的值 对某一行加上另外一行的K倍，不改变行列式的值 只要矩阵有一行为0，行列式就是0。因为行列式等于任意一行/列的元素和其代数余子式的乘积之和，元素本身是0，行列式就是0 \[|A|=a_{i0}
阅读全文
摘要：本文将系统性介绍GPTQ以及他爹，他爷爷，他太爷爷系列论文。GPTQ是目前极端流行的一个后训练量化算法。本文从他太爷爷开始讲起。 GPTQ使用的方法改进自OBC(Frantar, 2022)，OBC来源于OBS(Hassibi, 1992)，OBS来源于OBD(Lecun, 1990) 这是一种量化
阅读全文
摘要：对于正定对称矩阵，可以分解为，其中是下三角矩阵。这个分解方法就是cholesky分解，pytorch对应的函数是[torch.linalg.cholesky](https://pytorch.org/
阅读全文
摘要：# 矩阵乘法求导 pyotrch中只能是标量对矩阵求导，所以矩阵乘法结束后加个sum 其中，和都是矩阵，那么 $$ \frac{\partial L}{\partial\bm{W}}_{\cdot i}=\sum\bm{X
阅读全文
