scipy.sparse的一些整理
一、scipy.sparse中七种稀疏矩阵类型
1、bsr_matrix：分块压缩稀疏行格式
-
介绍
BSR矩阵中的inptr列表的第i个元素与i+1个元素是储存第i行的数据的列索引以及数据的区间索引，即indices[indptr[i]:indptr[i+1]]为第i行元素的列索引，data[indptr[i]: indptr[i+1]]为第i行元素的data。
在下面的例子中，对于第0行，indptr[0]:indptr[1] -> 0:2，因此第0行的列为indice[0:2]=[0,2]，data为data[0:2]=array([[[1, 1],[1, 1]],[[2, 2],[2, 2]]])，对应的就是最后结果的第0,1行。
-
优点
和压缩稀疏行格式(CSR)很相似，但是BSR更适合于有密集子矩阵的稀疏矩阵，分块矩阵通常出现在向量值有限的离散元中，在这种情景下，比CSR和CSC算术操作更有效。
-
示例
indptr = np.array([0, 2, 3, 6]) indices = np.array([0, 2, 2, 0, 1, 2]) data = np.array([1, 2, 3, 4, 5, 6]).repeat(4).reshape(6, 2, 2) bsr_mat=bsr_matrix((data,indices,indptr), shape=(6, 6)).toarray() 输出： ''' [[1 1 0 0 2 2] [1 1 0 0 2 2] [0 0 0 0 3 3] [0 0 0 0 3 3] [4 4 5 5 6 6] [4 4 5 5 6 6]] '''
2、coo_matrix是可以根据行和列索引进行data值的累加
-
介绍
坐标形式的一种稀疏矩阵。采用三个数组row、col和data保存非零元素的信息。这三个数组的长度相同，row保存元素的行，col保存元素的列，data保存元素的值。许多稀疏矩阵的数据都是采用这种格式保存在文件中的，例如某个CSV文件中可能有这样三列：“用户ID，商品ID，评价值”。采用numpy.loadtxt或pandas.read_csv将数据读入之后，可以通过coo_matrix快速将其转换成稀疏矩阵：矩阵的每行对应一位用户，每列对应一件商品，而元素值为用户对商品的评价。
- 优点
便利快捷的在不同稀疏格式间转换；允许重复录入，允许重复的元素；从CSR\CSC格式转换非常快速。
- 缺点
不能直接进行科学计算和切片操作；不支持元素的存取和增删，一旦创建之后，除了将之转换成其它格式的矩阵，几乎无法对其做任何操作和矩阵运算。
row = np.array([0, 0, 1, 3, 1, 0, 0]) col = np.array([0, 2, 1, 3, 1, 0, 0]) data = np.array([1, 1, 1, 1, 1, 1, 1]) coo_mat=coo_matrix((data, (row, col)), shape=(4, 4)).toarray() 输出： ''' [[3 0 1 0] [0 2 0 0] [0 0 0 0] [0 0 0 1]] '''
3、csc_matrix
-
介绍
csc_matrix的初始化方法可以是bsr_matrix的初始化方法，也可以是coo_matrix的初始化方法
-
优缺点：
高效的CSC +CSC, CSC * CSC算术运算；高效的列切片操作。但是矩阵内积操作没有CSR, BSR快；行切片操作慢（相比CSR）；稀疏结构的变化代价高（相比LIL 或者 DOK）。
row = np.array([0, 0, 1, 3, 1, 0, 0]) col = np.array([0, 2, 1, 3, 1, 0, 0]) data = np.array([1, 1, 1, 1, 1, 1, 1]) csc_mat=csc_matrix((data, (row, col)), shape=(4, 4)).toarray() 输出： ''' [[3 0 1 0] [0 2 0 0] [0 0 0 0] [0 0 0 1]] '''
4、csr_matrix
-
介绍
csr_matrix的初始化与csc_matrix一致。
-
优缺点
高效的CSR + CSR, CSR *CSR算术运算；高效的行切片操作；高效的矩阵内积内积操作。但是列切片操作慢（相比CSC）；稀疏结构的变化代价高（相比LIL 或者 DOK）。CSR格式在存储稀疏矩阵时非零元素平均使用的字节数(Bytes per Nonzero Entry)最为稳定（float类型约为8.5，double类型约为12.5）。CSR格式常用于读入数据后进行稀疏矩阵计算。
row = np.array([0, 0, 1, 3, 1, 0, 0]) col = np.array([0, 2, 1, 3, 1, 0, 0]) data = np.array([1, 1, 1, 1, 1, 1, 1]) csr_mat=csr_matrix((data, (row, col)), shape=(4, 4)).toarray() 输出： ''' [[3 0 1 0] [0 2 0 0] [0 0 0 0] [0 0 0 1]] '''
5、dia_matrix
-
介绍
data定义对角线元素，在这里是[1,2,3,4]。
offsets定义对角线的偏移量，0代表正对角线，正数代表往上偏移，负数代表往下偏移。
-
优缺点
对角存储格式(DIA)和ELL格式在进行稀疏矩阵-矢量乘积(sparse matrix-vector products)时效率最高，所以它们是应用迭代法(如共轭梯度法)解稀疏线性系统最快的格式；DIA格式存储数据的非零元素平均使用的字节数与矩阵类型有较大关系，适合于StructuredMesh结构的稀疏矩阵（float类型约为4.05，double类型约为8.10）。对于Unstructured Mesh以及Random Matrix，DIA格式使用的字节数是CSR格式的十几倍。
data = np.array([[1, 2, 3, 4]]).repeat(3, axis=0) offsets = np.array([0, -1, 2]) dia_mat=dia_matrix((data, offsets), shape=(4, 4)).toarray() 输出： ''' [[1 0 3 0] [1 2 0 4] [0 2 3 0] [0 0 3 4]] '''
6、dok_matrix
-
介绍
dok_matrix从dict继承，它采用字典保存矩阵中不为0的元素：字典的键是一个保存元素(行,列)信息的元组，其对应的值为矩阵中位于(行,列)中的元素值。
-
优缺点
显然字典格式的稀疏矩阵很适合单个元素的添加、删除和存取操作。通常用来逐渐添加非零元素，然后转换成其它支持快速运算的格式。
S = dok_matrix((5, 5), dtype=np.int) for i in range(5): for j in range(5): S[i, j] = i + j 输出： ''' [[0 1 2 3 4] [1 2 3 4 5] [2 3 4 5 6] [3 4 5 6 7] [4 5 6 7 8]] '''
7、lil_matrix
-
介绍
基于行连接存储的稀疏矩阵。lil_matrix使用两个列表保存非零元素。data保存每行中的非零元素，rows保存非零元素所在的列。
-
优缺点
这种格式也很适合逐个添加元素，并且能快速获取行相关的数据。
l = lil_matrix((6,5)) l[2,3] = 1 l[3,4] = 2 l[3,2] = 3 print (l.toarray()) print(l.data) print(l.rows) 输出 ''' [[0. 0. 0. 0. 0.] [0. 0. 0. 0. 0.] [0. 0. 0. 1. 0.] [0. 0. 3. 0. 2.] [0. 0. 0. 0. 0.] [0. 0. 0. 0. 0.]] [list([]) list([]) list([1.0]) list([3.0, 2.0]) list([]) list([])] [list([]) list([]) list([3]) list([2, 4]) list([]) list([])]
二、scipy.sparse中的矩阵函数
下面我只列出比较有用的函数，其他的函数可以参见scipy.sparse官网。
构造函数
- eye(m[, n, k, dtype, format])：对角线为1的稀疏矩阵
- identity(n[, dtype, format])：单位矩阵
- diags(diagonals[, offsets, shape, format, dtype])：构造对角矩阵（含偏移量）
- spdiags(data, diags, m, n[, format])：从矩阵中返回含偏移量的对角稀疏矩阵
- hstack(blocks[, format, dtype]) Stack sparse matrices horizontally (column wise) ：在竖直方向上堆叠
- vstack(blocks[, format, dtype]) Stack sparse matrices vertically (row wise)：在水平方向上平铺
判别函数
- issparse(x)：x是否为sparse类型
- isspmatrix(x)：x是否为sparse类型
- isspmatrix_csc(x)：x是否为csc_matrix类型
- isspmatrix_csr(x)：x是否为csr_matrix类型
- isspmatrix_bsr(x)：x是否为bsr_matrix类型
- isspmatrix_lil(x)：x是否为lil_matrix类型
- isspmatrix_dok(x)：x是否为dok_matrix类型
- isspmatrix_coo(x)：x是否为coo_matrix类型
- isspmatrix_dia(x)：x是否为dia_matrix类型
其他有用函数
- save_npz(file, matrix[, compressed])：以.npz格式保存稀疏矩阵
- load_npz(file)：导入.npz格式的稀疏矩阵
- find(A)：返回稀疏矩阵A中的非零元的位置以及数值
scipy.sparse中的作用在矩阵的内函数
下面的函数只针对csr_matrix列出，其他稀疏矩阵格式的函数也类似，具体可以查看对应稀疏矩阵的说明文档下面的函数说明部分。
针对元素的函数
内函数中有很多作用在矩阵元素的函数，下面列出一些函数。- arcsin()：每个元素进行arcsin运算
- floor()：每个元素进行floor运算
- sqrt()：每个元素进行sqrt运算
- maximum(other)：比较稀疏矩阵与other矩阵的每个元素，返回最大值
转化函数
- todense([order, out])：返回稀疏矩阵的np.matrix形式
- toarray([order, out])：返回稀疏矩阵的np.array形式
- tobsr([blocksize, copy])：返回稀疏矩阵的bsr_matrix形式
- tocoo([copy])：返回稀疏矩阵的coo_matrix形式
- tocsc([copy])：返回稀疏矩阵的csc_matrix形式
- tocsr([copy])：返回稀疏矩阵的csr_matrix形式
- todia([copy])：返回稀疏矩阵的dia_matrix形式
- todok([copy])：返回稀疏矩阵的dok_matrix形式
- tolil([copy])：返回稀疏矩阵的lil_matrix形式
其他函数
- get_shape()：返回稀疏矩阵的维度max([axis, out])：返回稀疏矩阵沿着某个轴的最大值
- reshape(self, shape[, order, copy])：将稀疏矩阵的维度重构
- diagonal([k])：返回第k个对角元素，但是在我的python3版本中k不起作用。
- dot(other)：与other矩阵的矩阵乘法
————————————————
参考文献：
https://blog.csdn.net/qq_33466771/article/details/80304498
https://blog.csdn.net/ChenglinBen/article/details/84424379
