掌握numpy(四)

目录##

掌握numpy(一)
掌握numpy(二)
掌握numpy(三)
掌握numpy(四)

数组的累加(拼接)##

在前面讲了使用切片方法能够对数组进行切分，使用copy对切片的数组进行复制，那么数组该如何拼接呢？

a1 = np.full((2,3),1)#填充数组
a2 = np.full((3,3),2)
a3 = np.full((2,3),3)
>>a3
array([[ 3.,  3.,  3.],
       [ 3.,  3.,  3.]])

vstack###

竖直方向拼接数组

a4 = np.vstack((a1,a2,a3)) #a1,a2,a3必须有相同的列数
>> a4
[[ 1.  1.  1.]
 [ 1.  1.  1.]
 [ 2.  2.  2.]
 ..., 
 [ 2.  2.  2.]
 [ 3.  3.  3.]
 [ 3.  3.  3.]]

hstack###

使用hstack从水平方向拼接数组

try:
    a5 = np.hstack((a1,a2))#行数不匹配
except ValueError as e:
    >>print e
all the input array dimensions except for the concatenation axis must match exactly

a5 = np.hstack((a1,a3))#正确
>>a5
array([[ 1.,  1.,  1.,  3.,  3.,  3.],
       [ 1.,  1.,  1.,  3.,  3.,  3.]])

concatenate###

是vstack和hstack的融合版本，通过指定axis进行选择拼接方向

a6 = np.concatenate((a1,a2),axis=0)#竖直方向
>>a6
array([[ 1.,  1.,  1.],
       [ 1.,  1.,  1.],
       [ 2.,  2.,  2.],
       [ 2.,  2.,  2.],
       [ 2.,  2.,  2.]])
a7 = np.concatenate((a1,a3),axis=1)
>>a7
array([[ 1.,  1.,  1.,  3.,  3.,  3.],
       [ 1.,  1.,  1.,  3.,  3.,  3.]])

stack###

上面介绍的三种方法都是按照某一维度进行拼接，stack方法拼接是引入了一个新的维度

a8=np.stack((a1,a3))
>>a8
array([[[ 1.,  1.,  1.],#a8[0]
        [ 1.,  1.,  1.]],

       [[ 3.,  3.,  3.],#a8[1]
        [ 3.,  3.,  3.]]])
>>a8.shape
(2L, 2L, 3L)

数组的拆分(split)##

前面讲到了数组的拼接，相应的就是拆分。vstack->vsplit和hstack->hsplit

vsplit###

c = np.arange(24).reshape(4, 6)
c1,c2 = np.vsplit(c,2)
>>c1
array([[ 0,  1,  2,  3,  4,  5],
       [ 6,  7,  8,  9, 10, 11]])

hsplit###

c3,c4 = np.hsplit(c,2)
>>c3
array([[ 0,  1,  2],
       [ 6,  7,  8],
       [12, 13, 14],
       [18, 19, 20]])

线性代数##

Numpy的二维数组常用来表示线性代数中的矩阵，提供了一些便捷的矩阵操作方法,代数运算的方法主要是在 numpy.linalg模块中。

矩阵的转置###

矩阵的转置使用transpose或者T

m = np.arange(24).reshape(4, 6)
>>m
array([[ 0,  1,  2,  3,  4,  5],
       [ 6,  7,  8,  9, 10, 11],
       [12, 13, 14, 15, 16, 17],
       [18, 19, 20, 21, 22, 23]])
>>m.T
array([[ 0,  6, 12, 18],
       [ 1,  7, 13, 19],
       [ 2,  8, 14, 20],
       [ 3,  9, 15, 21],
       [ 4, 10, 16, 22],
       [ 5, 11, 17, 23]])

上面的例子是矩阵的rank>=2的时候，如果rank=1的时候呢？

m1=np.arange(5)
 >>m1
array([0, 1, 2, 3, 4])
>>m1.T
array([0, 1, 2, 3, 4]) #并为发生变化

可以看出T对于rank=1的数组是无效的。我们可以通过reshape将1D数组转化为2D.

m1r = m1.reshape(1,5)#array([[0, 1, 2, 3, 4]])
>>m1r.T
array([[0],
       [1],
       [2],
       [3],
       [4]])

矩阵的内积运算###

在做内积运算的时候，两个矩阵是有形状限制的，例如n1的形状为MxN,那么n2的形状必须为NxS

n1 = np.arange(10).reshape(2, 5)
n2 = np.arange(15).reshape(5,3)
>>n1.dot(n2)
array([[ 90, 100, 110],
       [240, 275, 310]])

矩阵的逆(inverse)###

inv方法是用来计算方阵的逆矩阵

import numpy.linalg as linalg
m2 =  np.array([[1,2,3],[5,7,11],[21,29,31]])
>>m2
array([[ 1,  2,  3],
       [ 5,  7, 11],
       [21, 29, 31]])
>>linalg.inv(m2)
array([[-2.31818182,  0.56818182,  0.02272727],
       [ 1.72727273, -0.72727273,  0.09090909],
       [-0.04545455,  0.29545455, -0.06818182]])

单位矩阵###

单位矩阵(identity matrix)是对角线上元素都为1的矩阵；原始矩阵与逆矩阵的内积为单位矩阵。

>>m2.dot(linalg.inv(m))
array([[  1.00000000e+00,  -1.11022302e-16,  -6.93889390e-18],
       [ -1.33226763e-15,   1.00000000e+00,  -5.55111512e-17],
       [  2.88657986e-15,   0.00000000e+00,   1.00000000e+00]])

在前面我们讲到了使用ones来创建全为1的矩阵，numpy也提供了单位矩阵的方法eys，

>>np.eye(3)
array([[ 1.,  0.,  0.],
       [ 0.,  1.,  0.],
       [ 0.,  0.,  1.]])

矩阵的行列式###

>>linalg.det(m2)
43.999999999999993#浮点数误差

特征值和特征向量###

特征值(eigenvalues)和特征向量(eigenvectors)的求解在矩阵分解时常被用到。

value,vector = linalg.eig(m2)
>>value
array([ 42.26600592,  -0.35798416,  -2.90802176])
>>vector
array([[-0.08381182, -0.76283526, -0.18913107],
       [-0.3075286 ,  0.64133975, -0.6853186 ],
       [-0.94784057, -0.08225377,  0.70325518]])

奇异矩阵分解###

奇异矩阵分解(Singular Value Decomposition)被广泛的应用在推荐系统和数据降维中。

m3=np.array([[1,0,0,0,2], [0,0,3,0,0], [0,0,0,0,0], [0,2,0,0,0]])
U, S_diag, V = linalg.svd(m3)
>>S_diag
array([ 3.        ,  2.23606798,  2.        ,  0.        ])

svd将矩阵才分为三部分，svd方法获得的S_diag是特征向量，现在我们需要的是Σ矩阵，所以需要构建Σ矩阵。

S = np.zeros((4, 5))
S[np.diag_indices(4)] = S_diag
>>S  # Σ
array([[ 3.        ,  0.        ,  0.        ,  0.        ,  0.        ],
       [ 0.        ,  2.23606798,  0.        ,  0.        ,  0.        ],
       [ 0.        ,  0.        ,  2.        ,  0.        ,  0.        ],
       [ 0.        ,  0.        ,  0.        ,  0.        ,  0.        ]])

U、S和V三者的内积能够还原出原始矩阵

>>U.dot(S).dot(V)
array([[ 1.,  0.,  0.,  0.,  2.],
       [ 0.,  0.,  3.,  0.,  0.],
       [ 0.,  0.,  0.,  0.,  0.],
       [ 0.,  2.,  0.,  0.,  0.]])

存储和加载##

Numpy被广泛应用到机器学习领域，将一些处理后的数据持久能够有助于以后的使用。Numpy能够方便的存储和加载二进制文件和文本格式文件。

二进制.npy格式###

创建一个随机数组并将其存储。

a = np.random.rand(2,3)
>>a
array([[ 0.37740913,  0.45913655,  0.87659924],
       [ 0.24951215,  0.04142309,  0.57092372]])
np.save("my_array", a)

在本地就生成了my_array.npy文件，note:虽然文件名并没有加后缀，NUmpy生成的文件名会自动的添加.npy后缀。我们看一看文件内容

with open('my_array.npy','rb') as f: #需要添加.npy后缀
    content =  f.read()
>>content
'\x93NUMPY\x01\x00F\x00{\'descr\': \'<f8\', \'fortran_order\': False, \'shape\': (2L, 3L), }        \n\xbb\xa99\xfe1\xab\xea?\xa4k\x04\x14\xdc"\xda?\xe8\x95\x92\xc5:\xc4\xd6?\x98]\xed\x97\x07\x9e\xed?\xff\x9e\x97\xee\xa2\x16\xed?\xec\xd5\xc7\x8e\x8b\xaa\xcd?'

正确的加载方式是使用load

a = np.load('my_array.npy')

文本格式###

上面是以二进制格式存储，还可以文本格式存储。

np.savetxt("my_array.csv", a)

上面的格式可以使用普通的文件读取方式读取，这里就不再赘述，下面说一下numpy的读取方式

a = np.loadtxt("my_array.csv", delimiter=",")

zipped 格式###

numpy还支持将多个ndarray持久化到同一个文件中

b = np.arange(24, dtype=np.uint8).reshape(2, 3, 4)
>>b
array([[[ 0,  1,  2,  3],
        [ 4,  5,  6,  7],
        [ 8,  9, 10, 11]],

       [[12, 13, 14, 15],
        [16, 17, 18, 19],
        [20, 21, 22, 23]]], dtype=uint8)
np.savez("my_arrays", my_a=a, my_b=b) #自动添加.npz后缀

同save，二进制格式读取读出来的为乱码，使用load方法

my_arrays = np.load("my_arrays.npz")
>>my_arrays
<numpy.lib.npyio.NpzFile at 0xb2e39e8>
>>my_arrays.keys()
['my_b', 'my_a']
>>my_arrays['my_a']#字典方式读取
array([[ 0.75760441,  0.91559205,  0.42412305],
       [ 0.49412246,  0.60609836,  0.69437913]])

至此，掌握NumPy系列文章到此结束，想要了解更多请参考官方文档