python——numpy库
numpy库
英文官方文档：https://docs.scipy.org/doc/numpy/reference/arrays.ndarray.html
一、numpy库中的数组对象：N维数组类型：ndarray
1) ndarray的作用：
a) 数组对象性可以去掉元素间运算所需的循环，使一维向量更像单个数据。
b) 设置专门的数组对象，经过优化，可以提升这类应用的运算速度。
2) ndarray是一个多维数组对象，有两部分组成：
实际的数据 和 描述这些数据的元数据（数据维度、数据类型等）
ndarray数组一般要求所有元素类型相同（同质），数组下标从零开始
3) ndarray实例对象的属性：
.ndim：秩，即轴的数量或维度的数量
.shape：ndarray对象的尺度，对于矩阵，n行m列
.size：ndarray对象元素的个数，相当于.shape中的n*m
.dtype：ndarray对象的元素类型
.itemsize：ndarray对象中的每个元素的大小，以字节为单位
4) ndarray的元素类型：
|
数据类型 |
说明 |
|
bool |
布尔类型，True or False |
|
intc |
与C语言中的int类型一致Int32或int6 |
|
intp |
用于索引的整数，与C语言中的ssize_t一致，int2或int64 |
|
int8 |
8字节长度的整数，取值[-128,127] |
|
int16/int32/int64 |
类似int8 |
|
uint8 |
8位无符正数，取值[0,255] |
|
uint16/uint32/uint64 |
类似uint8 |
|
float16 |
16位半精度浮点数:1位符号位,5位指数(10^指数),10位尾数 |
|
float32 |
类似float16；1为符号位，8位指数，23位尾数 |
|
float64 |
类似float16；1为符号位，11位指数，52位尾数 |
|
complex64 |
复数类型，实部和虚部都是32位浮点数 |
|
complex128 |
复数类型，实部和虚部都是64位浮点数 |
对比：python语法只支持整数，浮点数和复数3种类型
而科学计算对数据的类型，精度都有较高要求
注意：非同质的ndarray无法有效发挥numpy优势，尽量避免使用
5) ndarray数组的创建方法：
a) 从python中的列表、元组等类型创建ndarray数组
x=numpy.array(list/tuple)
x=numpy.array(list/tuple, dtype=np.int64)
不指定dtype,numpy将根据数据情况关联一个dtype
b) 使用numpy中函数创建ndarray数组，如：arange,ones,zeros等
|
函数 |
说明 |
|
numpy.arange(n) |
类似range()函数，返回ndarray类型，元素从0到n-1 |
|
numpy.ones(shape) |
根据shape生成一个全一数组，shape是元组类型 |
|
numpy.zeros(shape) |
根据shape生成一个全零数组，shape是元组类型 |
|
numpy.full(shape,val) |
根据shape生成一个数组，每个元素值都是val |
|
numpy.eye(n) |
生成n阶单位阵 |
|
numpy.ones_like(a) |
根据数组a的形状生成一个全1数组 |
|
numpy.zeros_like(a) |
根据数组a的形状生成一个全0数组 |
|
numpy.full_like(a,val) |
根据数组a的形状生成一个数组，每个元素值都是val |
|
numpy.linspace() |
根据起止数据等间距地填充数据，形成数组 |
|
numpy.concatenate() |
将两个或多个数组合并成一个新的数组 |
c) 从字节流(raw bytes )中创建ndarray数组
d) 从文件中读取特定格式，创建ndarray数组
6）ndarray数组的变换
a) ndarray数组的维度变换(例如x=numpy.eye(n))
|
函数 |
说明 |
|
x.reshape(shape) |
不改变数组元素，返回一个shape形状的数组，原数组不变 |
|
x.resize(shape) |
与.reshape()功能一致，但修改原数组 |
|
x.swapaxes(ax1,ax2) |
将数组n个维度中的两个维度进行调换 |
|
x.flatten() |
对数组进行降维，返回折叠后的一维数组，原数组不变 |
b) ndarray数组的其他变换
|
函数 |
说明 |
|
x.astype(new_type) |
类型变换：创建一个新数组(原始数据的一个拷贝）即使两个数据类型一致 |
|
x.tolist() |
向列表变换 |
7）ndarray数组的操作：
数组的索引：获取数组中特定元素。例如
数组的切片：获取数组元素子集的过程。
a） 一维数组的索引和切片：与python的列表类似
b）多维数组的索引：
每个维度的索引值用逗号分隔，选取一个维度用 ：(冒号)，每个维度切片方法与一维数组相同。
例如：
8）ndarray数组的运算：
数组与标量之间的运算：
数组与标量之间的运算作用于数组的每一个元素
numpy的一元函数：
|
函数 |
说明 |
|
numpy.abs(x)/.fabs(x) |
计算数组中各元素的绝对值 |
|
numpy.sqrt() |
计算数组中各元素的平方根 |
|
numpy.square(x) |
计算数组中各元素的平方 |
|
numpy.log(x)/.log10(x)/log2(x) |
计算数组各元素自然对数、10底对数、2底对数 |
|
numpy.ceil(x)/.floor(x) |
计算数组各元素的ceilling值或floor的值 |
|
numpy.rint(x) |
计算数组各元素的四舍五入值 |
|
numpy.modf(x) |
将数组各元素的小数和整数部分以两个独立数组形式返回 |
|
numpy.cos(x)/.cosh(x) numpy.sin(x)/.sinh(x) numpy.tan(x)/.tanh(x) |
计算数组各元素的普通型和双曲型三角函数 |
|
numpy.sign(x) |
计算数组各元素的符号值 |
|
numpy.exp(x) |
计算数组各元素的指数值 |
numpy的二元函数：
|
函数 |
说明 |
|
+ - * / ** |
两数组各元素进行对应运算 |
|
numpy.maximum(x)/.fmax(x) numpy.minimum(x)/.fmin() |
元素级的最值 |
|
numpy.mod(x,y) |
元素级的模运算 |
|
numpy.copysign(x,y) |
将数组y中各元素的符号赋值给数组x对应元素 |
|
> < >= == != |
算术比较运算符，产生布尔类型 |
二、numpy库数据存取与文件
1、 数据的csv文件存取：
a) csv文件：Comma-Separated Value 逗号分隔值。CSV文件是一种常见的文件格式，用于存储批量数据
b) numpy库向文件写入csv格式并从csv文件读取数据。
i. 向文件写入csv的函数
numpy.savetxt(frame,array,fmt=’%.18e’, delimiter=None)：
功能：该函数可以生成带有特定分隔字符串的文件。
参数解释：
frame：文件、字符或生产器，可以是.gz或.bz2的压缩文件。（即文件路径）
array：要存入文件的数组。
fmt (format)：写入文件中每一个元素（整型,浮点型等保存在文件中所对应
字符串的格式）使用的格式。例如：%d，%2.f，%.18e。
默认%.18e(科学计数法保留18位小数)，这个参数常要修改。
delimiter：分隔字符串，默认是空格。其表示写入到数据文件中，数据之间
的分隔字符串。CSV文件分隔串为 ‘,’ ，即delimiter=’,’ 。
ii. 读入csv格式文件的函数
x=numpy.loadtxt(frame,dtype=numpy.float,delimiter=None,unpack=False)
参数解释：
frame：文件、字符串或产生器，可以是.gz或.bz2的压缩文件。
dtype：数据类型，可选，将csv文件每个元素字符串变成特定格式。
默认float类型。
unpack：False表示读入的数据写入一个数组，True表示读入属性将分别写
入不用变量。
delimiter：分割字符串，默认是任何空格。
c) CSV文件的局限性：CSV文件只能有效存储一维和二维数组，即上述函数只能有效存取和读取一维和二维数组。
2、 任意维度数据的存取：
a) 对于ndarray数组a，可以使用a.tofile(frame, sep=’’ , format=‘%s’)
参数解释：
frame：文件或字符串的名字。
sep：数据分割字符串，如果是空串，写入文件为二进制（占用空间更少）。
format：写入数据的格式。例如：%d 。
注意：文件将不会包含维度信息，而是将每个维度元素按列写入csv文件。
b) 从文件还原数据：
X=numpy.fromfile(frame,dtype=float,count=-1,sep=’’)
参数解释：
frame：文件、字符串的名字。
dtype：读取数据的类型。
count：读入元素个数，默认-1表示读入整个文件。
sep：表示数据分割字符串，如果是空串，写入文件为二进制。
注意：读入后的ndarray数组对象a，通过a.reshape()函数还原维度信息。只有预
先知道文件的维度以及元素类型才能有效还原数据。即a.tofile()与a.fromfile()
需要配合使用。
可以通过元数据文件来存储额外信息（比较繁琐）。
c) numpy的便捷文件存取:
i. numpy.save(fname,array)或numpy.savez(fname,array) //存文件
参数解释：
frame：文件名，已.npy为拓展名，压缩拓展名为.npz。
array：要存储的数组变量。
ii. numpy.load(fname) //还原文件
参数解释：
frame：文件名，以.npy为拓展名，压缩拓展名为.pyz
三、numpy库的随机函数
numpy的random子库 ( 调用的时候直接numpy.functionName() )：
|
函数 |
说明 |
|
第一类 |
|
|
rand(d0,d1,…,dn) |
根据d0-dn创建随机数数组，浮点数，[0,1),均匀分布 |
|
randn(d0,…,dn) |
根据d0-dn创建随机数数组，标准正态分布 |
|
randint( low[ , high,shape] ) |
根据shape创建随机整数或整数数组，范围是[ low,high ] |
|
seed(s) |
随机数种子，s是给定的种子数 |
|
第二类 |
|
|
shuffle(a) |
根据数组a的第1轴进行随机排列，改变原数组a |
|
permutation(a) |
根据数组a的第1轴产生一个新的乱序数组，不改变原数组a |
|
choice(a[,size,replace,p] ) |
从一维数组a中以概率p抽取元素，形成size形状新数组，replace表示每次抽取是否可以重用元素，默认为False |
|
第三类 |
|
|
uniform(low,high,size) |
产生具有均匀分布的数组，low是启始值，high是结束值，size形状 |
|
normal(loc,scale,size) |
产生具有正态分布的数组，loc是均值，scale是标准差，size是形状 |
|
poisson(lam,size) |
产生具有泊松分布的数组，lam是随机事件发生概率，size是形状 |
四、numpy的统计函数
统计函数：统计数组中的信息进行统计运算。
numpy直接提供的统计类函数 通过numpy.functionName()调用：
|
函数 |
说明 |
|
sum(a,axis=None) |
根据给定轴axis计算数组a相关元素之和，axis整数或元组 |
|
mean(a,axis=None) |
根据给定轴axis计算数组a相关元素的期望，axis为整数或元组 |
|
average(a,axis=None,weights=None) |
根据给定轴axis计算数组a的加权平均值 |
|
std(a,axis=None) |
根据给定轴axis计算数组a的标准差 |
|
var(a, axis=None) |
根据给定轴axis计算数组a相关元素方差 |
|
min(a) max(a) |
计算数组a中元素的最小值、最大值 |
|
argmin(a) argmax(a) |
计算数组a中元素最小值、最大值的降一维后下标 |
|
unravel_index(index,shape) |
根据shape将一堆下标index转换成多维下标 |
|
ptp(a) |
计算数组a中元素最大值与最小值之差 |
|
median(a) |
计算数组a中元素的中位数（中值） |
五、梯度函数
梯度：连续值之间的变化率，即斜率。
numpy.random的梯度函数只有一个：
numpy.gradient( f )：计算数组中元素的梯度，当t为多维时，返回每个维度梯度
