(九)python语法之机器学习

目录

• 1.numpy
  • 创建
  • 属性
  • 操作
  • 数学
  • 矩阵
  • 存储
• 2.pandas
  • Series
  • DataFrame
  • 统计函数
• 3.matplotlib
  • 基本绘图
  • 绘图样式
  • 绘图区域
  • 文本箭头
  • 绘制图表

1.numpy

创建

import numpy as np

print(np.array([1,2,3], dtype=np.float32)) 
# [1. 2. 3.]
print(np.arange(3))        
# [0 1 2]

print(np.linspace(1,10,4)) 
# [1. 4. 7. 10.] 间距=(10-1)/(4-1)
print(np.linspace(1,10,4, endpoint=False)) 
# [1. 3.25 5.5 7.75] 间距=(10-1)/4

np.ones((3,3))     # 3x3元素全为1.的矩阵
np.zeros((3,3))    # 3x3元素全为0.的矩阵
np.full((3,3), 2)  # 3x3元素全为2的矩阵
np.eye(3)          # 3x3单位矩阵 

a = np.arange(12).reshape(3,4) 
np.ones_like(a)    # 3x4元素全为1的矩阵
np.zeros_like(a)   # 3x4元素全为0的矩阵
np.full_like(a, 2) # 3x4元素全为2的矩阵  

np.random.seed(10) # 随机数种子
np.random.random() # 产生随机数

# 由[10,20)的随机整数构成的4x4矩阵
np.random.randint(10,20,(4,4)) 
# 4x4服从0~1均匀分布的随机矩阵
np.random.rand(4,4)  
# 4x4服从标准正态分布的随机矩阵
np.random.randn(4,4)     
# 从[0,10)均匀取值的4x4随机矩阵
np.random.uniform(0,10,(4,4)) 
# 4x4服从均值为2标准差为3的正态分布的随机矩阵
np.random.normal(2,3,(4,4)) 
# 4x4服从lambda为2的泊松分布的随机矩阵
np.random.poisson(2,(4,4))  

# 从一维数组a中以概率p抽取3x3的元素，replace表示是否可以重用元素
a = np.arange(10)
print(np.random.choice(a,(3,3),replace=False,p=a/np.sum(a)))

# 就地打乱数组，随机交换行
a = np.arange(12).reshape(3,4) 
np.random.shuffle(a)         
print(a)   

# 打乱数组，生成新数组
a = np.arange(12).reshape(3,4)
b = np.random.permutation(a) 
print(b)

属性

import numpy as np

a = np.arange(12).reshape(3,4) 
print(a.shape)    # (3, 4)
print(a.dtype)    # int32
print(a.ndim)     # 2 维度的数量
print(a.size)     # 12 元素个数
print(a.itemsize) # 4 元素的字节大小
print(a.mean())   # 5.5 所有元素平均值

print(a.sum())       # 66 所有元素的和
print(a.sum(axis=1)) # 1轴求和 [6 22 38]
print(a.sum(axis=0)) # 0轴求和 [12 15 18 21]

a.argsort(axis=0) # 3x4 0轴排序后的索引
a.argmax(axis=0)  # 1x4 0轴最大值的索引

a[1:4:2] # 0维取第1行 起始:终止:步长
a[:,1]   # 0维取全部，一维取第1列
a[:,1:3] # 0维取全部，一维取第1、2列
    
a.astype(np.float) # 修改元素类型
a.tolist()         # 将数组转化为列表
a.flatten()        # 展开成一维数组
a.reshape((4,3))   # reshape成4x3矩阵
a.swapaxes(0,1)    # 维度调换

操作

#1 根据布尔值掩码改变元素
a = np.array([1,2,3,4,5], dtype=np.int)
a[a < 3] = 0   
print(a) 
# [0 0 3 4 5]

#2 去重并按顺序返回一维数组
print(np.unique([1, 2, 2, 5, 3, 4, 3]))
# [1 2 3 4 5]

#3 边界裁剪(设定最小为3，最大为8)
a = np.array([1,2,3,5,6,7,8,9])
print(np.clip(a, 3, 8))  
# array([3, 3, 3, 5, 6, 7, 8, 8])

#4 np.where()
#  满足条件返回a，不满足返回0
a = np.array([1, 2, 3, 4, 5])
print(np.where(a < 3, a, 0)) 
#  [1 2 0 0 0]
# 返回满足条件的索引
print(np.where(a < 3))       
# (array([0, 1], dtype=int64),)

#5 np.nonzero()返回非0值的索引
print(np.nonzero([0,1,2,3]))  
# (array([1, 2, 3], dtype=int64),)

#6 连接
a = np.array([[1, 2], 
              [3, 4]])
b = np.array([[5, 6]])   
print(np.concatenate((a, b), axis=0))
# [[1 2]
#  [3 4]
#  [5 6]]
  
#7 堆叠
a = np.array([1, 2, 3])
b = np.array([4, 5, 6])
print(np.stack((a, b), axis=0)) 
# [[1 2 3]
#  [4 5 6]]
print(np.stack((a, b), axis=1)) 
# [[1 4]
#  [2 5]
#  [3 6]]

#8 np.tile()整体重复
#  [0,0]横向重复5次
print(np.tile([0,0],5))        
# [0 0 0 0 0 0 0 0 0 0]
# [0,0]先竖向重复5次，再横向重复两次
print(np.tile([0,0],(5,2)))    
# [[0 0 0 0]
#  [0 0 0 0]
#  [0 0 0 0]
#  [0 0 0 0]
#  [0 0 0 0]]

#9 np.repeat()单独重复
a = np.array([[1,2],
              [3,4]])
print(np.repeat(a, 3, axis=1))
# [[1 1 1 2 2 2]
#  [3 3 3 4 4 4]]

#10 np.pad()填充
# 前面填充1位0 后面填充2位2
a = np.array([1, 1, 1])
b = np.pad(a,(1,2),'constant', constant_values=(0,2)) 
print(b) 
# [0 1 1 1 2 2] 

# 先在行上填充一行0、行下填充一行3，再在列左填充两列0、列右填充两列3
a = np.array([[1,1],
              [2,2]])
b = np.pad(a,((1,1),(2,2)),'constant', constant_values=(0,3)) 
print(b)
# [[0 0 0 0 3 3]
#  [0 0 1 1 3 3]
#  [0 0 2 2 3 3]
#  [0 0 3 3 3 3]]
    
#11 旋转
mat = np.arange(9).reshape(3,3)
print(mat)
print(np.rot90(mat, 1)) # 逆时针旋转90度
print(np.rot90(mat, 2)) # 逆时针旋转180度

#12 生成网格
x = np.array([0, 1, 2])
y = np.array([0, 1])
X, Y = np.meshgrid(x, y)
print(X)
print(Y)

数学

import numpy as np

np.abs(-1), np.fabs(-1)
np.sqrt(4), np.square(2)
np.ceil(4.5), np.floor(4.5)
np.exp(0) 
np.log(np.e), np.log10(10), np.log2(2)
np.cos(0), np.sin(0), np.tan(0)
np.cosh(0), np.sinh(0), np.tanh(0)

print(np.sign(2))   # 1 符号函数  
print(np.rint(4.6)) # 5.0 四舍五入
print(np.mod(5, 2)) # 1 取余
print(np.modf(4.6)) # 返回小数和整数
print(np.copysign(3, -6)) # -3.0 拷贝符号
print(np.gradient([1,3,6,10])) 
# [2. 2.5 3.5 4.] 梯度计算 

print(np.logical_and(1, 0)) # False 
print(np.logical_or(1, 0))  # True  
print(np.logical_not(1))    # False 

print(np.maximum(1, 3))         # 3 
print(np.minimum([1,4], [2,3])) # [1 3] 

a = np.arange(6) 
np.min(a)            # 最小值
np.max(a)            # 最大值
np.argmin(a)         # 最小值的下标
np.argmax(a)         # 最大值的下标
np.sum(a,axis=None)  # 求和
np.mean(a,axis=None) # 均值
np.median(a)         # 中位数
np.std(a,axis=None)  # 标准差
np.var(a,axis=None)  # 方差
np.ptp(a)            # 最大值-最小值 
np.corrcoef(a, a)    # 相关系数

矩阵

import numpy as np

a = np.random.randn(3,3)
m = np.mat(a) # 将数组转化为numpy.matrix
print(m.A)    # 将矩阵转换为数组
print(m.T)    # 矩阵转置           
print(m.I)    # 求逆矩阵

print(np.linalg.det(m))     # 求行列式 
print(np.linalg.eigvals(m)) # 求特征值

# 求解 mx = v
v = np.random.randn(3)      
x = np.linalg.solve(m,v)  
print(x)

存储

import numpy as np

# csv形式的保存和加载
a = np.arange(12).reshape(3,4)
np.savetxt('np.csv',a,fmt='%d',delimiter=',')       
b = np.loadtxt('np.csv',dtype=np.int,delimiter=',') 
print(b)

# 多维数据的存储
a = np.arange(24).reshape(2,3,4)
a.tofile('np.dat',sep=',',format='%d') 
b = np.fromfile('np.dat',dtype=np.int,sep=',')
b = b.reshape(2,3,4) 
print(b)

# 快捷存储
a = np.arange(24).reshape(2,3,4)
np.save('np.npy',a)
b = np.load('np.npy')
print(b)

2.pandas

Series

# 带标签的一维数组

import pandas as pd
import numpy as np

#1 创建
print(pd.Series([9,8,7]))     
# 自动索引 0 9 1 8 2 7 
print(pd.Series([9,8,7], index=['a','b','c'])) 
# 自定义索引 a 9 b 8 c 7
print(pd.Series({'a':9,'b':8,"c":7})) 
# a 9 b 8 c 7

#2 属性
s = pd.Series([9,8,7,6],['a','b','c','d'])
print(s.index)  # 获取索引
print(s.values) # 获取值

#3 索引
print(s[0], s['a'])  # 9 9
print(s[:3])         # a 9 b 8 c 7
print('c' in s)      # True
print(s.get('f', 0)) # 0 索引不存在时返回0

#4 操作
s['a'] = 90
s['b','c'] = 80
s[s > s.median()] = 100
print(s) 
# a 100 b 80 c 80 d 6
print(s.drop(['b','c'])) 
# a 100 d 6 drop操作不改变s

s2 = np.exp(s)
print(s+s2)

DataFrame

# 带标签的二维数组
         
import pandas as pd
import numpy as np

#1 创建
print(pd.DataFrame(np.arange(10).reshape(2,5)))
#   0 1 2 3 4
# 0 0 1 2 3 4
# 1 5 6 7 8 9

dt = {'one': pd.Series([1,2,3],['a','b','c']),
      'two': pd.Series([9,8,7,6],['a','b','c','d'])}
print(pd.DataFrame(dt))
#   one two
# a 1.0  9
# b 2.0  8
# c 3.0  7
# d NaN  6
print(pd.DataFrame(dt,index=['b','c','d'],columns=['two','three']))
#   two three
# b  8   NaN
# c  7   NaN
# d  6   NaN

#2 属性
dt = {'one': [1,2,3,4], 'two': [9,8,7,6]}
d = pd.DataFrame(dt,index=['a','b','c','d'])
#   one two
# a  1   9
# b  2   8
# c  3   7
# d  4   6
print(d.index)   
# Index(['a', 'b', 'c', 'd'], dtype='object')
print(d.columns) 
# Index(['one', 'two'], dtype='object')
print(d.values)
print(d['one'])
print(d['one']['a']) # 1

#3 运算
dt = {'one': [1,2,3,4], 'two': [9,8,7,6]}
d = pd.DataFrame(dt,index=['a','b','c','d'])
#   one two
# a  1   9
# b  2   8
# c  3   7
# d  4   6

print(d.add(1, fill_value=100))
print(d.sub(1))
print(d.mul(2))
print(d.div(pd.Series([2,3], index=['one','two'])))
#    one    two
# a  0.5  3.000000
# b  1.0  2.666667
# c  1.5  2.333333
# d  2.0  2.000000

print(d > 5)
print(d > pd.Series([2,3], index=['one','two']))
#     one   two
# a  False  True
# b  False  True
# c   True  True
# d   True  True

#4 索引排序
d = pd.DataFrame(np.arange(20).reshape(4,5),index=['c','a','d','b'])
#     0   1   2   3   4
# c   0   1   2   3   4
# a   5   6   7   8   9
# d  10  11  12  13  14
# b  15  16  17  18  19

print(d.sort_index())
print(d.sort_index(axis=1, ascending=False))
#     4   3   2   1   0
# c   4   3   2   1   0
# a   9   8   7   6   5
# d  14  13  12  11  10
# b  19  18  17  16  15

#5 值排序
np.random.seed(0)
d = pd.DataFrame(np.random.randint(1,9,(4,5)),index=['c','a','d','b'])
#    0  1  2  3  4
# c  5  8  6  1  4
# a  4  4  8  2  4
# d  6  3  5  8  7
# b  1  1  5  3  2

print(d.sort_values(2, ascending=False))
print(d.sort_values('d', axis=1))
#    1  2  0  4  3
# c  8  6  5  4  1
# a  4  8  4  4  2
# d  3  5  6  7  8
# b  1  5  1  2  3

统计函数

import pandas as pd

# Series:
s = pd.Series([5,8,9,4],['a','b','c','d'])
print(s.argmin(), s.argmax()) # 3 2
print(s.idxmin(), s.idxmax()) # d c

# Series和DataFrame:
s = pd.Series([5,8,2,4],['a','b','c','d'])
print(s.sum())      # 19 
print(s.count())    # 4
print(s.mean())     # 4.75
print(s.median())   # 4.5
print(s.min())      # 2
print(s.max())      # 8
print(s.var())      # 6.25
print(s.std())      # 2.5
print(s.describe()) # 给出一些基本的统计值

s.cumsum()  # 依次给出前1、2...个数的和
s.cumprod() # 依次给出前1、2...个数的积
s.cummax()  # 依次给出前1、2...个数的最大值
s.cummin()  # 依次给出前1、2...个数的最小值

s.rolling(2).sum()  #依次计算相邻2个数的和
s.rolling(2).mean() #依次计算相邻2个数的均值
s.rolling(2).var()  #依次计算相邻2个数的方差
s.rolling(2).std()  #依次计算相邻2个数的标准差
s.rolling(2).min()  #依次计算相邻2个数的最小值
s.rolling(2).max()  #依次计算相邻2个数的最大值

d = pd.DataFrame(np.arange(20).reshape(4,5),index=['c','a','d','b'])
#     0   1   2   3   4
# c   0   1   2   3   4
# a   5   6   7   8   9
# d  10  11  12  13  14
# b  15  16  17  18  19
print(d.describe())

3.matplotlib

基本绘图

import matplotlib.pyplot as plt

plt.title('Test')    # 标题
plt.xlabel("Time")   # x轴标签
plt.ylabel("Num")    # y轴标签
plt.grid(True)       # 显示网格线

# 设置横坐标(0,10),纵坐标(0,6)
plt.axis([0,10,0,6]) 

# 绘制，x轴为(0,1,2,3)
plt.plot([1,2,3,4])  

# 绘制(x,y)
plt.plot([0,2,4,6],[1,2,3,4]) 

plt.savefig('plt', dpi=600)   # 保存为图片
plt.show()                    # 显示

绘图样式

import matplotlib.pyplot as plt

a = np.arange(0., 5., 0.2)
plt.plot(a,a,'go-', a,a*1.5,'rx', a,a**2,'b-.', linewidth=2.0) 

'''
颜色字符：b蓝色 g绿色 r红色 c青绿色 m洋红色 y黄色 k黑色 w白色

风格字符：-实线 --破折线 -.点划线 :虚线 ''无线条

标记字符：
.点标记 ,像素标记 o实心圈 
v倒三角 ^上三角 >右三角 <左三角
1下花三角 2上花三角 3左花三角 4右花三角
s实心方形 p实心五角 *星形 h竖六边形 H横六边形
+十字 x标记 D菱形 d瘦菱形 |垂直线
'''

绘图区域

import matplotlib.pyplot as plt

a = np.arange(0.0,5.0,0.02)

for i in range(1,5):
    # 设置两行两列，索引为1,2,3,4
    plt.subplot(2,2,i) 
    plt.plot(a, a**2)

plt.show()

文本箭头

import matplotlib
import matplotlib.pyplot as plt

# 全局中文显示
matplotlib.rcParams['font.family']='SimHei' 
matplotlib.rcParams['font.style']='normal'  
matplotlib.rcParams['font.size']=18 
plt.ylabel('数量')

# 局部中文显示
plt.xlabel('时间',fontproperties='Simhei',fontsize=20,color='red') 

# 文本和箭头注解
a = np.arange(0.0,5.0,0.02)
plt.plot(a, a**2)

plt.text(1,2,'mu=10',fontsize=15)

plt.annotate('mu=10',xy=(2,1),xytext=(3,1.5), arrowprops=dict(facecolor='black',shrink=0.1,width=1))

绘制图表

import matplotlib.pyplot as plt
import numpy as np

#1 饼图
labels = 'Apple','Banana','Cherry','Date'
sizes  = [15,30,45,10]
explode = (0,0,0.1,0) # 表示突出谁
plt.pie(sizes,explode=explode,labels=labels,autopct='%1.1f%%',
shadow=False,startangle=90)
plt.axis('equal')     # 绘制圆形的饼
plt.show()

#2 散点图绘制
fig, ax = plt.subplots()
ax.plot(10*np.random.randn(100),10*np.random.randn(100),'o')
ax.set_title('Scatter')
plt.show()

#3 直方图绘制
np.random.seed(0)
mu, sigma = 100, 20 
a = np.random.normal(mu, sigma, size=100)
plt.hist(a,10,histtype='stepfilled',facecolor='b',alpha=0.75) 
# 10是直方的个数

#4 极坐标绘制
N = 20
theta = np.linspace(0.0,2*np.pi,N,endpoint=False)
radii = 10*np.random.rand(N)
width = np.pi/4*np.random.rand(N)
ax = plt.subplot(111,projection='polar')
bars = ax.bar(theta,radii,width=width,bottom=0.0) 
for r,bar in zip(radii,bars):
    bar.set_facecolor(plt.cm.viridis(r/10.))
    bar.set_alpha(0.5)
plt.show()