梯度下降法实现-python[转载]
转自:https://www.jianshu.com/p/c7e642877b0e
梯度下降法,思想及代码解读。
import numpy as np # Size of the points dataset. m = 20 # Points x-coordinate and dummy value (x0, x1). X0 = np.ones((m, 1))#返回一个m行1列的矩阵 X1 = np.arange(1, m+1).reshape(m, 1)#相当于是转置了 X = np.hstack((X0, X1))#要求行数必须相同 # Points y-coordinate y = np.array([ 3, 4, 5, 5, 2, 4, 7, 8, 11, 8, 12, 11, 13, 13, 16, 17, 18, 17, 19, 21 ]).reshape(m, 1) # The Learning Rate alpha. alpha = 0.01 def error_function(theta, X, y): '''Error function J definition.'''#定义损失函数 diff = np.dot(X, theta) - y #m行1列的列向量 return (1./2*m) * np.dot(np.transpose(diff), diff) def gradient_function(theta, X, y): '''Gradient of the function J definition.'''#定义梯度函数 diff = np.dot(X, theta) - y return (1./m) * np.dot(np.transpose(X), diff) def gradient_descent(X, y, alpha): '''Perform gradient descent.''' theta = np.array([1, 1]).reshape(2, 1) gradient = gradient_function(theta, X, y) while not np.all(np.absolute(gradient) <= 1e-5): theta = theta - alpha * gradient gradient = gradient_function(theta, X, y) return theta optimal = gradient_descent(X, y, alpha) print('optimal:', optimal) print('error function:', error_function(optimal, X, y)[0,0])
梯度的方向即函数上升最快的方向。而加上负号表示朝着相反的方向前进。
初学python语法解读:
1.numpy.ones(shape,dataType,order='C')
其中shape=一个int数或者一个int数序列。dataType一般不选吧,可选的是np.int或者np.float。order:是否将多维数据存储在存储器中的C或FORTRAN连续(行或列)顺序中。(order一般编程不用考虑吧)
栗子1:x=np.ones((3,2)) print(x) 输出: [[1. 1.] [1. 1.] [1. 1.]]#输出全为1的float型的吧。
栗子2:x=np.ones(3) print(x) 输出: [1. 1. 1.] #也就是说只有一个int的时候输入就是行向量,输入的int表示有几列。
2.numpy.arange([start,]stop,[step,]dataType=None)
start就是开始,stop是结束。用[]括起来的意思是可选的,不是非必需的参数。step默认是1.关于dataType如果没有指定则和输入的数据类型一致。
#注意这个函数不是arrange,是a range合起来。范围是左闭右开。最后输出的是一个数组,行向量,返回ndarray。
x=np.arange(3) print(x) #output[0 1 2]
x=np.arange(1,3,0.5) print(x) #output:[1. 1.5 2. 2.5]
3.np.ndarray.reshape(shape,order='C')
对ndarray返回一个shape型的矩阵。
m=3 X1 = np.arange(1, m+1).reshape(m, 1)#变成一个3行一列的列向量 print(X1) 输出: [[1] [2] [3]]
4.np.hstack(tup)
就是将两个相同形状的矩阵在列上水平方向上合并起来。
a=np.array([[1,2],[3,4]]) b=np.array([[5,6],[7,8]]) c=np.hstack((a,b)) print(c) #a,b是两行两列的矩阵,在水平方向上合并,在行上合并,即水平方向上。 输出: [[1 2 5 6] [3 4 7 8]]
5.np.dot(a,b,out=None)
对于二维的来说就是矩阵a,b的乘积,对于一维来说就是向量的内积。
a = [[1, 0], [0, 1]] b=[[4, 1], [2, 2]] print(np.dot(a,b)) 输出: [[4 1] [2 2]]
6.np.transpose(a,axis=None)
顾名思义就是转置矩阵。
a = np.arange(4).reshape((2,2)) print(np.transpose(a)) 输出: [[0 2] [1 3]]
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步