HBU_DAVID - 博客园

神经网络与深度学习（邱锡鹏）编程练习 3 softmax回归 - Jupyter导出版 TensorFlow2.9

摘要：生成数据的时候，把数值类型float64改为改为float32 Softmax Regression Example 生成数据集，看明白即可无需填写代码 '+' 从高斯分布采样 (X, Y) ~ N(3, 6, 1, 1, 0). 'o' 从高斯分布采样 (X, Y) ~ N(6, 3, 1, 1 阅读全文

posted @ 2022-06-01 17:05 HBU_DAVID 阅读(389) 评论(0) 推荐(0) 编辑

神经网络与深度学习（邱锡鹏）编程练习 3 Logistic回归 - Jupyter导出版 TensorFlow2.9

摘要：修改了两个地方：生成数据的时候，把数值类型float64改为改为float32 去掉了两个@tf.function Logistic Regression Example 生成数据集，看明白即可，无需填写代码 '+' 从高斯分布采样 (X, Y) ~ N(3, 6, 1, 1, 0) 'o' 从阅读全文

posted @ 2022-06-01 16:11 HBU_DAVID 阅读(502) 评论(0) 推荐(0) 编辑

神经网络与深度学习（邱锡鹏）编程练习 2 基函数回归 - Jupyter导出版 - TensorFlow 2.9

摘要：设计基函数(basis function) 以及数据读取 import numpy as np import matplotlib.pyplot as plt def identity_basis(x): ret = np.expand_dims(x, axis=1) return ret def 阅读全文

posted @ 2022-06-01 11:59 HBU_DAVID 阅读(204) 评论(0) 推荐(0) 编辑

神经网络与深度学习（邱锡鹏）编程练习 2 线性回归的参数优化基函数回归 Jupyter导出版

摘要： ref：https://www.cnblogs.com/douzujun/p/13282073.html 按照“填空顺序编号”分别完成“参数优化”，“不同基函数”的实现 import numpy as np import matplotlib.pyplot as plt def load_data( 阅读全文

posted @ 2022-06-01 11:28 HBU_DAVID 阅读(394) 评论(0) 推荐(0) 编辑

神经网络与深度学习（邱锡鹏）编程练习 3 实验1 Logistic回归 pytorch

摘要：实验目标：实现sigmoid的交叉熵损失函数(不使用tf内置的loss 函数) # 填空一，实现sigmoid的交叉熵损失函数(不使用内置的 loss 函数) # loss_fn = nn.BCELoss() # pytorch交叉熵损失函数 def loss_fn(label, pred): # 阅读全文

posted @ 2022-05-31 21:35 HBU_DAVID 阅读(404) 评论(0) 推荐(0) 编辑

神经网络与深度学习（邱锡鹏）编程练习 3 Logistic回归、softmax回归、支持向量机(SVM)

摘要： Logistic回归以及softmax回归问题描述完成 logistic_regression-exercise.ipnb中的填空填空一：实现sigmoid的交叉熵损失函数(不使用tf内置的loss 函数) 完成 softmax_regression-exercise.ipnb中的填空填空一阅读全文

posted @ 2022-05-31 16:23 HBU_DAVID 阅读(404) 评论(0) 推荐(0) 编辑

神经网络与深度学习（邱锡鹏）编程练习 2 实验5 使用pytorch实现线性回归、基函数回归

摘要： # 定义模型 class LR(nn.Module): def __init__(self): super().__init__() self.lr = nn.Linear(ndim, 1) def forward(self, x): out = self.lr(x) return out mode 阅读全文

posted @ 2022-05-31 11:23 HBU_DAVID 阅读(252) 评论(0) 推荐(0) 编辑

神经网络与深度学习（邱锡鹏）编程练习 2 实验4 基函数回归（梯度下降法优化）

摘要：多项式基函数梯度下降优化过程中，产生“梯度爆炸”，在第14轮运算溢出。 def gradient(phi_grad, y, w_init, lr=0.001, step_num=16): # lr 学习率; step_num 迭代次数 w_train = w_init for i in range 阅读全文

posted @ 2022-05-30 17:10 HBU_DAVID 阅读(232) 评论(0) 推荐(1) 编辑

神经网络与深度学习（邱锡鹏）编程练习 2 实验3 基函数回归（最小二乘法优化）

摘要：通过基函数对元素数据进行交换，从而将变量间的线性回归模型转换为非线性回归模型。最小二乘法 + 多项式基函数最小二乘法 + 高斯基函数 def multinomial_basis(x, feature_num=10): x = np.expand_dims(x, axis=1) # shape(N 阅读全文

posted @ 2022-05-30 16:24 HBU_DAVID 阅读(371) 评论(0) 推荐(0) 编辑

神经网络与深度学习（邱锡鹏）编程练习 2 实验2 线性回归的参数优化 - 梯度下降法

摘要：实验结果：源代码： import numpy as np import matplotlib.pyplot as plt def load_data(filename): # 载入数据 xys = [] with open(filename, 'r') as f: for line in f: x 阅读全文

posted @ 2022-05-30 15:19 HBU_DAVID 阅读(321) 评论(1) 推荐(0) 编辑

神经网络与深度学习（邱锡鹏）编程练习 2 实验1 线性回归的参数优化 - 最小二乘法

摘要：实验结果：源代码： import numpy as np import matplotlib.pyplot as plt def load_data(filename): # 载入数据 xys = [] with open(filename, 'r') as f: for line in f: x 阅读全文

posted @ 2022-05-30 14:22 HBU_DAVID 阅读(225) 评论(0) 推荐(0) 编辑

神经网络与深度学习（邱锡鹏）编程练习 2 题目解析

摘要：实验1：线性回归的参数优化-最小二乘法 1 最小二乘法原理基于均方误差最小化进行模型求解。线性回归中，试图找到一条直线，使所有样本到直线的欧氏距离之和最小。（西瓜书P54）图源：NNDL P34 2 最小二乘法优化公式 (参考书中第二章 2.3中的公式)，在main（）中利用训练集训练模型的参阅读全文

posted @ 2022-05-30 11:20 HBU_DAVID 阅读(502) 评论(0) 推荐(0) 编辑

神经网络与深度学习（邱锡鹏）编程练习 2 线性回归参数优化不同基函数实现

摘要：说明请按照填空顺序编号分别完成参数优化，不同基函数的实现 import numpy as np import matplotlib.pyplot as plt def load_data(filename): """载入数据。""" xys = [] with open(filename, 'r 阅读全文

posted @ 2022-05-30 11:06 HBU_DAVID 阅读(328) 评论(0) 推荐(0) 编辑

神经网络与深度学习（邱锡鹏）编程练习 1 numpy 练习

摘要： numpy 练习题 numpy 的array操作 1.导入numpy库 2.建立一个一维数组 a 初始化为[4,5,6], (1)输出a 的类型（type）(2)输出a的各维度的大小（shape）(3)输出 a的第一个元素（值为4） 3.建立一个二维数组 b,初始化为 [ [4, 5, 6],[1, 阅读全文

posted @ 2022-05-30 10:55 HBU_DAVID 阅读(142) 评论(0) 推荐(0) 编辑

神经网络与深度学习（邱锡鹏）编程练习 1 实验

摘要：源代码： # numpy练习题 print(" numpy练习题 1 ") # 1.导入numpy库 import numpy as np print(" numpy练习题 2 ") # 2.建立一个一维数组a初始化为[4, 5, 6], # (1) 输出a的类型（type） # (2) 输出a的各阅读全文

posted @ 2022-05-29 22:40 HBU_DAVID 阅读(386) 评论(0) 推荐(0) 编辑

神经网络与深度学习（邱锡鹏）学习记录

摘要：神经网络与深度学习作者：邱锡鹏神经网络与深度学习 (nndl.github.io) 阅读全文

posted @ 2022-05-29 21:12 HBU_DAVID 阅读(55) 评论(0) 推荐(0) 编辑

【卷积神经网络】例题XO - Python实现 - PyTorch版本

摘要：题目及理论讲解：【卷积神经网络】例题XO - Python实现 - HBU_DAVID - 博客园 (cnblogs.com) PyTorch实现代码： # https://blog.csdn.net/qq_26369907/article/details/88366147 # https://z 阅读全文

posted @ 2022-05-04 00:20 HBU_DAVID 阅读(62) 评论(0) 推荐(0) 编辑

【卷积神经网络】例题XO - Python实现

摘要：题目讲解：卷积神经网路 Convolutional Neural Networks · 資料科學・機器・人 (mcknote.com) 卷积 | 池化 | 激活 import numpy as np x = np.array([[-1, -1, -1, -1, -1, -1, -1, -1, -1 阅读全文

posted @ 2022-05-04 00:03 HBU_DAVID 阅读(269) 评论(0) 推荐(0) 编辑

【人工智能导论：模型与算法】MOOC 8.3 误差后向传播(BP) 例题【第三版】

摘要：第一版：完全按照MOOC课件编程实现【人工智能导论：模型与算法】MOOC 8.3 误差后向传播(BP) 例题编程验证 - HBU_DAVID - 博客园 (cnblogs.com) 第二版：用PyTorch实现，发现求得梯度与MOOC课件不一致怀疑程序有Bug，感觉肯是对 l.backward 阅读全文

posted @ 2022-04-29 17:53 HBU_DAVID 阅读(606) 评论(0) 推荐(0) 编辑

【人工智能导论：模型与算法】MOOC 8.3 误差后向传播(BP) 例题编程验证 Pytorch版本

摘要：上一篇文章【人工智能导论：模型与算法】MOOC 8.3 误差后向传播(BP) 例题编程验证 - HBU_DAVID - 博客园 (cnblogs.com) 使用python实现，主要是为了观察链式求导的过程。链式法则求导还是比较麻烦的，特别是层数比较深的时候，计算量很大，过程也很复杂，编程实现非阅读全文

posted @ 2022-04-28 18:30 HBU_DAVID 阅读(216) 评论(0) 推荐(0) 编辑

Notebook