10 2023 档案

摘要:这节课中介绍了循环神经网络的第二部分,主要引入了注意力机制,介绍了注意力机制的应用以及如何理解,在此基础上建立了注意力层以及transformer架构 注意力机制 注意力机制 应用与理解 注意力层 transformer 注意力机制 上次我们没有提到sequence to sequence的RNN结 阅读全文
posted @ 2023-10-31 11:16 dyccyber 阅读(239) 评论(0) 推荐(0) 编辑
摘要:这节课中介绍了循环神经网络的第一部分,主要介绍了循环神经网络的基本概念,vanilla循环网络架构,RNN的一些应用,vanilla架构的问题,更先进的rnn架构比如GRU和LSTM 循环神经网络基本知识 vanilla循环网络架构 应用与理解 vanilla架构的问题 LSTM vanilla循环 阅读全文
posted @ 2023-10-30 16:56 dyccyber 阅读(356) 评论(0) 推荐(1) 编辑
摘要:这节课中介绍了训练神经网络的第二部分,包括学习率曲线,超参数优化,模型集成,迁移学习 训练神经网络2 学习率曲线 超参数优化 模型集成 迁移学习 学习率曲线 在训练神经网络时,一个常见的思路就是刚开始迭代的时候学习率较大,然后随着迭代次数的增加,学习率逐渐下降,下面我们就来介绍几种学习率下降的方法: 阅读全文
posted @ 2023-10-28 19:18 dyccyber 阅读(227) 评论(0) 推荐(1) 编辑
摘要:这节课中介绍了训练神经网络的第一部分,包括激活函数的选择,权重初始化,数据预处理以及正则化方法 训练神经网络1 激活函数 数据预处理 权重初始化 正则化方法 激活函数 这部分主要讨论我们之前提到的几种激活函数的利弊: 首先我们看sigmoid函数,这种激活函数有着激活函数中常见的优点与缺点: 优点方 阅读全文
posted @ 2023-10-28 11:36 dyccyber 阅读(264) 评论(0) 推荐(0) 编辑
摘要:矩阵微分基础知识 定义 重要结论 应用 定义 (1) 向量对标量求导 矩阵对标量求导 我们可以看到上述求导过程实际上就是不同函数对变量求导,然后按照向量或者矩阵的形式排列,注意这里结果的结构应该与函数的结构保持一致 (2)标量对向量求导 标量对矩阵求导 这里的理解使同一个函数对不同的变量求导,然后注 阅读全文
posted @ 2023-10-22 10:43 dyccyber 阅读(49) 评论(0) 推荐(0) 编辑
摘要:这节课中主要讨论了卷积神经网络的发展历史以及几种经典结构是如何构建的 卷积网络经典结构 AlexNet VGG GoogleNet Residual Network AlexNet 在2012年的时候,Alexnet神经网络提出,这时网络的架构比如说各个层之间要如何排列组合,使用多少卷积层池化层,每 阅读全文
posted @ 2023-10-21 21:00 dyccyber 阅读(279) 评论(0) 推荐(0) 编辑
摘要:这节课中介绍了卷积网络的基本组成部分(全连接层,激活函数,卷积层,池化层,标准化等),下节课讨论了卷积神经网络的发展历史以及几种经典结构是如何构建的 卷积网络组成部分 前言 卷积层 池化层 normalization 前言 在之前提到的全连接神经网络中,我们直接把一个比如说32 * 32 * 3的图 阅读全文
posted @ 2023-10-21 13:27 dyccyber 阅读(267) 评论(0) 推荐(1) 编辑
摘要:全连接神经网络模块化实现 Linear与Relu单层实现 LossLayer实现 多层神经网络 不同梯度下降方法 Dropout层 今天这篇博文针对Assignment3的全连接网络作业,对前面学习的内容进行一些总结 在前面的作业中我们建立神经网络的操作比较简单,也不具有模块化的特征,在A3作业中, 阅读全文
posted @ 2023-10-20 21:26 dyccyber 阅读(227) 评论(0) 推荐(0) 编辑
摘要:UMICH CV Neural Network 既然谈到神经网络,我们肯定要讨论在神经网络中是如何进行梯度的计算以及参数的优化的 传统的方法就是我们手动计算梯度,但是随着神经网络层数的增加,这种方法显然过于复杂 因此我们引入了计算图的概念,从一个简单的例子出发: 我们可以把一个(x+y)z的计算式拆 阅读全文
posted @ 2023-10-14 16:40 dyccyber 阅读(56) 评论(0) 推荐(0) 编辑
摘要:UMICH CV Neural Network 对于传统的线性分类器,分类效果并不好,所以这节引入了一个两层的神经网络,来帮助我们进行图像分类 可以看出它的结构十分简单,x作为输入层,经过max(0,W1*x)到达h隐藏层,再经过W2到达s输出层 如果我们对隐藏层的结果进行可视化,我们可以看到如下的 阅读全文
posted @ 2023-10-14 10:28 dyccyber 阅读(56) 评论(0) 推荐(0) 编辑
摘要:UMICH CV Linear Classifiers 在上一篇博文中,我们讨论了利用损失函数来判断一个权重矩阵的好坏,在这节中我们将讨论如何去找到最优的权重矩阵 想象我们要下到一个峡谷的底部,我们自然会选择下降最快的斜坡,换成我们这个问题就是要求权重矩阵相对于损失函数的梯度函数,最简单的方法就是使 阅读全文
posted @ 2023-10-12 17:41 dyccyber 阅读(81) 评论(0) 推荐(0) 编辑
摘要:UMICH CV Linear Classifiers 对于使用线性分类器来进行图片分类,我们可以给出这样的参数化方法: 而对于这样一个式子,我们怎么去理解呢? 首先从代数的角度,这个f(x,W)就是一张图片的得分,我们可以将一张图片所有的像素点输入,乘以一个权重矩阵,再加上一个偏置项b,就得到f( 阅读全文
posted @ 2023-10-06 20:02 dyccyber 阅读(86) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示
🚀
回顶
收起
  1. 1 404 not found REOL
404 not found - REOL
00:00 / 00:00
An audio error has occurred.