李宏毅 - 随笔分类 - acmloser

LHY2022-HW04-Speaker Identification

摘要：1. 实验 1.1 背景介绍根据输入音频判断是哪个讲话者. 1.2 数据集数据集采用的是$VoxCeleb2$.可以看这个Click了解数据集. 1.2.1 Data formats 目录下有三个json文件和很多pt文件,三个json文件作用标注在下图中,pt文件就是语音内容.其中,n_m 阅读全文

posted @ 2023-09-11 01:15 acmloser 阅读(42) 评论(0) 推荐(0) 编辑

4.5 Unsupervised Learning: Word Embedding

摘要：# 1. Introduction(引入) 词嵌入(word embedding)是降维算法(Dimension Reduction)的典型应用. 最经典的做法就是1-of-N Encoding,它指的就是每一个字都是以向量来表示,只有在自己所属的那个字词索引上为1,其余为0,因此如果世界上的英文字阅读全文

posted @ 2023-07-08 21:22 acmloser 阅读(60) 评论(0) 推荐(0) 编辑

4.4 Graph Nerual Networks(GNN)

摘要：# 1. Introduction GNN简单来说就是Graph + Nerual Networks,关键问题就是将图的结构和图中每个节点和边的特征转化为一般的神经网络的输入(张量). ![image](https://img2023.cnblogs.com/blog/2264614/202307/ 阅读全文

posted @ 2023-07-07 23:26 acmloser 阅读(49) 评论(0) 推荐(0) 编辑

4.3 Recurrent Neural Network (RNN) II

摘要：# 1. RNN 怎么学习 ## 1.1 Loss Function 如果要做learning的话,你要定义一个cost function来evaluate你的model是好还是不好,选一个parameter要让你的loss 最小.那在Recurrent Neural Network里面,你会怎么定阅读全文

posted @ 2023-07-05 21:02 acmloser 阅读(20) 评论(0) 推荐(0) 编辑

4.2 Recurrent Neural Network (RNN) I

摘要：# 1. 问题引入在NLP领域,存在一个重要的子任务即Slot Filling(槽位填充).比如有一个人对订票系统说“I would like to arrive Taipei on November 2nd”，那么系统要自动识别出Taipei属于Destination这个slot，Novembe 阅读全文

posted @ 2023-07-04 00:40 acmloser 阅读(24) 评论(0) 推荐(0) 编辑

4.1 Self-attention

摘要：# 1. 问题引入我们在之前的课程里遇到的都是输入是一个向量,输出是类别或者标量.但如果输入是向量的集合且向量长度还会变化,又应该怎么处理呢? ![image](https://img2023.cnblogs.com/blog/2264614/202307/2264614-202307021649 阅读全文

posted @ 2023-07-02 19:48 acmloser 阅读(23) 评论(0) 推荐(0) 编辑

LHY2022-HW03-Image Classification

摘要：# 1. 实验 ## 1.1 背景介绍将食物分成11个类别. ![image](https://img2023.cnblogs.com/blog/2264614/202306/2264614-20230619135511917-1755856265.png) ## 1.2 输出文件格式两列,一列阅读全文

posted @ 2023-06-19 13:55 acmloser 阅读(37) 评论(0) 推荐(0) 编辑

3.3 Spatial Transformer

摘要：# 请复习线性代数 # 1. Spatial Transformer Layer ## 1.1 CNN is not invariant to scaling and rotation (1) CNN并不能真正做到scaling和rotation. (2) 如下图所示,在通常情况下,左右两边的图片对阅读全文

posted @ 2023-06-18 18:08 acmloser 阅读(112) 评论(0) 推荐(0) 编辑

3.2 鱼与熊掌可以兼得的深度学习-2022

摘要：# 1. 问题回顾在上节的再谈宝可梦、数码宝贝分类问题上,我们提出了机器学习的分类原理.并提出了一个矛盾点:当可选参数过多,loss会变小,但理想和现实差距会很大;当可选参数比较少,loss会变大,但理想和现实差距会减小.现在我们需要一个Loss小,可选参数也少的模型. ![image](http 阅读全文

posted @ 2023-06-17 22:57 acmloser 阅读(46) 评论(0) 推荐(0) 编辑

选修-4-Optimization for Deep Learning

摘要：# 1. Some Nitations 在本小节开始之前,需要知道的符号含义. ![image](https://img2023.cnblogs.com/blog/2264614/202306/2264614-20230604200321926-907208090.png) # 2. What is 阅读全文

posted @ 2023-06-17 15:28 acmloser 阅读(10) 评论(0) 推荐(0) 编辑

3.1 卷积神经网路 (Convolutional Neural Networks, CNN)

摘要：# 1. 概念引入: Image Classification ## 1.1 基本步骤我们做图像分类时,一般分为三步: * 所有图片都先 rescale 成大小一样 * 把每一个类别表示成一个 one-hot vector(dimension 的长度决定模型可以辨识出多少不同种类的东西) * 将图阅读全文

posted @ 2023-06-16 18:13 acmloser 阅读(40) 评论(0) 推荐(0) 编辑

2.5 类神经网路训练不起来怎么办 (五):批次标准化 (Batch Normalization)简介

摘要：# 1. 提出背景在前文,我们提过$error\ surface$在不同方向的斜率不一样,因此采用固定的学习率很难将模型$train$起来,上节提出了自适应学习率,这里还有一个方法就是直接将e$rror\ surface$铲平. 或许首先想要提出的是为什么会产生不同方向上斜率相差很大的现象.观察下阅读全文

posted @ 2023-06-16 17:30 acmloser 阅读(25) 评论(0) 推荐(0) 编辑

LHY2022-HW02-Speech Recognition

摘要：# 1. 实验结果纪录纪录一下调整参数带来的结果.不过语音识别这块完全不熟. ## 1.1 Simple Baseline * **acc>0.45797** 直接上传助教代码 ![image](https://img2023.cnblogs.com/blog/2264614/202306/226 阅读全文

posted @ 2023-06-15 22:26 acmloser 阅读(29) 评论(0) 推荐(0) 编辑

2.6 再探宝可梦、数码宝贝分类器 — 浅谈机器学习原理-2022

摘要：# 1. 引入问题在之前的课程中,我们对"参数过多就会导致过拟合"这个概念处于提出但没有证明的状态,现在来以宝可梦和数码宝贝的分类例子来说明这个问题. # 2. 分类器定义我们观察宝可梦和数码宝贝的图片可以发现,宝可梦的图片线条比较少,而数码宝贝的线条比较多.或许可以以边缘检测探查线条数量作为分阅读全文

posted @ 2023-06-11 17:48 acmloser 阅读(129) 评论(0) 推荐(0) 编辑

2.4 类神经网路训练不起来怎么办 (四):损失函数 (Loss) 也可能有影响

摘要：# 1. classification 与 regression 的区别 ## 1.1 classification 与 regression 输出的区别 classification中，我们用 one-hot 向量表示不同的类别(一个向量中只有1 个 1 ，其余都为 0，1 在不同的位置代表不同类阅读全文

posted @ 2023-06-11 16:43 acmloser 阅读(28) 评论(0) 推荐(0) 编辑

2.3 类神经网路训练不起来怎么办 (三):自动调整学习速率 (Learning Rate)

摘要：# 1. 自适应学习率调整(Adaptive Learning Rate) ## 1.1 为什么需要调整学习率首先认识一个现象.Training stuck ≠ Small Gradient 训练卡住的原因不一定是因为 gradient 太小,即critical point，也有可能是因为振荡. 阅读全文

posted @ 2023-06-07 16:56 acmloser 阅读(83) 评论(0) 推荐(0) 编辑

2.2 类神经网路训练不起来怎么办 (二)：批次 (batch) 与动量 (momentum)

摘要：# 1. Batch(批次) > 对抗临界点的两个方法就是batch 和 momentum 将一笔大型资料分若干批次计算 loss 和梯度,从而更新参数.每看完一个epoch就把这笔大型资料打乱(shuffle),然后重新分批次.这样能保证每个epoch中的 batch 资料不同,避免偶然性. > 阅读全文

posted @ 2023-06-07 12:42 acmloser 阅读(167) 评论(0) 推荐(0) 编辑

2.1 类神经网路训练不起来怎么办 (一):局部最小值 (local minima) 与鞍点 (saddle point) - 李宏毅

摘要：# 1. When gradient is small 本小节主要讨论优化器造成的训练问题. ## 1.1 Critical Point（临界点）如果训练过程中经过很多个epoch后,loss还是不下降,那么可能是因为梯度(斜率)接近于 0,导致参数更新的步伐接近于0,所以参数无法进一步更新,lo 阅读全文

posted @ 2023-06-06 18:28 acmloser 阅读(211) 评论(0) 推荐(0) 编辑

2. General Guidance - 李宏毅

摘要：# 1. Framework of ML 训练的过程之前已经讲过了,训练主要是三个步骤. ![image](https://img2023.cnblogs.com/blog/2264614/202306/2264614-20230605203446421-484145901.png) * 第一步,你阅读全文

posted @ 2023-06-05 20:28 acmloser 阅读(47) 评论(0) 推荐(0) 编辑

选修-5-Logistic Regression

摘要：# 1. 逻辑回归下面是这位大佬的[Click](https://blog.csdn.net/weixin_44406200/article/details/104288916).逻辑回归是用于分类的算法,它是在线性回归的基础上添加了一层映射. ![image](https://img2023.c 阅读全文

posted @ 2023-06-04 22:28 acmloser 阅读(10) 评论(0) 推荐(0) 编辑

acmloser

随笔分类 - 机器学习 / 李宏毅

公告