01 2022 档案
摘要：我的thinkpad没有GPU（哭哭惹）； 我家里那台顶配偏科机也没有GPU！！！（放声大哭）； 所以只能在google上玩玩了，唉。 倒也还可以，最起码是免费的。 因为我没有GPU，自然也装不了cuda…… 关于上述GPU参数：https://www.cnblogs.com/testzcy/p/1
阅读全文
摘要：今天写了两版代码，相关问题也都放在注释里了，Q&A部分在这里。 1、将变量转换成伪变量（one-hot encoding）时内存炸了怎么办？ 1.用稀疏矩阵。 2.对于一段话，我们独立热编码的时候切词用单个的词语做特征维度。 3.离散化离散类别太多以至于无法处理，只能丢掉了…… 2、模型，可以理解为
阅读全文
摘要：1 import hashlib 2 import os 3 import tarfile 4 import zipfile 5 import requests 6 7 # @save 8 DATA_HUB = dict() 9 DATA_URL = 'http://d2l-data.s3-acce
阅读全文
摘要：度量空间（metric space）是一种具有度量函数（metric function）或者叫做距离函数（distance function）的集合，此函数定义集合内所有元素间的距离，被称为集合上的metric。 度量空间中最符合直观理解的是三维欧氏空间，事实上，metric的概念是欧氏距离性质的推
阅读全文
摘要：点云基础 https://blog.csdn.net/zihao_c/article/details/108808481 点云基础（不太基础，大概了解了一些，很多东西还未深入，用到的时候在学）：https://blog.csdn.net/laziji/article/details/10382678
阅读全文
摘要：数值稳定性 1、常见的两个问题 梯度爆炸：比如1.5的100次方，是4x10^17; 值超出值域：对于16位浮点数尤为严重 对学习率比较敏感： 如果学习率太大，参数值就会大，带来的就是更大的梯度，就容易炸掉； 但是学习率太小，训练就会没有进展，因此在训练过程需要不断的调整学习率（经典炼丹） 梯度消失
阅读全文
摘要：丢弃法——一种效果比权重衰退更好的解决过拟合问题的方法，最早的深度学习随机化的一种算法 丢弃法的 动机： 一个好的模型需要对输入数据的扰动鲁棒。 使用有噪音的数据等价于Tikhonov正则。 丢弃法：不在输入加噪音，而是在层之间加入噪音 有p概率地把xi变成0，并将其他的元素放大1-p倍，最后期望仍
阅读全文
摘要：权重衰退——最常见的处理过拟合的方法通过限制参数的选择范围来控制模型容量对于权重W和偏移b，让||W||² <= θ小的θ意味着更强的正则项通常不限制b，限不限制都差不多 因为W越大，往往对噪声的放大就更大，所以我们需要适当限制W大小，达到控制噪音的目的，也就解决了过拟合问题。 但通常不直接用上面的
阅读全文
摘要：什么是训练误差和泛化误差？ 数据不够怎么办？ K-折交叉验证 过拟合、欠拟合 模型容量、数据复杂度 VC维 （见代码注释部分） 此外，代码部分用比较简单的数据演示了欠拟合与过拟合，见result 1 ''' 2 训练误差：模型在训练集上的误差 3 泛化误差：模型在新的数据上的误差 4 我们更加关心泛
阅读全文
摘要：今天学的是感知机，代码放在下面，总结了几个问题。 1. MLP多层感知机与SVM支持向量机的区别： 1.MLP需要设置W和b，但是SVM对参数不敏感，所以相对方便一些；2.SVM在数学上解释性更强；3.SVM优化相对容易。 2.为什么是深度学习，而不是广度学习？——直觉解释，这玩意不会有理论依据 只
阅读全文
摘要：1 # ''' 2 # 回归与分类： 3 # 回归：单连续值输出；自然区间R；跟真实值的区别作为损失； 4 # 分类：通常是多个输出；输出i是预测为第i类的置信度 5 # 6 # Softmax特点：非负，和为1 7 # 8 # 交叉熵损失： H（p,q）= 求和i{-piLog（qi）} 9 #
阅读全文
摘要：跟着李沐老师学的，但是今天有点腐败，没学多少，笔记如下： （关于这堂课之前十几分钟讲的Softmax回归的笔记放在下一篇博客里） 1 import torch 2 import torchvision 3 from torch.utils import data 4 from torchvision
阅读全文
摘要：今天，跟着李沐老师学习了单层的神经网络，也就是机器学习里面的线性回归，分为三个阶段——理论知识学习；手搓线性回归；调库写线性回归，笔记如下： 1 # https://blog.csdn.net/w5688414/article/details/103058802 评论区解决No module nam
阅读全文
摘要：今天跟着沐神学了矩阵计算，包括标量、向量与矩阵三者之间的运算关系（笔记看云记即可），虽然机器学习很少不到矩阵之间的运算，但也花了比较大的篇幅去讲解，了解了向量里的链式法则，学习了正反两种求导方式，着重讲解了反向求导（反向传递）的过程，相对来说比较清晰（不是说沐神讲的不好，只是我菜，需要时间消化）。
阅读全文
