YangShusen' - 博客园

Pytorch 4.6 Dropout 暂退法

摘要： Waht's Dropout ? 上一节权重衰减：$L2$ 正则化通过介绍添加 $L_2$ 正则化来减少过拟合的情况的出现。这一节我们使用Dropout Layer 来证明 $L2$ 正则化的正确性。 Dropout 的意思是每次训练的时候随机损失掉一些神经元，这些神经元被Drop 阅读全文

posted @ 2022-01-08 21:34 YangShusen' 阅读(696) 评论(0) 推荐(0) 编辑

Pytorch 4.5 权重衰减

摘要： ##正则化 ###预备知识 ####1.范数距离的定义是一个宽泛的概念。只要是满足①非负②自反③三角不等式就可以称之为距离。范数是一种强化了的距离概念，它在定义上比距离多了一条数乘的运算法则。我们可以将范数当成是一种距离来理解。 (1)L-P范数 \(||L||_p = (\sum_{i=1}^{ 阅读全文

posted @ 2022-01-05 16:22 YangShusen' 阅读(283) 评论(0) 推荐(0) 编辑

Pytorch 4.4 模型选择和多项式回归

摘要：模型选择 ###1.1 Training Error And Generalization Error (训练误差和泛化误差) Training Error: 训练误差，指的是在训练数据得到的误差。 Generalization Error：在原本的样本中抽取无限多的样本时，所计算出来的误差的期望值阅读全文

posted @ 2022-01-04 00:35 YangShusen' 阅读(286) 评论(0) 推荐(0) 编辑

伽马分布的伸缩性证明

摘要：特征函数假设 $p(x)$ 是随机变量 $X$ 的密度函数，则 $p(x)$ 傅里叶变换是： $\varphi (t) = \int _{-\infty }^{\infty} e^{itx} p(x) \mathrm{d}x = E(e^{itX})$ \(e^{it} = \co 阅读全文

posted @ 2022-01-03 00:49 YangShusen' 阅读(1024) 评论(0) 推荐(0) 编辑

Pytorch 4.3 多层感知机的框架实现

摘要：多层感知机的框架实现(同Softmax框架实现一毛一样，只是添加一个仿射函数变换(隐藏层)而已) ####step1.引入框架 import torch from torch import nn from d2l import torch as d2l ####step2.设计模型和初始化参数 # 阅读全文

posted @ 2022-01-02 21:00 YangShusen' 阅读(170) 评论(0) 推荐(0) 编辑

Pytorch 4.2 多层感知机的从零开始实现

摘要：多层感知机的从零实现 (有点类似于Softmax和线性回归) ####step1.读取数据 import torch from torch import nn from d2l import torch as d2l %matplotlib inline batch_size = 256 train 阅读全文

posted @ 2022-01-02 12:29 YangShusen' 阅读(162) 评论(0) 推荐(1) 编辑

Pytorch 4.1 多层感知机认识

摘要：多层感知机认识隐藏层 Hidden Layer 隐藏层通过放射变换，其实也就是通过$y = wx +b$这种变换，本质上是线性的变换得到的。按道理说，我们只需要设置一个单层隐藏层，通过不断增加Unit单元个数，就可以模拟所有的函数以及曲线，但是这样无疑是非常有难度的，我们可以将其看成是一个泰勒阅读全文

posted @ 2022-01-02 00:13 YangShusen' 阅读(184) 评论(0) 推荐(0) 编辑

Pytorch 3.4.5 Softmax 框架实现

摘要： Softmax 框架实现 #####step1.import the packages import torch from torch import nn from d2l import torch as d2l #####step2.loading dataset and set batch_si 阅读全文

posted @ 2022-01-01 10:53 YangShusen' 阅读(167) 评论(0) 推荐(0) 编辑

Python @property 修饰器

摘要： @property 修饰器把类的方法伪装成属性调用的方式，就是把类里面的一个函数，变成一个属性一样的东西~一开始调用类的方法要使用圆括号，现在变成了属性进行读取设置存储。举个例子来说明： class obj: def __init__(self,name,age): self.__name=nam 阅读全文

posted @ 2021-12-28 21:09 YangShusen' 阅读(69) 评论(0) 推荐(0) 编辑

Python 面向对象复习

摘要：面向对象面向过程编程导入各种外部库设计各种全局变量写一个函数完成某个功能写一个函数完成某个功能写一个函数完成某个功能写一个函数完成某个功能写一个函数完成某个功能 ...... 写一个main函数作为程序入口面向对象编程和函数式编程（面向过程编程）都是程序设计的方法，不过稍有区别。阅读全文

posted @ 2021-12-28 16:44 YangShusen' 阅读(71) 评论(0) 推荐(0) 编辑

请叫我杨先生

导航