交流_QQ_2240410488

2019年7月31日

摘要：这篇文章总结了概率统计中期望、方差、协方差和相关系数的定义、性质和基本运算规则。一、期望定义：设P(x)是一个离散概率分布函数自变量的取值范围是。那么其期望被定义为：设P(x)是一个连续概率分布函数，那么他的期望是：性质： 1.线性运算：期望服从先行性质，因此线性运算的期望等于期望的线阅读全文

posted @ 2019-07-31 09:13 交流_QQ_2240410488 阅读(21561) 评论(1) 推荐(0) 编辑

深度学习——Xavier初始化方法

摘要： “Xavier”初始化方法是一种很有效的神经网络初始化方法，方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》，可惜直到近两年，这个方法才逐渐得到更多人的应用和认可。为阅读全文

posted @ 2019-07-31 09:07 交流_QQ_2240410488 阅读(220) 评论(0) 推荐(0) 编辑

深度学习的Xavier初始化方法

摘要：在tensorflow中，有一个初始化函数：tf.contrib.layers.variance_scaling_initializer。Tensorflow 官网的介绍为： variance_scaling_initializer( factor=2.0, mode='FAN_IN', unifo 阅读全文

posted @ 2019-07-31 09:01 交流_QQ_2240410488 阅读(811) 评论(0) 推荐(0) 编辑

2019年7月30日

pytorch学习笔记（九）：PyTorch结构介绍

摘要： PyTorch结构介绍对PyTorch架构的粗浅理解，不能保证完全正确，但是希望可以从更高层次上对PyTorch上有个整体把握。水平有限，如有错误，欢迎指错，谢谢！几个重要的类型和数值相关的TensorVariableParameterbuffer(这个其实不能叫做类型，其实他就是用来保存tens 阅读全文

posted @ 2019-07-30 15:04 交流_QQ_2240410488 阅读(549) 评论(0) 推荐(0) 编辑

pytorch学习笔记（十二）：详解 Module 类

摘要： Module 是 pytorch 提供的一个基类，每次我们要搭建自己的神经网络的时候都要继承这个类，继承这个类会使得我们搭建网络的过程变得异常简单。本文主要关注 Module 类的内部是怎么样的。初始化方法中做了什么def __init__(self): self._backend = t 阅读全文

posted @ 2019-07-30 15:01 交流_QQ_2240410488 阅读(4060) 评论(2) 推荐(0) 编辑

Pytorch源码与运行原理浅析--网络篇(一)

摘要：前言申请的专栏开通了，刚好最近闲下来了，就打算开这个坑了hhhhh 第一篇就先讲一讲pytorch的运行机制好了。。。记得当时刚刚接触的时候一直搞不明白，为什么自己只是定义了几个网络，就可以完整的训练整个模型，它背后的机制又是如何，搞明白了这个，才有可能去做更多的定制的更改，比如更改loss，反阅读全文

posted @ 2019-07-30 14:57 交流_QQ_2240410488 阅读(3148) 评论(0) 推荐(0) 编辑

PyTorch 学习笔记（四）：权值初始化的十种方法

摘要： pytorch在torch.nn.init中提供了常用的初始化方法函数，这里简单介绍，方便查询使用。介绍分两部分： 1. Xavier，kaiming系列； 2. 其他方法分布 Xavier初始化方法，论文在《Understanding the difficulty of training dee 阅读全文

posted @ 2019-07-30 13:56 交流_QQ_2240410488 阅读(11019) 评论(0) 推荐(1) 编辑

Pytorch的默认初始化分布 nn.Embedding.weight初始化分布

摘要：一、nn.Embedding.weight初始化分布 nn.Embedding.weight随机初始化方式是标准正态分布，即均值$\mu=0$，方差$\sigma=1$的正态分布。论据1——查看源代码 ## class Embedding具体实现（在此只展示部分代码） import torch 阅读全文

posted @ 2019-07-30 13:53 交流_QQ_2240410488 阅读(14007) 评论(0) 推荐(0) 编辑

nn.moduleList 和Sequential由来、用法和实例 —— 写网络模型

摘要：对于cnn前馈神经网络如果前馈一次写一个forward函数会有些麻烦，在此就有两种简化方式，ModuleList和Sequential。其中Sequential是一个特殊的module，它包含几个子Module，前向传播时会将输入一层接一层的传递下去。ModuleList也是一个特殊的module，阅读全文

posted @ 2019-07-30 13:50 交流_QQ_2240410488 阅读(1913) 评论(0) 推荐(0) 编辑

BERT可视化工具bertviz体验

摘要： BERT可视化工具体验：bertviz是用于BERT模型注意力层的可视化页面。 1，bertviz的github地址：https://github.com/jessevig/bertviz 2，将bertviz项目clone到本地，启动Jupyter notebbok。 D:\PycharmProj 阅读全文

posted @ 2019-07-30 12:38 交流_QQ_2240410488 阅读(1877) 评论(0) 推荐(0) 编辑

劲风的味道

公告