摘要：
PyTorch结构介绍对PyTorch架构的粗浅理解，不能保证完全正确，但是希望可以从更高层次上对PyTorch上有个整体把握。水平有限，如有错误，欢迎指错，谢谢！ 几个重要的类型和数值相关的TensorVariableParameterbuffer(这个其实不能叫做类型，其实他就是用来保存tens 阅读全文
摘要：
Module 是 pytorch 提供的一个基类，每次我们要 搭建 自己的神经网络的时候都要继承这个类，继承这个类会使得我们 搭建网络的过程变得异常简单。 本文主要关注 Module 类的内部是怎么样的。 初始化方法中做了什么def __init__(self): self._backend = t 阅读全文
摘要：
前言 申请的专栏开通了，刚好最近闲下来了，就打算开这个坑了hhhhh 第一篇就先讲一讲pytorch的运行机制好了。。。 记得当时刚刚接触的时候一直搞不明白，为什么自己只是定义了几个网络，就可以完整的训练整个模型，它背后的机制又是如何，搞明白了这个，才有可能去做更多的定制的更改，比如更改loss，反 阅读全文
摘要：
pytorch在torch.nn.init中提供了常用的初始化方法函数，这里简单介绍，方便查询使用。 介绍分两部分： 1. Xavier，kaiming系列； 2. 其他方法分布 Xavier初始化方法，论文在《Understanding the difficulty of training dee 阅读全文
摘要：
一、nn.Embedding.weight初始化分布 nn.Embedding.weight随机初始化方式是标准正态分布 ，即均值$\mu=0$，方差$\sigma=1$的正态分布。 论据1——查看源代码 ## class Embedding具体实现（在此只展示部分代码） import torch 阅读全文
摘要：
对于cnn前馈神经网络如果前馈一次写一个forward函数会有些麻烦，在此就有两种简化方式，ModuleList和Sequential。其中Sequential是一个特殊的module，它包含几个子Module，前向传播时会将输入一层接一层的传递下去。ModuleList也是一个特殊的module， 阅读全文
摘要：
BERT可视化工具体验：bertviz是用于BERT模型注意力层的可视化页面。 1，bertviz的github地址：https://github.com/jessevig/bertviz 2，将bertviz项目clone到本地，启动Jupyter notebbok。 D:\PycharmProj 阅读全文
摘要：
本篇文章主要是解读模型主体代码modeling.py。在阅读这篇文章之前希望读者们对bert的相关理论有一定的了解，尤其是transformer的结构原理，网上的资料很多，本文内容对原理部分就不做过多的介绍了。 我自己写出来其中一个目的也是帮助自己学习整理、当你输出的时候才也会明白哪里懂了哪里不懂。 阅读全文