emanlee - 博客园

2023年2月21日

摘要：图卷积网络（2）为什么要使用图(Graph)？很多问题在本质是都可以表示为图的形式。在真实世界中，我们会发现很多数据其实是以图的形式存在的，比如分子网络，社交网络以及论文引用网络等等。基于图的任务针对图数据，通常有以下几种比较常见的任务类型：结点分类(Node classification 阅读全文

posted @ 2023-02-21 16:47 emanlee 阅读(54) 评论(0) 推荐(0) 编辑

图卷积网络GCN（3）

摘要：图卷积网络(GCN) 论文地址：Semi-supervised Classification with Graph Convolutional Networks GCN是一种能够直接作用于图并且利用其结构信息的卷积神经网络。这篇文章解决的是在一个图中，只有少部分结点的标签是已知情况下(Semi-s 阅读全文

posted @ 2023-02-21 16:38 emanlee 阅读(141) 评论(0) 推荐(0) 编辑

2023年2月20日

深入理解残差模块（残差函数，残差块block，residual模块，残差结构）

摘要：简单的堆叠卷积层和池化层行不行？堆叠在20层的网络结构的时候，模型的训练错误在1%-2%左右，但是当训练的层数增加到56层的时候，训练的错误在7%-8%。很明显通过卷积层和池化层的增加是不行的。是什么原因造成训练的结果很差的呢？两个问题：随着网络层数的增加，梯度消失和梯度爆炸这个问题越来越明显。我阅读全文

posted @ 2023-02-20 20:17 emanlee 阅读(13121) 评论(0) 推荐(0) 编辑

Transformer 模型中的positional encoding(位置编码)计算理解

摘要： transformer中的positional encoding(位置编码)计算理解博客： https://blog.csdn.net/qq_39783265/article/details/106790875 https://avoid.overfit.cn/post/dc84ff7287e54 阅读全文

posted @ 2023-02-20 16:40 emanlee 阅读(2103) 评论(0) 推荐(0) 编辑

2023年2月19日

Transformer 模型 1

摘要： Transformer 模型 1 以下内容来自 https://mbd.baidu.com/newspage/data/landingsuper?isBdboxFrom=1&pageType=1&urlext=%7B%22cuid%22%3A%22_8HMu0aJHa_7aHtQga2oa_Oqv8 阅读全文

posted @ 2023-02-19 18:47 emanlee 阅读(344) 评论(0) 推荐(0) 编辑

自注意力机制：8大步骤图解+代码

摘要：以下来自 https://www.sohu.com/a/356558093_473283 来源：towardsdatascience 作者：Raimi Karim 编辑：肖琴 https://towardsdatascience.com/illustrated-self-attention-2d62 阅读全文

posted @ 2023-02-19 17:33 emanlee 阅读(1076) 评论(0) 推荐(0) 编辑

错误0x80071AC3:无法完成操作，因为卷有问题。请运行chkdsk 并重试。

摘要： CMD窗口，执行 chkdsk G:/f 其中，G: 为您的盘的编号阅读全文

posted @ 2023-02-19 12:35 emanlee 阅读(1159) 评论(0) 推荐(0) 编辑

注意力机制（2）

摘要：下图来自：https://baijiahao.baidu.com/s?id=1683481435616221574&wfr=spider&for=pc 下面内容来自 https://mp.weixin.qq.com/s?__biz=MzU0NjgzMDIxMQ==&mid=2247592410&id 阅读全文

posted @ 2023-02-19 10:49 emanlee 阅读(138) 评论(0) 推荐(0) 编辑

2023年2月18日

Encoder-Decoder框架 2

摘要：相对于传统的规整的网络布局，Encoder Decoder 模型显得比较随性，不受约束，可能也正式这种自由，使得该模型在实际中发挥巨大的作用。模型结构突破了传统的固定大小输入问题的框架，将经典深度神经网络模型运用于翻译、文本自动摘要、智能问答等情景中，并且在实际应用中有着不俗的表现。Encoder 阅读全文

posted @ 2023-02-18 22:48 emanlee 阅读(181) 评论(0) 推荐(0) 编辑

Encoder-Decoder框架 1

摘要： Encoder-Decoder框架概述 Encoder-Decoder 并不是一个具体的模型，而是一个通用的框架。 Encoder 和 Decoder 部分可以是任意文字，语音，图像，视频数据。模型可以是 CNN，RNN，LSTM，GRU，Attention 等等。编码，就是将输入序列转化转化阅读全文

posted @ 2023-02-18 22:48 emanlee 阅读(273) 评论(0) 推荐(0) 编辑