摘要：
PDF: https://arxiv.org/abs/2010.11929 CODE: https://github.com/google-research/vision_transformer 一、大体内容 前面介绍了Transformer及其在NLP领域的两大发展方向BERT和GPT，但当时Tr 阅读全文
摘要：
前面讲解了GPT、BERT相关内容，这一篇记录剩下GPT-2、GPT-3、GPT-4。 相关资料 GPT1: Improving Language Understanding by Generative Pre-Training GPT2: Language Models are Unsupervi 阅读全文
摘要：
前面介绍了Transformer，随着其发展在NLP领域应用越来越多，在其基础上主要有两篇影响非常大的文章，一篇是GPT，另一篇是BERT。OpenAI提出的GPT采用Transformer解码器结构，一路更新迭代到了现在有了GPT-4，而Google提出的BERT采用Transformer的编码器 阅读全文
摘要：
Transformer于2017年提出，最开始应用于NLP领域，随着Transformer的快速发展，在视觉领域中也越来越多的论文或应用用到了Transformer，这里记录一下自己学习的一些知识点。 PDF： 《Attention Is All You Need》 Code: attention- 阅读全文
摘要：
一、空间直线方程 1.1 一般方程 空间直线可以看成成两个平面的交线，设两个平面方程分别为\(A_1x + B_1y + C_1z + D_1 = 0\) 和 \(A_2x + B_2y + C_2z + D_2 = 0\)，则直线\(l\)的一般方程可以表示为： \(\left\{\begin{m 阅读全文
摘要：
一、Layer Norm 1.1 介绍 LayerNorm（Layer Normalization）是2016年提出的，随着Transformer等模型的大规模推广，LayerNorm出现频率也随之越来越高。其大体思想类似于BatchNorm，对输入的每个样本进行归一化处理，具体就是计算每个输入的均 阅读全文
摘要：
先前的一些文章简单介绍了一些点云检测和分割的文献资料，可以看出近些年越来越多的方法结合了Transformer，因此有必要说明一下Transformer的结构，在介绍之前需要了解一些知识点：比如Self Attention、Layer Normalization等等，这一篇先简单了解下Self At 阅读全文
摘要：
PDF：《Point Transformer V3: Simpler, Faster, Stronger》 CODE: https://github.com/Pointcept/PointTransformerV3 一、大体内容 Point Transformer V3(PTv3)没有像V2那样在注 阅读全文
摘要：
PDF: 《Point Transformer V2: Grouped Vector Attention and Partition-based Pooling》 CODE: https://github.com/Gofinge/PointTransformerV2 一、大体内容 前面一篇文章介绍了 阅读全文
摘要：
PDF: 《Point Transformer》 CODE: https://github.heygears.com/POSTECH-CVLab/point-transformer 一、大体内容 Point Transformer基于自注意力网络实现网络模型的构建。通过设计针对点云的自注意力层，结合 阅读全文