Typesetting math: 100%

点云分割网络---Point Transformer V1

PDF: 《Point Transformer》
CODE: https://github.heygears.com/POSTECH-CVLab/point-transformer

一、大体内容

Point Transformer基于自注意力网络实现网络模型的构建。通过设计针对点云的自注意力层,结合位置编码构建Transformer block,利用自注意力机制,实现包括语义分割,部件分割以及识别任务,并取得了不错的效果,如在用于大规模场景分割的具有挑战性的S3DIS数据集上,Point Transformer在区域5上的mIoU达到70.4%,比最强的先前模型高3.3个绝对百分点,并首次超过70%mIoU阈值。

二、贡献点

  1. 设计了基于点云的自注意力层,自注意力层与顺序无关天然适合处理无序点云数据
  2. 基于点自注意力层,构建了高性能的点变换器网络,可直接用于点云的分类和密集预测,也可以作为3D场景理解的骨干网络。

三、细节

3.1 Point Transformer Layer

主要用于分析点在其邻域内的自注意力,可以用下式表示:

其中yi表示输出特征,xi表示输入特征,χ(i)χ表示xi的邻域,φ,ψ,α 表示逐点特征变换,δ 表示位置编码,ρ 表示标准化操作,γ 表示映射函数。
Point Transformer Layer如下图所示:

3.2 位置编码(Position Encoding)

由于点云坐标本身就可以表示位置信息,所以这里直接对相对坐标进行映射。

这里的映射函数θ是一个包含两层线性层的MLP和一个Relu层的组合。

3.3 网络结构

将Point Transformer Layer作为基础算子,然后构建分割网络和分类网络如下:

分割网络采用Encoder和Deconder编码结构,而分类网络特征提取后直接接一个线性层输出,point transformer block、transition down和transition up的结构如下:

四、效果

4.1 语义分割



4.2 部件分割


4.3 分类

posted @   半夜打老虎  阅读(612)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· Docker 太简单,K8s 太复杂?w7panel 让容器管理更轻松!
历史上的今天:
2022-06-26 draco编译及使用
2017-06-26 MySQL数据库学习笔记----MySQL多表查询之外键、表连接、子查询、索引
点击右上角即可分享
微信分享提示