pointnet与++原理与代码介绍,复现

pointnet与++最全介绍:

https://www.cnblogs.com/yibeimingyue/category/1579208.html

原理视频文字版:https://www.cnblogs.com/yibeimingyue/p/12002469.html

代码与原理看:https://zhuanlan.zhihu.com/p/57761392

pointNet:

https://blog.csdn.net/qq_15332903/article/details/80224387

pointNet++:

https://blog.csdn.net/qq_15332903/article/details/80261951

https://zhuanlan.zhihu.com/p/57761392

补充:只看++部分即可https://mp.weixin.qq.com/s/N8TLS4WIYT86YhPAzE3--g

代码: https://github.com/charlesq34/pointnet2

?pointnet++分割问题处理?

变换的网络如何和pointnet结合起来:得到分类和分割网络

首先输入一个n*3的矩阵,先做一个输入的矩阵变换,T-net 变成一个3*3的矩阵,然后通过mlp把每个点投射到64高维空间,在做一个高维空间的变换,形成一个更加归一化的64维矩阵,继续做MLP将64维映射到1024维,在1024中可以做对称性的操作,就是maxpooling,得到globle fearue,1024维度 ,通过级联的全连接网络生成k (分类)

 

如果是分割呢?

可以定以成对每个点的分类问题,通过全局坐标是没法对每个点进行分割的,简单有效的做法是,将局部单个点的特征和全局的坐标结合起来,实现分割的功能

最简单的做法是将全局特征重复N遍,和每一个原来单个点的特征连接在一起,相当于单个点在全局特征中进行了一次检索,检索到在哪个位置就是哪个类别,对连接起来的特征进行MLP的变换,最后输出m类相当于m个score:(将单个点和总体的特征连接到一起,判定在总体中的位置,来决定是哪个分类)

 

frustum pointnet视锥体点网.       

 

 

通过最远点采样减少点数量,pointNet不改变点数N,但改变特征C.d代表???

C代表特征.C3=C1+C2.分割部分相当于反卷积,将最后的点重新上卷积的方式传回原来的点上.

interpolate代表根据NL的点,采用邻近的3点反距离加权插值得到NL-1,将高维的点反距离插值得到与低维相同的点数,将插值得到的特征和之前跳跃连接的特征融合.最后再使用PointNet提取特征.

Conda

查看管理的所有环境conda env list

查看当前环境的所有包conda list

安装第三方包:conda install requests[=version] 或者 pip install requests
卸载第三方包:conda remove requests 或者 pip uninstall requests
查看已安装包:conda list 或者 pip list

切换py37环境activate py37

离开环境conda deactivate

删除环境conda remove -n py37 --all

创建名为py37的环境并指定python版本为3(的最新版本)conda create -n py37 python=3

更新requests第三方包conda update requests

查找包的版本信息conda search package_name

查找指定的包源anaconda search -t conda tensorflow-gpu

显示指定安装包的安装源anaconda show cjj3779/tensorflow-gpu

复现:

查看当前系统版本cat /proc/version

安装tensorflow: conda install cudatoolkit==9.0 tensorflow-gpu==1.11.0

虚拟环境里cuda不受外界cuda版本影响.

未安:虚拟环境安装cv2:pip install opencv-python    pip install h5py

tf_ops文件夹中的三个子文件夹的sh文件:

都去掉选项-D_GLIBCXX_USE_CXX11_ABI = 0.

更改tensorflow路径为:

/home/omnisky/anaconda3/envs/PointNet++/lib/python2.7/site-packages/tensorflow等

Cuda路径: usr/local/cuda/bin/nvcc

运行sh文件:直接sh 加上文件名.sh

参考博客:https://blog.csdn.net/qq_40196164/article/details/84638410

Scannetv2数据集不好下载,要发邮件之类的:数据集介绍https://blog.csdn.net/weixin_40766438/article/details/102969299

训练结果:


评估结果:

分割时: python train.py --model=pointnet2_part_seg

出错:

 

解决:数据集要是解压后的.

代码分析:

modelnet_dataset和modelnet_h5_dataset是对源数据集的处理,获得训练测试数据集.

多尺度版本pointnet2_cls_msg.py

单尺度版本pointnet2_cls_ssg.py

FPS最远点采样:基于cuda的并行计算实现. tf_ops/sampling/tf_sampling_g.cu

用SSG分类网络进行采样与分组后进行pointnet, pointnet体现在conv2d、池化、全连接。其中全连接在模型文件pointnet2_cls_ssg等中操作,ssg网络和conv2d、池化都在pointnet_util文件的pointnet_sa_module方法里。

可视化?

posted @ 2020-09-05 18:33  lakaka  阅读(7629)  评论(0编辑  收藏  举报