Open3d之交互式可视化
本篇教程介绍了Open3D的可视化窗口的交互功能。
# -*- coding:utf-8 -*-
import copy
import numpy as np
import open3d as o3d
def demo_crop_geometry():
print("手动几何裁剪演示")
print(
"1) 按两次“Y”以将几何体与Y轴的负方向对齐"
)
print("2) 按“K”锁定屏幕并切换到选择模式")
print("3) 拖动以选择矩形,")
print(" 或者使用ctrl+左键单击进行多边形选择")
print("4) 按“C”获取选定的几何图形并保存")
print("5) 按“F”切换到自由视图模式")
# 加载点云
pcd = o3d.io.read_point_cloud("../../test_data/ICP/cloud_bin_0.pcd")
# 可视化几何体供用户交互
o3d.visualization.draw_geometries_with_editing([pcd])
def draw_registration_result(source, target, transformation):
"""绘制配准结果"""
source_temp = copy.deepcopy(source)
target_temp = copy.deepcopy(target)
source_temp.paint_uniform_color([1, 0.706, 0])
target_temp.paint_uniform_color([0, 0.651, 0.929])
source_temp.transform(transformation)
o3d.visualization.draw_geometries([source_temp, target_temp])
def pick_points(pcd):
print("")
print(
"1) 请使用至少选择三个对应关系 [shift + 左击]"
)
print(" 按 [shift + 右击] 撤销拾取的点")
print("2) 拾取点后，按“Q”关闭窗口")
vis = o3d.visualization.VisualizerWithEditing()
vis.create_window()
vis.add_geometry(pcd)
# 激活窗口。此函数将阻止当前线程，直到窗口关闭。
vis.run() # 等待用户拾取点
vis.destroy_window()
print("")
return vis.get_picked_points()
def demo_manual_registration():
print("手动ICP演示")
# 加载点云
source = o3d.io.read_point_cloud("../../test_data/ICP/cloud_bin_0.pcd")
target = o3d.io.read_point_cloud("../../test_data/ICP/cloud_bin_2.pcd")
print("手动对齐前两点云的可视化")
draw_registration_result(source, target, np.identity(4))
# 从两点云中拾取点并建立对应关系
picked_id_source = pick_points(source)
picked_id_target = pick_points(target)
assert (len(picked_id_source) >= 3 and len(picked_id_target) >= 3)
assert (len(picked_id_source) == len(picked_id_target))
corr = np.zeros((len(picked_id_source), 2))
corr[:, 0] = picked_id_source
corr[:, 1] = picked_id_target
# 利用对应关系估计粗变换
print("使用用户给定的对应关系计算粗糙变换")
p2p = o3d.pipelines.registration.TransformationEstimationPointToPoint()
trans_init = p2p.compute_transformation(source, target,
o3d.utility.Vector2iVector(corr))
# 用于改善的点对点ICP
print("执行点对点ICP改善")
threshold = 0.03 # 3cm距离阈值
reg_p2p = o3d.pipelines.registration.registration_icp(
source, target, threshold, trans_init,
o3d.pipelines.registration.TransformationEstimationPointToPoint())
draw_registration_result(source, target, reg_p2p.transformation)
print("")
if __name__ == "__main__":
demo_crop_geometry()
demo_manual_registration()此脚本执行了两个用户交互应用程序：demo_crop_geometry()和demo_manual_registration()。
裁剪几何体
def demo_crop_geometry():
print("手动几何裁剪演示")
print(
"1) 按两次“Y”以将几何体与Y轴的负方向对齐"
)
print("2) 按“K”锁定屏幕并切换到选择模式")
print("3) 拖动以选择矩形,")
print(" 或者使用ctrl+左键单击进行多边形选择")
print("4) 按“C”获取选定的几何图形并保存")
print("5) 按“F”切换到自由视图模式")
# 加载点云
pcd = o3d.io.read_point_cloud("../../test_data/ICP/cloud_bin_0.pcd")
# 可视化几何体供用户交互
o3d.visualization.draw_geometries_with_editing([pcd])
这个函数简单读取了一个点云数据然后调用了draw_geometries_with_editing函数，该函数提供了顶点选择和裁剪功能。
注意
Open3D有一个继承Visualizer类的VisualizerWithEditing类。它提供了图形用户交互功能。同样的例子在自定义可视化中,VisualizerWithEditing()是可以显示的替换掉draw_geometries_with_editing([pcd]).
在几何体显示之后，按两次Y可以将几何体与Y轴的负半轴对齐。在调整好观看视角之后，按K键锁定视图并切换到选择模式。
提示
在实际的选取区域的操作中，一般都是使用正交投影模型（orthographic projection model.）将几何体与任意轴对齐。这个技巧可以避免由于透视投影带来自遮挡问题，使得选取变得容易。
在选择区域时，可以用鼠标拖动（矩形区域）或者 ctrl + 鼠标左键点击（选取多边形区域）。下面的例子展现了多边形选取。
注意选择的区域为深色阴影，如果要保存选取的区域并且丢弃其余的，请按C。他会弹出一个对话框去保存裁剪的区域。裁剪的结果将在显示之后保存。
按F可以结束选择模式进入自由浏览模式。
手动配准
选取对应点
下面的代码使用点对点的ICP去配准两个点云。它通过人工交互来获得初始的对齐。
def demo_manual_registration():
print("手动ICP演示")
# 加载点云
source = o3d.io.read_point_cloud("../../test_data/ICP/cloud_bin_0.pcd")
target = o3d.io.read_point_cloud("../../test_data/ICP/cloud_bin_2.pcd")
print("手动对齐前两点云的可视化")
draw_registration_result(source, target, np.identity(4))
# 从两点云中拾取点并建立对应关系
picked_id_source = pick_points(source)
picked_id_target = pick_points(target)这个脚本读取两组点云，并且在对齐之前可视化。
def pick_points(pcd):
print("")
print(
"1) 请使用至少选择三个对应关系 [shift + 左击]"
)
print(" 按 [shift + 右击] 撤销拾取的点")
print("2) 拾取点后，按“Q”关闭窗口")
vis = o3d.visualization.VisualizerWithEditing()
vis.create_window()
vis.add_geometry(pcd)
# 激活窗口。此函数将阻止当前线程，直到窗口关闭。
vis.run() # 等待用户拾取点
vis.destroy_window()
print("")
return vis.get_picked_points()函数pick_points(pcd)创造了一个VisualizerWithEditing实例去模仿draw_geometries，他创造可视化窗口，添加几何图形，可视化几何图形和结束。VisualizerWithEditing提供一种新的交互函数get_picked_points()，他可以返回用户选取的顶点的索引。
在窗口中点击 shift + 左键可以选取顶点。当顶点被选取的时候，可视化窗口会在上面覆盖一个球形。比如，下图是在源点云上选取了三个顶点之后的结果。
将会打印出：
[Open3D INFO] Picked point #58900 (2.1, 1.6, 1.5) to add in queue.
[Open3D INFO] Picked point #43151 (3.3, 1.5, 1.5) to add in queue.
[Open3D INFO] Picked point #76877 (2.9, 1.9, 1.1) to add in queue.
按 q 关闭窗口，之后在目标点云上选取相应的对应点。这个球体的颜色有助于识别相同的对应点。
将会打印出：
[Open3D INFO] Picked point #48028 (1.6, 1.8, 1.3) to add in queue.
[Open3D INFO] Picked point #47210 (2.7, 1.7, 1.4) to add in queue.
[Open3D INFO] Picked point #98733 (2.4, 2.2, 1.1) to add in queue.
提示
为了有一个好的配准结果，应该去选取场景中均匀分散的三个对应点。选取拐角区域的顶点有助于选取高质量的对应点。
使用用户选取的对应关系配准
assert (len(picked_id_source) >= 3 and len(picked_id_target) >= 3)
assert (len(picked_id_source) == len(picked_id_target))
corr = np.zeros((len(picked_id_source), 2))
corr[:, 0] = picked_id_source
corr[:, 1] = picked_id_target
# 利用对应关系估计粗变换
print("使用用户给定的对应关系计算粗糙变换")
p2p = o3d.pipelines.registration.TransformationEstimationPointToPoint()
trans_init = p2p.compute_transformation(source, target,
o3d.utility.Vector2iVector(corr))
# 用于改善的点对点ICP
print("执行点对点ICP改善")
threshold = 0.03 # 3cm距离阈值
reg_p2p = o3d.pipelines.registration.registration_icp(
source, target, threshold, trans_init,
o3d.pipelines.registration.TransformationEstimationPointToPoint())
draw_registration_result(source, target, reg_p2p.transformation)
print("")Demo的后续部分是根据用户提供的对应关系来计算初始化转换。这个脚本通过使用Vector2iVector(corr)建立了成对的对应关系。他利用TransformationEstimationPointToPoint.compute_transformation去计算一个初始化的变换。之后再此基础上使用registration_icp微调。
配准结果如下：
