Representation Learning for Event-based Visuomotor Policies

Representation Learning for Event-based Visuomotor Policies

2021-08-30 10:15:07

Paper: https://arxiv.org/pdf/2103.00806.pdf

Code: https://github.com/microsoft/event-vae-rl

1. Background and Motivation:

本文提出一种新的 event data 表达方法，进行 UAV 的自主避障。

如下图所示，作者不对 event data 进行预处理（如转为 event image 的方式），而是采用类似 pointnet 或者 eventnet 类似的方式，直接用 MLP 来处理 event 原始数据，即：[time, x, y, p]。受到 Transformer 结构的启发，作者将 temporal embedding 引入到这个框架中，对给定的 event sets 中的时间戳进行归一化，即 0-1. 然后这个归一化的 temporal feature 将会与其对应的特征进行相加处理。

作者将对 time 和 (x, y, p) 处理的网络结构统称为 ECN，Event Context Network。然后用 max pool 进行降维处理，得到统一的 1024-D 的特征。作者将该特征输入到 VAE 模型中，进行图像的重构。此处用到了 VAE 默认的 KL 散度损失函数和 MSE 重构损失。

为了验证该数据表达的有效性，作者将其结合到 UAV 导航的任务中。然后利用 PPO 进行 agent 的训练。