[Paper Reading] StegoType: Surface Typing from Egocentric Cameras

目录

• StegoType: Surface Typing from Egocentric Cameras
• TL;DR
• Data
  • 数据采集设备
  • 开环数据收集
  • 闭环数据收集
  • 数据容错机制Oracle
• Method
  • Input Features
  • Backbone
  • Data
  • Loss
• Experiment
• 效果可视化
• 总结与思考
• 相关链接
• Related works中值得深挖的工作
• 资料查询

StegoType: Surface Typing from Egocentric Cameras

link
时间：24.08
作者与单位：

相关领域：XR text entry, ASR，action recognition
作者相关工作：
Mark Richardson： decoding surface touch typing的一作
Fadi Botros: touch insight的三作

被引次数：1
主页：无

TL;DR

本文提出一种XR场景下虚拟键盘输入的算法，通过利用XR设备26DoF追踪序列及输入文本作为训练数据，配合闭环的数据收集机制，训练出来的算法模型输入速度达到42.4 WPM，错误率UER达到7%。

Data

数据采集设备

• 两块Sensel压感触控板利用OptiTrack追踪
• 压感触控板表面贴纸键盘，将纸键盘按键与与压感坐标关联
  

开环数据收集

用户按照纸键盘输入过程无任何反馈，完全按照他们自我感觉来判断是否输入完成。这类数采训练精度始终不高24.6% -> 18.2 CER(采集40人)，会引发两类问题：

• 溢出错误(Slop errors): 用户想敲击某个键，但实际没有达到对应的物理位置，在touch insight中称为User Error，是需要算法考虑对应的容错机制的。
• 合规性错误(Compliance errors)：用户敲击某个键过程，其它指尖不小心敲到另外的按键；用户不知道敲击错误(比如误读文本，或者误敲击)，所以没有及时使用退格删除。

闭环数据收集

主要解决 合规性错误 的问题，用户可实时预览敲击内容，并使用退格键来删除。同时调整压感触控板的力响应阈值，减少误触。

数据容错机制Oracle

Oracle分为on-track与off-track两种模式

• on-track：会根据用户历史信息提示接下来要输入的字符，并将该字符响应的物理面积放大，增加用户键入该字符的成功率(一定程度上消除了slot errors)，如果on-track成功，接下来会继续提示。
• off-track：如果用户输入了非提示字符，则进入off-track模式，并将backspace的物理面积放大，直到用户删除掉所有Oracle认为错的。

Method

Input Features

• Pose Feature: 每个指尖点选则3个mesh点(6自由度)
• Latent Feature: 多视角时序融合之后的特征，后训练MLP从960D降维至128D

Backbone

• Enformer模型架构组成
• Head预测每时刻单词概率(包含no key pressed状态)
• 时序感受野12.3s

Data

606个打字员，26.8W段数据

Loss

$L_{CTC}$：直观想到的Loss是逐帧的CE Loss，但作者使用CTC Loss。原因：1) GT的tempstamp与观测数据不一定能很好对齐。2) 比较难界定是什么时候是按压的开始，什么时候是按压的结束。
$L_{latency}$：将当前时刻的预测结果与前一时刻预测结果的KL散度尽可能对齐，降低延迟。

$L_{i}$：中继监督的Loss，即中间层就开始监督CTC，后面的Layer用来精修。

Experiment

效果可视化

https://dl.acm.org/doi/10.1145/3654777.3676343
https://www.youtube.com/watch?v=bMjsFz-CdEQ

总结与思考

无

相关链接

引用的第三方的链接

Related works中值得深挖的工作

资料查询

折叠Title

FromChatGPT(提示词：XXX)