Cardboard Talk01 HeadTracker
操作系统:Windows8.1
显卡:Nivida GTX965M
开发工具:Android studio 3.0.0 | Cardboard 1.0
使用 Google 的 Cardboard 开发VR应用,会用到其中的几个功能,其中一个便是头部跟踪,即HeadTracker。接下来几个章节将会逐一分析 Cardboard 头部跟踪的具体设计和实现。考虑新版本的SDK已经不再提供源代码的支持,故采用比较老的版本对源代码进行分析说明。
Overview Of HeadTracker
有关头部跟踪的代码均在 com.google.vrtoolkit.cardboard.sensors 包下。SDK通过 HeadTracker 对外提供服务,该类内部通过 DeviceSensorLooper 完成对Android系统的 SensorManager 的绑定、监听工作。通过 OrientationEKF 完成旋转角度的转换工作,其中涉及到应用扩展卡尔曼滤波及罗德里格旋转公式,该部分会在后面章节用到的时候逐一介绍。首先通过一张图,看一下 HeadTracker 与 DeviceSensorLooper 的关系结构。
从类结构来看 HeadTracker 实现了Android系统的 SensorEventListener 接口,该接口提供了必要的功能定义,用于监听系统对应的传感器的回调。换句话说 HeadTracker 将会作为监听器间接的或者直接的用以注册到系统的 SensorManager 中,获取源源不断的传感器数据。下面分别介绍几个主要的 PublicAPI 。
1. createFromContext(Context) 根据传递的Context创建 HeadTracker Instance:
public static HeadTracker createFromContext(final Context context) { final SensorManager sensorManager = (SensorManager)context.getSystemService("sensor"); final Display display = ((WindowManager)context.getSystemService("window")).getDefaultDisplay(); return new HeadTracker(new DeviceSensorLooper(sensorManager), new SystemClock(), display); }
该函数获取系统的 SensorManager,如之前所述用于注册监听器获取传感器数据。接下来通过 WindowManager 获取默认的 Display 对象,用于判断当前设备屏幕的旋转朝向。接着创建 DeviceSensorLooper 作为一个中间层内部启用了一个线程维护 SensorEventListener 与 SensorManager 的交互操作及外部控制逻辑,并将之前获取的 sesorManager 作为构造参数使用。最后实例化的是 SystomClock,该实例用于获得系统精确的 nano time 参与计算旋转角度。
2. onSensorChanged(SensorEvent) 将获取的传感器数据缓存,并传递给 OrientationEKF 进行处理以获得更准确的旋转数据。值得注意的是头部跟踪相关的传感器类型为应加速度计 Acc 和陀螺仪 Gyro。
public void onSensorChanged(final SensorEvent event) { if (event.sensor.getType() == 1) { this.mLatestAcc.set(event.values[0], event.values[1], event.values[2]); this.mTracker.processAcc(this.mLatestAcc, event.timestamp); } else if (event.sensor.getType() == 4) { this.mLatestGyroEventClockTimeNs = this.mClock.nanoTime(); this.mLatestGyro.set(event.values[0], event.values[1], event.values[2]); Vector3d.sub(this.mLatestGyro, this.mGyroBias, this.mLatestGyro); this.mTracker.processGyro(this.mLatestGyro, event.timestamp); } }
3. startTracking() 开启头部跟踪功能。
public void startTracking() { if (this.mTracking) { return; } this.mTracker.reset(); this.mSensorEventProvider.registerListener((SensorEventListener)this); this.mSensorEventProvider.start(); this.mTracking = true; }
重置 OrientationEKF 对象,向 SensorEventProvider 接口的实现类 DeviceSensorLooper 对象注册 HeadTracker 实例本身。除此之外开启 DeviceSensorLooper 线程,最后设置上下文 mIsRunning 为 true 。
4. stopTracking() 关闭头部跟踪功能。
@Override public void stop() { if (!this.mIsRunning) { return; } this.mSensorManager.unregisterListener(this.mSensorEventListener); this.mSensorEventListener = null; this.mSensorLooper.quit(); this.mSensorLooper = null; this.mIsRunning = false; }
从传感器管理器移除所有的监听器,停止监听。并结束传感器线程,设置上下文 mIsRunning 为 false。
5. setGyroBias(float[]) 设置陀螺仪Gyro的偏好数据,对于头部跟踪的最小原型,该函数是非必要的。
public void setGyroBias(final float[] gyroBias) { if (gyroBias == null) { this.mGyroBias.setZero(); return; } if (gyroBias.length != 3) { throw new IllegalArgumentException("Gyro bias should be an array of 3 values"); } this.mGyroBias.set(gyroBias[0], gyroBias[1], gyroBias[2]); }
6. setNeckModelEnabled(boolean) 开启颈部模型偏移数据。
public void setNeckModelEnabled(final boolean enabled) { this.mNeckModelEnabled = enabled; }
关于该函数没什么好说的,该功能默认是关闭的,如果开启需要留意类中定义了颈部模型的offset补偿的参数:
private static final float DEFAULT_NECK_HORIZONTAL_OFFSET = 0.08f; private static final float DEFAULT_NECK_VERTICAL_OFFSET = 0.075f; private static final boolean DEFAULT_NECK_MODEL_ENABLED = false;
Details of DeviceSensorLooper
在介绍 getLastHeadView(float[], int) 函数之前,先看一下 DeviceSensorLooper 的设计与实现,以便更好的理解后续的逻辑。该类的初始化阶段定义了感兴趣的传感器类型:
static { INPUT_SENSORS = new int[] { 1, 4 }; }
1. constructor(SensorManager) 现在看一下构造函数的定义实现:保存 HeadTracker 传递进来的系统 SensorManager 实例引用,用于注册监听器所使用。
public DeviceSensorLooper(final SensorManager sensorManager) { super(); this.mRegisteredListeners = new ArrayList<SensorEventListener>(); this.mSensorManager = sensorManager; }
2. start() 开启独立工作线程,监听传感器传递的数据,并向注册的监听器回调获取到的数据,可以看到在内部类中引用了监听器集合 mRegisteredListeners,会遍历所有的监听器分发数据。
@Override public void start() { if (this.mIsRunning) { return; } this.mSensorEventListener = (SensorEventListener)new SensorEventListener() { public void onSensorChanged(final SensorEvent event) { for (final SensorEventListener listener : DeviceSensorLooper.this.mRegisteredListeners) { synchronized (listener) { listener.onSensorChanged(event); } } } public void onAccuracyChanged(final Sensor sensor, final int accuracy) { for (final SensorEventListener listener : DeviceSensorLooper.this.mRegisteredListeners) { synchronized (listener) { listener.onAccuracyChanged(sensor, accuracy); } } } }; final HandlerThread sensorThread = new HandlerThread("sensor") { protected void onLooperPrepared() { final Handler handler = new Handler(Looper.myLooper()); for (final int sensorType : DeviceSensorLooper.INPUT_SENSORS) { final Sensor sensor = DeviceSensorLooper.this.mSensorManager.getDefaultSensor(sensorType); DeviceSensorLooper.this.mSensorManager.registerListener(DeviceSensorLooper.this.mSensorEventListener, sensor, 0, handler); } } }; sensorThread.start(); this.mSensorLooper = sensorThread.getLooper(); this.mIsRunning = true; }
函数的后半部分,会实例化线程的Handler,并在Handler初始化的时候获取感兴趣的传感器对象,并最终注册代理 SensorEventListener 对象。完成后启动线程,并修改标志位为已运行状态。
2. stop() 停传感器工作线程,移除代理中间监听器对象,退出线程并修改标志位为停止运行状态。
@Override public void stop() { if (!this.mIsRunning) { return; } this.mSensorManager.unregisterListener(this.mSensorEventListener); this.mSensorEventListener = null; this.mSensorLooper.quit(); this.mSensorLooper = null; this.mIsRunning = false; }
3. registerListener(SensorEventListener) 向外部提供接口,用以注册外部Sensor监听器对象。
@Override public void registerListener(final SensorEventListener listener) { synchronized (this.mRegisteredListeners) { this.mRegisteredListeners.add(listener); } }
4. unregisterListener(SensorEventListener) 向外部提供接口,用以注销外部Sensor监听器对象。
@Override public void unregisterListener(final SensorEventListener listener) { synchronized (this.mRegisteredListeners) { this.mRegisteredListeners.remove(listener); } }
Brief summary
Cardboard SDK 为获取系统的传感器数据,定义了 DeviceSensorLooper 对象维护系统内部 SensorManager 与外部 SensorEventListener 监听器的联系,其内部开启了一个独立的worker工作线程专门负责传感器数据的获取与分发。而 HeadTracker 通过注册自身到 DeviceSensorLooper 中最终获得了有效的传感器原始数据,Acc 与 Gyro。
目前位置,拿到传感器原始数据后,如何计算精准的旋转矩阵并未提及。该部分将会在接下来的章节逐一讨论。