手势输入识别

FRL最新VR手势输入方案：平均73字/分钟，错误率仅2.4%

可以让你在VR中快速盲打...

Esther｜撰文

不久前，青亭网就曾报道Facebook科研人员展示的一种基于光追手套的VR虚拟键盘方案，它的特点是利用Quest头显对光追手套上标记的识别，来替代实体键盘进行输入。也就是说，你在任何表面上都可以模拟键盘输入，在VR中你可以看到虚拟的键盘和输入的文字。

为了探索在VR中快速、自然输入文字的方式，Facebook想了很多办法。目前已经应用且最直接的方式是，通过手机输入然后发送到头显中，或是依靠语音指令。不久后，Facebook还将为Quest推出基于AR透视和键盘定位的AR办公功能Infinite Office，也是一种可以让你快速在Quest中进行输入的方式。

Facebook表示：目前，我们在Quest 2的文字输入方式上将重心放于AR+键盘追踪的形式。与此同时，用光追手套模拟打字也是FRL正在探索的输入方式之一，目前它可以让你在任何表面实现73字/分钟的输入速度，距离FRL的研究目标前进了一大步。

今天，FRL在最新发布的一篇博客中详细介绍了光追手套VR虚拟键盘方案的更多细节，以及为Quest开发手势识别技术背后的故事和设计理念。

关于VR虚拟键盘方案

FRL研发的光追手套VR虚拟键盘方案的一大特点是利用模型算法来推断你的意图，以此来提升虚拟键盘输入的准确性。为此，FRL科研人员参考了自动语音识别算法采用的统计解码技术（利用声学模型从音频帧预测音位），利用动作模型来推断敲击手势的意图，即使手势漂移也能辨别不规则的输入规律。

具体来讲，FRL利用时间卷积网络来根据手势数据来形成动作模型，将一系列手势特征转化成文字。然后在动作模型基础上还结合了语言模型，即使动态手势难以识别，也能推断出输入意图。接着，利用定向搜索来分析动作模型和语言模型，推断不规则或不明确的手势想要输入的文字。

据了解，利用该方案输入文字的速度平均可达73字/分钟，未修正的错误率低至2.4%，对比同一个人在实体键盘上输入的速度和准确率，两种方案效率相当。

FRL科研人员还发现，手势识别输入比平板电脑采用的电容传感触屏效率更高，原因是手势识别可追踪每一个单独的手指，以及手指的移动轨迹，这是当前平板电脑或智能手机技术难以做到的。

尽管如此，在VR沉浸的环境中，依靠手势来输入可能并不适合所有人。FRL表示：该方案更适合于能够盲打的人，尤其是没有键盘的体感反馈也能自然输入的人。可能对于习惯于用实体键盘打字的人来说，还需要一段时间适应。

FRL的手势识别探索之路

对于FRL科研团队来讲，手势识别技术是为了降低VR使用门槛而探索的方向之一，他们认为手势输入比手柄更容易上手，随时随地就能使用，是一种更加自然的人机交互方式。

尽管一开始，FRL在VR输入方式上的研究以手柄为重点，但是他们发现与直接用手操作相比，手柄控制缺乏表现力，使用起来也不够自然。于是在5年前，FRL几乎从零开始研发，最后成功在Quest上推出足够稳定的手势识别技术。

此前，青亭网就曾报道过FRL对Quest手势识别研究发布的论文，其中揭露了4颗黑白摄像头实时识别手势的原理，以及需要克服的困难。为了在配备移动芯片的Quest一体机流畅运行，FRL对手势识别系统进行一系列优化，将该系统的耗电量降低至7%。

接下来，FRL还将继续在VR手势识别上的探索，进一步优化技术。如果你现在就想试试Quest手势识别功能，可以去体验《Wlatz of the Wizard》、《The Line》、《Spatial》、《The Curious Tlae of the Stolen Pets》等VR应用，未来相信还会有更多VR作品加入该功能。

参考：

https://tech.fb.com/making-technology-feel-natural/

（ END）