看过LiveMaps和Codec Avatar，我认为Facebook就是AR社交王者

FRL最新实验成果揭晓...





Esther｜ 编辑

在今年OC 6大会上，Facebook并未发布任何AR硬件，正如此前的传闻，其AR/VR部门主任Andrew Bosworth证实AR眼镜将在几年后才推出，同时也证实目前正在开发多款AR头显原型。

不过，Bosworth在大会上发布了一款AR内容产品：LiveMaps。据悉，这是Facebook正在构建的一个全新的实时AR空间地图，其作用是通过持续性的云端AR内容，为用户提供支持多人共享的AR平台。

据了解，LiveMaps将通过类似于Insight的定位技术对真实环境进行扫描，并保存在云端，每当有新的设备对相同空间进行扫描，地图会得到更新。

对此，Facebook Reality Labs在官方博客更新了更详细的解释，并同时公开了为营造具有“社交临场感”的未来VR/AR社交上所做的努力和研究进度，接下来就一起来看看。

关于LiveMaps



首先，Facebook Reality Labs表示LiveMaps是支撑未来AR内容的核心基础设施。除了AR技术，LiveMaps将结合计算机视觉和SLAM技术，逐渐在全球规模创建一个可共享的虚拟地图。

这是一项为了未来广阔的虚实融合场景推出的技术，跟Magicverse，华为Cyberverse同等重要。

Facebook表示：未来的AR眼镜将不需要实时重建，而是直接接入3D空间地图，这将需要大幅降低眼镜对算力的需求，才能用在眼镜的移动芯片上。

有了足够规模的3D地图后，你将能够穿越到几乎世界上每个角落。此外，除了远程穿越，LiveMaps也将让你能够搜索和分享真实环境的实时信息（有点类似于2D地图应用）。这种功能的好处是，可将你的个性化信息与地理空间实时绑定，还可以让你将虚拟内容标记在真实世界中。



这样一来，这些记录在LiveMaps地图上的信息便可通过AR的形式为你提供便利，比如提示你电影院场次时间，或者你提示你接下来要做的事情。

据了解，为了规模化，LiveMaps将需要通过未来智能设备（可能指的是AR眼镜）以众包形式所提供的信息数据。为了构建初代LiveMaps地图，Facebook Reality Labs科研人员已经开始在园区内探索地图测绘，比如使用SLAM技术，用带有地理标记的公开图像来生成点云数据。



目前这项技术还处于研究阶段，在未来将面向大众开放，并且Facebook还有望分享关于AR眼镜的研发进度。同时，Facebook也表示在构建未来AR地图的同时，也会想办法保证未来用户对信息隐私的控制。

关于Codec Avatar



接下来，看一看此前Facebook就曾公开的逼真人像系统Codec Avatar。据悉，Codec Avatar是Facebook为了增强VR社交的自然感而探索的方向之一，其目的是希望通过逼真的3D人像让用户以为自己穿越到了另一个社交空间，与实际上远在天边的人分享同一个空间。在这个空间里，用户之间的沟通和情感传递也能像在真实世界中一样自然。

此前，结合动捕技术，Codec Avatar已经可以重现逼真的人脸特征，并实现对面部表情的准确追踪和模拟。为了加速这项技术的问世，Facebook Reality Labs科研人员还训练了一款人脸追踪算法，通过普通Oculus VR头显上的三颗摄像头就能为虚拟头像提供准确的人脸追踪。



而现在，Facebook Reality Labs将研究延续到对全身的追踪，从公布的视频来看，目前已经可以做到对人体动作，肤色、衣服纹理和褶皱的重现。科研人员表示：这项技术短期内不会用于任何C端产品，他们将继续简化人像制作流程，在未来有望让你用手机镜头就能实现对人体特征的逼真捕捉，并通过VR头显来实现对姿态的追踪。

用手机摄像头拍摄几张相片来实现人体特征捕捉可能是重点研发方向之一，而姿态追踪方面，此前Facebook在F8大会上就曾展示过基于单目摄像头的无标记体感追踪方案，该方案的特点是不仅能识别人体骨骼姿态，甚至还能识别出人体肌肉活动状态。该方案无须多相机阵列组合，同时也不需要穿戴式追踪器或追踪标记大大降低硬件成本。

关于共享空间

VR社交对于Facebook来讲是一个重要的应用场景，而这将需要一个可共享的逼真虚拟社交环境，让用户即使身在不同地方，也能相聚于此。

在今年6月的时候，Facebook Reality Labs曾展示在重现真实环境的超写实3D模型上所做的研究，并发布了由18个模拟场景组成的数据集。据悉，这些模拟场景捕捉到了空间中的小细节，比如镜子的反射、地毯纹理效果等，与真的看起来区别不大。

这项技术通过高精准深度捕捉系统、尖端SLAM技术和先进的相机装置以及密集的重建系统，可为VR提供高逼真的环境模拟效果。

现在，Facebook的这项研究已经可以支持两个人以Avatar虚拟形象出现在基于真实空间重建的3D环境，他们可以在这个环境中一起观看视频或者玩游戏。这种可共享且个性化的3D社交环境，展现了Facebook VR社交的未来发展方向。

这款VR虚拟社交环境是结合3D定位算法和特殊的深度感知摄像头实现的，目前还处于概念验证阶段，未来Facebook计划研发出让用户用3D重建自己家环境的功能。

将逼真人像与3D环境结合



目前Facebook展示逼真3D社交环境时并未使用像Codec Avatar那样逼真的虚拟形象系统，不过在未来，当全身姿态追踪的逼真人像系统与逼真的3D环境相结合，VR社交将迎来重大突破。比如，你将实现体验感足够逼真的传送（高社交临场感），让身处远方的朋友和家人也能进行仿佛在一起玩游戏、看电影等活动。



此外，逼真的VR社交也可以用于远程协作，在逼真的3D环境中为用户提供虚拟屏幕、白板等支持自定义的工具。Facebook认为，这将对我们的生活产生巨大的积极影响，不仅减少通勤，也将有望颠覆协作和创作的方式。

未来，这项应用也可以用于AR眼镜，让用户可以随时穿越到另一个空间，与远程用户保持联系，甚至来到对方身边。不过在此之前，将需要LiveMaps来提供规模足够大的全场景融合地图。

（END）


每天五分钟，轻松了解前沿科技。
—— 青亭网

    关注 青亭网