或许这就是CG未来！GDC大会UE4实时技术详解

GDC大会上Epic Games的实时展示...

点击上方蓝字CG世界 关注CG我们

“ 感知CG · 感触创意 · 感受艺术 · 感悟心灵 ”

中国最具影响力CG领域自媒体

今天被GDC大会上Epic Games的实时展示刷屏了哈。但这里到底都结合了哪些东西呢。在这里跟大家分享下。

其实早在2016年的时候，跟大家分享过一篇类似的技术。当时也是UE4联合的几家业界顶级的实时技术企业一起搞的。其实感觉要比这次真实。只是这次很多技术更加的强大了。Demo中同样使用了3Lateral的面部捕捉技术，渲染用的UE4，同样还是将真人演员变成实时的数字化角色。

最先进的面部和全身捕捉技术

这个项目是几家大牛公司一起搞出来的，其中有Vicon，面部捕捉专家3Lateral和Cubic Motion还有QQ，不不不，是腾讯！

过程是这样的，在Rig Logic提供的实时面部绑定的基础上，3Lateral对演员脸部进行3D和4D的扫描。接下来由Cubic Motion处理面部表演捕捉，跟踪，解算和动画。然后全身表演动捕使用的是Vicon的Vantage光学动作捕捉系统进行录制，并使用Shōgun 1.2 软件和UE4的实时链接功能进行流媒体播放。就是最后我们看到的视频中的效果了。

过程中Vicon直接解决了角色Siren定制骨骼的问题，消除了重新定位数据的需要，并且还开发了一种新的算法来逼真的实现CG角色的手指。

实时渲染皮肤，眼睛和头发

要想塑造写实人物其中重要的几点是眼睛，皮肤和头发的塑造，这在单帧离线渲染都是需要不断调试的。然而我们从这次的演示中可以看到，实时渲染的眼睛，皮肤和头发效果是相当的惊人，这其中的改进包括双叶镜面反射，后向散射和屏幕空间辐照度。

3Lateral的Meta人脸重建系统驱动数字角色

我们经常提到的“恐怖谷”对于渲染来说是巨大的挑战，但对于创造可信度非常高的面部动画也同样是巨大的挑战。

下面这个视频展示的是著名动捕演员Andy Serkis的数字重建效果

这个CG角色是用时了3Lateral的Meta Human架构进行的体积捕捉，面部重建和数据压缩创建。数据在在流传输过程中清除，系统会自动估算肌肉收缩曲线。这些曲线也可以手动补偿。

重新定位面部动画数据的可能性

3Lateral还展示了Serkis的面部表演重新定位到其他CG角色的展示，是一个面部比例截然不同角色。这里我们可以看到这个角色的效果要比第一个视频的效果要好一些，但这不是输出的原因，而是因为我们的大脑对于人类的真实性的察觉更加敏感。