不知不觉，VR的世界来了

点击↑上方智慧文艺一键关注不知不觉，VR的世界来了——专家与业界人士论VR发展现状与艺术行业应用制作电影品质...




点击↑上方智慧文艺一键关注

电影已经出现很长时间了，但是我们都没有参与到其中，我们一直是在观看动态图像，没有想过我们看海边的日落也许我们感觉就会像在海边一样，这就是进入式电影，好像有这么一个周边的环境，好像处在电影所在的环境当中，就好像在表演一样。电影都是提前录好的，进入式电影也是提前录好的，所以虚拟现实主要关于进入，跟交互没有什么关系。我们可以提前来录一个电影，渲染的电影场景是由电脑产生的，另外一个特点就是电影都是完全可以指导的，比如导演会去告诉你这个故事到底该怎么讲，没有学习的过程，一戴上头戴设备就可以体验了。可以发现进入式电影和进入式的这种体验都是界限模糊的，每个人都可以参与，同时它可以改变电影的方向，很多的电影都可以根据用户的体验来改变，也可以说进入式的电影根本就不是之前所录制的一些体验。

“进入”本身有许多不同的层次，看你跟谁讲故事。真实世界和虚拟世界这两种体验应当如何结合起来，来影响我们的感官？视觉是我们虚拟现实主要的感官，它可以让我们区分不同的进入式电影。首先来看展示方面，就是它的分辨率、形式以及视野和其他的一些因素，包括我们的跟踪有没有更快、够精准，如果不是这样的，那就不能符合我们的期待了，所以延迟是进入式电影最大的敌人。还有一个需要解决的问题比其他的层面都要重要，那就是电影本身。比如有一个实时的电影，如果它本身就是现实的，感觉不够进入，好像就没有那么真实。视觉的问题都是连续的一些因素和一些相互交互的价值。

同时我们有两个因素非常的重要，可能都是相互排斥的，决定着我们能否到达一个新的领域，第一个就是临场感，如果参与者能想到生活当中的一些深度，进入感也会提升，因为我们在进入式电影中参与感更强。另外一个因素就是“六个自由度”，实际上许多的头戴式设备只有三个自由度，可以用头去动，而不是传播，只有转头才会动，如果能够去转变它的话，那就可以来跟踪位置，同时也会有六个自由度。如果Vision做原形的时候是可以跟踪位置，人们看到虚拟现实不感到晕眩，这样虚拟现实就变得与众不同。

所以非常有意思的是，有六个自由度，我们的大脑就相信我们现在的事实。如果到了虚拟的维度，会很难慢慢退回，因为戴上这样的设备，什么东西都不是真实的，自由度让它已经足够真实了。我们来看一下不同的进入式电影。360度的电影，最原始的是用一套特别的摄像头，并且把所有的图像拍下来，可以获得360度的视角。以前都是通过手动来做的，现在可以做全线的摄影，也可以做现场的呈现。有了移动式的设备，问题是只有一个视角，因为只是在三个自由度的设备上播放，如果我离一个物体近，它在我的视野当中就变得越来越大，同样我们从一个角度来看，在那一个时间锁住了我们的大脑，因为这样的物体从我们这移开，跟其他的都是有一些相对关系的，好像所有的东西都在周围晃，所以有一种晕眩感，这是我们不太喜欢进入式的原因。

另外一个问题，尽管所有的因素都很好，我们都是固定在电影当中的，如果我们晃头，之前设计的效果都消失了。如果我们是可以延伸的，对于距离的感知会因此改变，因为有这样的一些弱点，就要看一下到底是不是可以做360度电影，够不够进入式，能够让观众获得体验。现在有一些转变和过渡的媒介，比如手持设备，非常的实用，因为它不复杂，很容易做，所以在所有的设备都可以回放，可以让进入式点映走向寻常百姓家，同时我们也可以体验它，因为进入式电影需要有一些新的市场。

制片商会用完全不同的流程来制片，他们需要用新的工具、新的软件，需要来用新的知识和技能做实时的成像。一个就是光场，我们要提前录制一些项目，就要把所有的图像和方向都录下来，一旦录完了以后可以再次创造一个图像，创造一个数据库生成计算机的成像，提高图像的质量。同时可以从表面来去创造这样的图像，需要非常大的数据库，所以带宽以及存储量要求也非常高。现在还没有360度的实时拍摄的摄像机，数量会非常大，而且设备也很笨重。还有一个是渲染时间的问题，在每一个点上都需要渲染，这就需要很多的计算，包括我们要计算电影当中每一个视点的时间，所以光场是一个非常有意思的领域，但是它的工作量太大了。我们会有六个自由度的预制电影，这个电影级的图像都已经是现在的方向了，同时我们也会关注实时的表演者，关注一些用低宽带做的内容，有许多的摄像头要同时整合到一起，把它放在一个循环的环境当中，会有扫描仪重塑演员的运动，把它放得近一点那就是交互。我们一旦结束了整个的制片过程，就会重新用这种技术做渲染，就是在渲染的时候要看一下在视距当中都能看到什么，这样可以很快呈现出图像回放时间。我们把它从设备当中呈现出来，同时也要把它在预先计算的图像当中容纳进去。

计算机产生的设备的确是有局限的，我们现在有各种各样的技术来改善。有一些工具在制片人那里被使用，这真的是非常有意思的进入式电影体验，还有一些结合的技术，比如全息技术，在未来几年可以戴上头戴式设备观看高品质的电影了。

我的实验室可以在感觉层面让人体验空间穿越，两个人驾车从广州实验室无缝过渡到虚拟世界，再穿越到北京来，再飞往太空，最后再回到广州校园里我们的实验室。在此体验过程中还要操作外部的物理事件，不同人在里面还要相遇。整个实验是为了说明，虚拟与现实间的边界至少在感觉上是可以抹去的，用现在粗浅的技术就可以做到，只要你有巧妙的思路。里边有“人替”，代表每个参与者，作为交往的媒介，后面是真人。有些是计算机生成人工智能驱动的，那就不是真人了，叫做“人摹”。

进入VR之中能体验到什么？有个游戏叫“我的世界”，我9岁的女儿在被子里蒙起来玩了一个多月我才知道，很多小孩都在玩。这个做“我的世界”的公司被微软收购了，微软做了一款头盔叫HoloLens，与“我的世界”整一起，我们的孩子就迈步走进去自己亲手创建的世界了，大家都“移民”到那里去，在那里聚会。这样的网络化的虚拟世界再与物联网融合起来，原则上就完成了“扩展现实”的建造，人们不用出来就可以完成各种生产任务，可以一直生活在里面。如此看来，我们很可能成为被抛弃的最后没进入虚拟世界的一代人。这不是关于遥远未来的科幻故事，是我们下一代身上正在发生的事。

只要VR发展到一定程度，很多的行业就不得不做出相应的改变。有人问这个变化是哪个行业，我的回答是根本不是哪个行业的问题。因为现在工作要用眼睛看的地方VR眼镜都会用上，原来的屏幕在手机、电脑上，VR眼镜小型轻量化后，其他屏幕就被代替了。用眼镜既可以看虚拟的东西也可以看现实的东西，VR眼镜几乎成了人们的标配，这是必然的。还可以把天文望远镜也整进去，显微镜也整进去，我们的视觉功能就会有一个飞跃。这样，虚拟的和现实的东西都通过VR眼镜来看，所有要用眼镜的地方都要借用VR可穿戴设备。我的实验室有个片段叫逆向增强现实，是倒过来增强的。

上次媒体采访我谈论阿法狗下围棋的事，我说计算机下棋把人打败，迟早的事。AI，即人工智能，人们讨论了很多年，这个大家知道很多，电影科幻里面也有很多，并不新奇。而VR则很不相同，它突然来临，一般人毫无准备，比AI更有颠覆性。有人以为360度视频就是VR，其实那不是VR，因为视频不允许我们纵向行走。很多人分不清AI和VR，以为VR是人工智能的一部分。其实VR和人工智能完全可以分开，可以不用人工智能直接用VR的。但是，如果非要把人工智能与VR结合的话，也可以。如果大数据把一个人的语言习惯、行为习惯、骂人脏词等等都知道以后整合到一个“人摹”身上去，人下线走了以后还可以冒充在场出现，这就要用到人工智能即AI。虚和实的界限，主要是人的意志有没有对物理世界的因果链产生干涉介入。

我做实验室不是为了商业目的，而是为了把VR和物联网整合成像电影《黑客帝国》那样的世界的一个Demo，叫“扩展现实”模型，即ER模型。在这个基础上可以认真系统地讨论其对人类生活的可能冲击，在其到来之际注入鲜活的人文理性，以免VR和ER把人类文明引向深渊。

VR技术有着50多年的知识和行业经验。对中国最著名的一幅画卷《清明上河图》，我们可以用VR技术很好地呈现出艺术的画卷。你可以真正进入到VR的世界里面去真实地体验场景，在清明节期间家庭聚会或者是其他的一些经历，这样的艺术创作可以带给你很好的体验。如此就知道当时发生了什么样的事情，从这些图片里面可以看出所有的一切真实，去感受实际的场景。

有的时候VR更有价值，让我们想到虚拟现实不是关于沉浸，而是关于真实，怎么把虚拟现实的元素放在真正的艺术层面结合起来。

首先，最主要的问题是我们决定不去做一个视频，而是用别的方式，去确定创造一个整体的博物馆模式，用更多的细节而不是具体的匹配博物馆的尺寸。实现这一点，最主要的问题是怎么导航和如何让这些使用者进入下一个阶段。可以用各种各样的技术实现，把这种空间放到真正的生活当中，进入以后可以去看不同的角度。

所有的这些细节，从画展来看有些事情是非常好的。从灯光也可以看到非常真实、非常完美，跟现实的博物馆发生的方式是一样的。在我们的角度来看，整个博物馆加入了很多的专业知识。

现实中，如果你进入到这些博物馆就会发现，保安不会让你走那么近，既然不能走那么近，就没有办法去仔细欣赏各种的画工和其他的细节。而进入虚拟空间，你可以自己自由选择去看哪一种画，哪一种画很想去研究。在这里，每一个真正的细节都可以去感受。所以，一些使用者能够感受画作的每一个细节。

你真正从博物馆里面感受到的这些真实场景，也是你能够在生活中真实体验到的。你能够在这些场景中真正实现，这就是虚拟现实带来惊叹的地方。你可以发挥你的想象，让它真正成为现实，就好像是真正看到了这位艺术家所创造的这一幅图，真正的艺术家所创造的这个场景，这些细节都是需要去感受的，这就是独一无二的。

举个例子，有一幅马奈的作品，可以看到画中的妇女拿着一瓶红酒，从而注意到艺术家标注的日期是1888年，这就是表明了这是马奈的精品制作。也可以看到这瓶子的形状和实际制作的过程。大部分的人都不会去真正欣赏这些细节，也不会从这些细节之中获取一些精确的信息。对于我们来说，最有价值的东西从这幅图里就可以看出来，我们能够真正去感受现实世界的场景。所以，世界上每一个人都可以经历最令人惊叹的历史、文化和审美，VR可以给你深刻的教育方式，让你身临其境感受这样的场景。VR技术也可以给你创造新的艺术形式，通过技术把历史呈现给大众。很多年以前，我们就开始研究这样的技术，真正地去欣赏并分享我们的技术。

我本身是一个创作者，我写小说。人为一直想用宗教形式、用艺术形式，包括舞台剧、电影等等，包括现在的虚拟现实来制造一个幻觉，通过这个幻觉充当一种创造者的角色，不管是完全控制，还是部分掌控所在现实生活里获取的体验。人在潜意识里可能就是有这种欲望，希望自己能够创造世界、创造新的宇宙、创造新的人生经历。我在小说里也写到，把VR的技术跟大脑的监测技术结合起来，可以根据人的脑部思维活动实时创建一些场景，你想到什么身边的场景就可以创建起来，完全是一个虚拟造物主的概念。这个往终极的目标发展，也会陷入到挺恐怖的境地，当你只要动动念头就可以实现愿望的时候，你存在的价值和意义在哪里？你永生了，也是这个世界的神了，我活着要干嘛？

AR跟VR的结合，我自己用了一个词叫做Hyper-realism超现实主义，它是和Surrealism不同的概念，我们将来会把真实和虚拟的完全混在一块，包括意识里的一些东西，潜意识、梦境这些东西，已经和现实没法分开，包括机器跟人的思维都没有办法分开。有一个例子我记得挺清楚，美军会派出很多的无人机去做战场上的侦察，锁定目标的话会射击杀死那些敌人，但有的时候机器扫描了一个人群，没法判断哪几个是疑似的恐怖分子，这个时候会把无人机传送过来的画面让一群士兵去看，当每一个人都觉得这幅画面有一些不对的时候，脑部监测会有一些同时的信号反应，机器会认为有潜在的恐怖袭击的可能性，就会发动袭击。这就是把人脑跟机器的算法、把神经科学跟计算机的科学图像识别所有都融合在一起，我觉得这是个未来，或者已经是现在了。

对于AR+VR，我觉得在技术层面上有三个突破比较关键。第一个，屏幕的材料科学，我们要做到类似于现实世界分辨率的屏幕需要6K、8K，这会带来非常大的数据量，包括它是不是能够实现想透明就透明、想全封闭就全封闭，这种材质可以变化，这就把AR和VR统一了。第二，芯片实时计算的能力，大部分的实时渲染需要CPU、GPU，需要非常大量的高强度实时渲染图形计算，目前来说芯片受到摩尔定律失效的制约，需要更新的芯片或者是量子物理学有所突破和提升，不提升的话，AR和VR技术会被大大限制住。第三，如果每一个人在地铁或者在一个移动的状态下用VR，需要解决信号传输的速率问题，因为现在用的是2.4G，2.4G在某种情况下听个歌看个视频都有点困难，所以说在实验室里我们都用的是5G或者千兆以太网的速率。未来要真正做到跟现实世界一样逼真，每一个环节都要突破提升，某些单独的环节突破都没有办法把人带到拟真的虚拟现实里面去。

不管是做娱乐商用还是不同用途的虚拟现实的应用，其实它的及格线是不一样的，可以用的虚拟现实的一些指标是不一样的，我想做一些展望。虚拟现实这个技术继续发展下去，我们可以得到什么东西？“天花板”的意思是，我们可以作为一个更高的诉求，我们跟真实世界达到了高度的拟真。不管市场如何，其实从业者也好，科学家也好，资本方也好，要应对它做好一件最基本的事情，就是要提供好的虚拟现实体验，我们来讨论一下好的虚拟现实体验到底包含什么？我把它比较粗暴地概括为视野的感知、身体的感知和环境的感知。

首先来讲视野的感知。视野的感知其实是非常基础的一件事，目前的技术基本上都做到了。我们只需要做到视野感知的时候不要给人带来额外的负担，不要眩晕疲惫，可以看得更清楚，可以看到更高的帧率就行了。

第二，身体的感知。身体的感知也是很重要的，因为虚拟现实当中没有人愿意当一个看客，参与者希望成为它的一部分，希望是被卷入到整个虚拟现实世界当中去。如果给小朋友或者第一次了解虚拟现实的人戴过头戴显示器，他第一个动作一定是抓，之后用手触碰，低头找自己身体的属性。翟振明教授一直推行的概念，叫做人模和人替，这个其实也是有一个身体所属，不管这个身体是别人还是自己，其实是一个身体感知。手部的感知是非常非常重要的，因为这个可以把人真的沉浸度提高一个层面，这是很重要的事情。

环境的感知跟刚才视野的感知不太一样。站在一个舞台上面，如果定点站的地方不让动，我可以有视野的感知，但是动起来就会有环境的感知，我感觉到跟这个环境互动，这些东西就变成环境感知所必须的一些东西了。

中国艺术报 数字艺术专刊 第17期 2016年5月23日

智慧文艺独家原创，如需转载，请注明出处。

中国文联文艺资源中心

    关注 智慧文艺