VR普及入门知识（四）

前面我讲了VR全景视频的三种拍摄方式，而基于实时采集方式的VR全景视频整体方案由5部分组成：采集、拼接、编码...

前面我讲了VR全景视频的三种拍摄方式，而基于实时采集方式的VR全景视频整体方案由5部分组成：采集、拼接、编码及传输和播放，今天我来详细讲讲这5部分的具体内容。

首先来讲第一个步骤——采集。

对于普通视频内容的生产一样，第一步大多都是视频的采集。但与普通视频采集不同的是，全景视频的采集需要多台摄像机同时完成。目前常用的采集设备有 GoogleJump、GoPro、NOKIA OZO、NextVR 等。全景视频拍摄设备的取景范围为水平 360°，垂直 180°。如下图所示

而拍摄使用的全景拍摄设备都是经过相机参数标定的。在全景视频拍摄过程中，我们首先会遇到多相机的采集同步问题，常见的解决方法有：

闪光同步（Flash）——即检测所有相机视频帧内的“闪光”，如白色帧、明亮帧，利用这个信号进行同步；

运动同步（Motion）——即检测所有相机视频帧内的运动信息，通过匹配各帧运动量进行同步；

声音同步（audio spectrum）——即分析所有相机采集到的声音频谱进行同步；

手动同步（manual）——即根据某一个时刻的所有相机采集的视频帧手动进行微调。

在完成第一步——同步采集后，我们接下来需要将多相机采集的视频帧进行拼接。

拼接之前，我们需要解决这个问题：各帧是相机在不同角度下拍摄得到的，所以它们并不在同一投影平面上，如果对重叠的图像直接进行无缝拼接，会破坏实际景物的视觉一致性。

解决这个个问题的方法是：先对图像进行投影变换，再进行拼接。一般有平面投影、柱面投影、球面投影和鱼眼投影等。

完成投影变换后，接下来的的步骤就是拼接，拼接过程主要有特征提取、特征匹配、配准、融合等步骤。常用的特征提取方法有 SIFT、SURF、ORB、BRIEF 等，下图为为大家显示SIFT特征提取过程。

SIFT 的作者 Lowe 提出了比较最近邻距离与次近邻距离的 SIFT 匹配方式，或者 KD-Tree 算法等。在这个匹配过程中，我们通常使用 RANSAC算法对特征点进行筛选。

配准的目的是根据几何运动模型，将图像注册到同一个坐标系中，在多幅图像配准的过程中，采用的几何运动模型主要有：仿射模型、透视模型、平移模型、相似性模型等。

在完成图像配准后，接下来便可以进行图像融合，一般说来，图像融合技术主要可分为非多分辨率技术和多分辨率技术两类，比如常见多分辨率技术—Laplacian Pyramid，如下图所示：

在完成上述各个步骤后，拼接工作算是基本完成。但是，全景视频的采集过程中，由于不同角度的画面是通过不同的相机采集得到，全景图像会有这个难题：各个区域的曝光不一致，我们通常是采用曝光补偿的技术，来让拼接后的全景图像曝光一致。

另外，当拍摄场景中的物体存在运动的情形时，融合后的全景图像中会出现“鬼影”的情况。ROD(Regions of Difference)算法都能够消除这种 Artifact。

去鬼影前：

去鬼影后：

上述后处理步骤完成后，便可以得到最终的 VR 全景视频。

在以上的步骤完成后，我们便能得到VR全景视频，当观看或者传输时，我们要对全景视频进行编码，就目前而言，尚无专门针对全景视频的编码标准，不同的软件使用的标准不同。全景视频需要专用的全景播放器才能播放出全景效果。目前已经有很多全景播放器，有些以 App 的形式存在，有些网站可以在线播放。

手机端的APP 可以在手机上分屏播放，配合VR手机盒子观看；网页端的播放器则只能用鼠标拖拽观看。很多内容制作公司自己推出 APP 来播放自己制作的内容。App 形式存在的播放器同时经常也是分发平台。

APP 类的播放器有：

3D播播、爱奇艺 VR、三星 Milk VR 、乐视 VR、优酷 VR、UtoVR、橙子 VR、优酷 VR、Youtube 3D 播放器等。

APP 播放自家内容的：

米多娱乐、Within（原 VRSE）、Google Spotlight Library、WeVR、Oculus Studio等。

独立播放器：

360MEA、Kolor Eyes、 VR Player等。

网页端的播放器有：

UtoVR 网站、YouTube 全景频道、优酷全景频道等。

众视VR

这里记录VR/AR时代的创造者

这里有行业第一批

最性感、最有趣的CEO

分享您的故事 ☏ 13764587978

微信号 ZhongshiVR

点击右上角分享

长按二维码关注