Google Jump绝不仅是一款VR相机那么简单

 

GoogleI/O大会的Keynote上,最吸引人的产品要数那个16台GoPro组成的相机阵列了,无论是十数台相机拼装在一起所带来的视觉冲击,还是它背后的那套拼合照片、调整景深和色调的算法,都足够让人震撼。...





Google Jump是在Google I/O 2015上亮相的一款360°全景摄像装置,它是由镜头组、自动整合和处理素材的软件、播放平台3部分组成。它可以使用户实现360度全景拍摄。拍摄的原始视频经过JUMP应用转换后,会生成非常逼真的3D虚拟现实视频。JUMP由谷歌和GoPro联合开发完成。 被外媒称之为“完整的虚拟现实录制生态系统”。这款设备的主要目的是让虚拟现实的视频内容制作更加便利,之后通过 Google 开发的算法对拍摄到的照片内容进行拼接,消除色差,调整景深等。这些特性也引起了各位电影制作人、记者以及对 VR 技术感兴趣的朋友的关注。

何为Google Jump?

Jump系统实际上由三部分组成,分别是相机设备、图像拼接处理算法,以及视频内容播放平台。



Google表示对框架的尺寸,相机的数量和安放的角度都进行了精细地调整,而且相机的取景范围和视角叠加也一并纳入考量范围,当然还有其他一些因素。Google 已经计划在今年夏天把这一几何学算法公诸于世。

然而,最为核心的则是图像拼接处理算法,是把 Jump 设备拍摄的原始数据转换为 360 度全景视频的软件工具。这其中需要应用到摄影和计算机视觉上的技术,对拍摄到的场景进行重现,并生成数以千计的中间视角的画面。

最后一项的播放平台是 YouTube,Google 会在 YouTube app 中增加一个 Jump 选项,这样你只需要一台手机,一个 app 外加一个 Cardboard 眼镜就足够了。

从外观方面看



Jump相机这个圆形阵列并没有朝上或朝下的摄像头,如果按照 GoPro 4 Black 的规格,这个阵列能捕捉水平360°的画面,但垂直只有120°。因此,顶上脚下都会丢失60°的可视角度。此外,Jump 乍一看像非立体的单眼摄像机,每个相机都对着不同方向。多数 3D GoPro 相机有两个摄像头对准某个方向,类似这样:当有两个摄像头对准某个方向后,你在这个方向上就能给每只眼以不同的画面,这样就有了视角差和立体效果。画面也会有拼接痕迹,因为某个方向的“左”摄像头离另一个方向的“左”摄像头有点远(显然,如果不管立体效果,平面相机的)。围绕着对于降低拼接痕迹的各种方式,诞生了一个小微行业。



而这一点就是 Google 这个解决方案的大牛之处:这个看起来像平面相机组的摄影阵列实际上是立体的。每个摄像头拍摄的画面并不是给左眼或者右眼的,这些数据可以给两眼都使用。3D 效果是通过计算机图形学来得到相对的立体位置,再重新映射到你的眼中,因此根本没有拼接痕迹(理论上)。非常屌,因为这种不到1W美金的半专业设备能捕捉流畅的360°3D VR 影片的话,是一个非常大的突破。

基本工作原理

因为软件知道每两个摄像头之间的相对距离、位置,因此只要它能计算出两个摄像头之间的场景像素,就能得到场景中某个点的深度。使用这些立体数据,你可以通过扭曲某个画面来得到所谓的“立体垂直”视野:基本上,每个摄像头拍到的画面都是正确的视差点(对于以前的那些针对双目的立体拍摄设备,只有在双眼的摄像头之间的拍摄画面才有正确的视角差,也就是说越往边上去,立体感越差)。当然,这需要大量的计算,不过谁让 Google 自己电脑多呢。



当你从某个摄像头的画面过度到另一个摄像头的捕捉画面时,视角会稍微偏一点点。为了连接画面(或建立3D模型),你从邻近的摄像头离找到相匹配的区域,比如你从 A 摄像头找到一组像素,然后在 B 摄像头也去找同样的一组(这个一组指的是同一个相关部位,比如同一片树叶,不同位置摄像头拍出来的画面会稍有不同),实际上你是能知道往哪找的(相邻摄像机拍出来的图像差别不会太大),比起那些未校准的相机也会极大提升处理速度。目前已存在的拼接软件比如 Videostitch 或者 Kolor (早前被 GoPro 收购了)由于是通用软件,会对你的拍摄设备结构做一些猜测,但如果是类似 Google 这种校准过的摄像头,就只需要通过严密的数学算法解决。

当你找到匹配的区域,同时也知道在图片上这些区域的距离差,你就能计算出相机阵列和这个区域实物之间的距离。如果物体,比如说天空是在无限远,那么两个相邻相机照出来的图片天空部位会非常接近。当物体离相机很近时,物体在画面上会变大,同时两个相邻相机拍出来的图像也会有较大距离偏差。具体的偏差完全由物体离摄像阵列的距离决定,因此你可以得到非常精确的物体位置。



无论如何,对于 Jump,以及在大会上宣布的拍摄+Google 服务器云计算+YouTube 终端播放(目前已经支持4k,360°和60fps视频,360°3D将会在今年夏天和 Jump 一起发布),彰显了 Google 把自己定位成在 VR 内容领域的一个大玩家。对于普通人来说,VR 视频是普及 VR 的最关键接口,Google 看样子为自己找了个好位置。


    关注 HubbloVR


微信扫一扫关注公众号

0 个评论

要回复文章请先登录注册