这是一篇很烧脑的推送

我都不信有人看到最后。...

这是一个三阶魔方，就是我们常见的3*3*3的魔方，大部分人可能都无法还原它，然而也有一些喜欢玩的人能还原一面，或者用很久的时间完成全部。这个时候，不管是自己还是别人，都会觉得，哇，好厉害！但是看完下面这几张图片（公式），你可能发现哇！原来不止是好厉害！自己简直是个白痴，这辈子不可能会玩魔方了，对于那些会玩的人则是充满了膜拜的情绪。

有兴趣的可以自己去搜索一下，真正了解它背后蕴含的知识，真正了解它的原理之后才发现，原来不只是熟能生巧就可以的。

以上内容算是举例吧，毕竟大家也看不懂这些公式图，也不会去研究，包括小编我也不懂，也不会教大家。只是为了说明每一个看似有趣、不可思议、神奇而无法理解的事物背后都右值得探索和学习的秘密。

今天小编要说的是《我不懂，就不能喜欢你吗？》中的主角——Lenovo PHAB2 Pro.

目的就是让你更懂它，让你探索和学习Tango技术背后的秘密。



联想Phab2 Pro看上去和普通的大屏手机没有什么区别：骁龙652处理器，6.4英寸屏幕，全金属机身，支持指纹识别，4GB内存+ 64GB机身存储。

要说它的独到之处，就是Tango 技术以及除了常规的前置、后置摄像头，它的后方还有两个额外的摄像头，一个用来感知景深(TOF)，一个进行运动追踪（fisheye）。



所以我们重点说这个景深镜头和鱼眼镜头，它们是如何做到AR呈现的。

在说之前先聊一下什么是Tango 技术，Project Tango是谷歌公司的一项研究项目，基于VSLAM技术一种空间探测和自我定位整体方案，通过一些列传感器的信息组合，让集成Project Tango的设备能够像人类一样根据空间环境定位自我并且追踪运动轨迹。Tango帮助移动设备像人眼一样感知你所在的房间，找到行走的路，并且感知到哪里是墙，哪里是地，以及所有你身边的物体，而无需使用GPS或其他外部信号。

好了，上面介绍中有两个关键词就是位置和运动轨迹。这就是Tango 的三大核心技术，运动追踪、深度感知、区域学习中的两个。

运动追踪：

当tango设备在移动的过程中，超广角鱼眼摄像头不断地一帧一帧进行拍摄，因为拍摄到的特征点的相对位置在不断变化(这里“变化”是指拍摄到的两帧之间同一个特征点的相对位置变化)，通过计算就可以得到超广角鱼眼摄像头的移动距离。

简单来说Tango设备在不断循环的一个过程就是：拍摄——识别特征点——匹配特征点——筛去错误匹配——判断特征点大小变化——坐标换算，通过加速度计和陀螺仪来捕捉相机的加速度和运动方向。这个技术是在惯性测量单元、加速度计和陀螺仪的运动检测基础上实现的，并通过超广角鱼眼camera的视觉特征识别补偿，从而消除单纯IMU运动轨迹的累计误差。



当融合了以上两类传感器的数据之后Project Tango就实现了三维运动追踪。但这个时候是没有深度信息的。



深度检测：

Project Tango深度感知是采用的第三方的深度传感器。那么他到底是怎么实现深度检测的呢？检测到的“深度”又是什么概念呢？

人们发现当把光投到不同深度的平面上光的纹路会发生变化，那么如果能采集到这些纹理变化，并且能精准的计算这些变化岂不是可以算出不同的深度？



我们知道如果拿一个手电照射墙壁，站近或站远，墙上的光斑是不同大小的，从不同角度照射墙，光斑也会呈现不同的椭圆。这就是基本原理了。但如何使一个红外光源按照不同角度射出？并且还要变成一堆离散的光斑？

这就要拿出它的发明者以色列PrimeSense公司的专利图了，他们非常聪明地在红外发射器前面加了一个特殊设计的diffuser(光柵、扩散片)可以使红外光线能从不同角度射出。另一个摄像头再去拍摄这些光斑然后进行计算从而得出每一个光斑所在的深度。每种结构光的扫描精度，所对应的算法，以及应用场景都有所不同。



除了结构光Project Tango还提到了TOF(Time of Flight飞翔的时间？)一个激光发射器，一个接收器，一个运算光程的芯片组成。通过计算不同的光程来获取深度信息，它也是一种深度传感器。

这些深度传感器输出称之为“点云”的数据，包含了所有被采集到深度的点的三维信息。



但是这里还隐藏了一个技术难点，因为Tango设备是在一边移动一边采集的，如何把上一帧采集的“点云”信息和当下帧采集的“点云”进行匹配，并且显示在同一世界坐标中就是难点所在。Project Tango巧妙的结合运动追踪的轨迹数据达到了对“点云”的实时拼接。要知道“点云”的数量一般在几百或者上千。算法已经不易，运算量更是大的离谱，而Project Tango还把它做进了移动设备里。

通过Tango 核心优化的算法，配合运动追踪的超广角鱼眼镜头抽取的特征点，快速地实时把实际环境动态建模，从而避免了海量运算，这也为移动设备能够集成Tango提供了可能性。



区域学习：

运动追踪和深度检测只是单纯得到了相机移动的轨迹和空间位置，然而对于相机所处的场景是零认知。所以一旦设备被关掉，它之前的运动轨迹就会被“忘掉”。最大的问题还是运动追踪中所累积的误差，或者叫漂移，在长距离使用后真实位置会和运算位置有很大差异。



为解决这个问题，John神团队（Tango技术开发团队）为Tango设备设定了一种学习模式。这应该是他在Google X里面无人驾驶汽车研究成果的冰山一角。这种学习模式理解起来就简单很多了，为了让Tango设备具有一定记忆，而不再像一个被蒙着眼睛的人一样需要靠数自己走了多少步来计算距离，Project Tango可以让用户预先录入某个场景(这里要特别提醒的是，录入的数据不光包括了运动追踪里面所识别的特征点，还包含了场景本身)，当用户重回这个场景的时候Tango设备会自动用录入的数据来纠正运动追踪的数据，这个纠正的过程中录入场景里的那些特征点会被当作观测点，一旦发现与当下特征点匹配的观测点，系统便会修正当下的追踪数据。就可以让Tango设备能够像人类一样非常方便地判断自己所处的空间位置和所在场景。这就是Project Tango的另一技术核心——区域学习。



Tango设备发展史：



第一代Tango设备，五寸手机平台Peanut，深度信息检测是基于Primesense 结构光方案



Tango的第二代产品，7寸的平板电脑YellowStone ，其基于NVDIA Tegra K1处理器和Mantis Vision的structured light深度检测方案



Lenov Phab2 Pro第一次量产的AR Phone，也是全球首款搭载Tango技术面世的移动设备。

PHAB2 Pro（Tango）引人入胜的应用：

公共的室内场合中，如大型商场、博物馆、图书馆等，能够通过Project Tango顺利地把室外的地图无缝切换到基于Project Tango技术的室内导航，而且能够在室内导航的过程中，通过云端推送显示沿途信息给用户，比如用户在卢浮宫参观，当他到达蒙娜丽莎的画像的区间时，显示相关关于蒙娜丽莎的相关信息资料。







推荐阅读：

AR+家装+Tango：这家公司甚至请来了科幻作家

PHAB2 Pro发布，一张图读懂Tango技术设备

AR/VR/MR，Android开发者可以做些什么？

Lenovo PHAB2 Pro——全球首款Tango技术AR手机平板

这很Tango！谷歌喊你把黑科技变成日常

    关注 联想移动互联行业应用