【专稿】无数据不智慧 ——港航与物流大数据的思考  上海国际航运研究中心 徐凯

2016年3月“AlphaGo”对战世界围棋冠军、职业九段选手李世石，并以4:1的总比分获胜。这一事件使很多并不了解人工智能和智慧科学的人们对人工智能更加感兴趣。上海国际航运研究中心信息化研究室徐凯主任就“港航与物流大数据的思考”展开讨论。...



航运评论

微信号：HangYunPingLun




2016年3月“AlphaGo”对战世界围棋冠军、职业九段选手李世石，并以4:1的总比分获胜。这一事件使很多并不了解人工智能和智慧科学的人们对人工智能更加感兴趣。

这几年来比较热门的概念如人工智能、智慧城市、智能港口、智能医疗、智能交通、智能建筑、智慧人生以及商业智能等翻译成英文都是“SMART”，而非“Wisdom”。因为，在语言学里，智慧和智能最大的差别就是智慧是“人”才有特征。“AlphaGo”之所以触动人，是因为它让人们感受到了机器正在逼近过去只有人类才具有的智慧。

沿着这种趋势，未来的供应链管理、全自动化码头、无人驾驶船舶、甚至于整个港航与物流产业都有可能无需人的参与而智慧化的完成。本文将对这个问题进行探讨。人的智慧是行为到认知再到行为的过程，分为感知、思考、运用和交流，分别对应了物联网、大数据、运营和互联网。从人类社会或某个产业的垂直面来看，这几个最热门的概念串联起来是有可能形成智慧的。客观世界中一切事物互相发生作用而产生信息，通过传感器或人机交互可以储存这些数据，之后的结构化与非结构化、有损压缩与无损压缩、数据结构形式与纬度等问题都是基于数据的，而数据则是事物在交换与运动中对现实世界的投影，这些数据通过计算后我们才有可能从中发现有用的信息。

让机器像人一样思考并没有那么简单，我认为未来我们的行业特别是物流和港航业将会呈现一种需求导向，数据驱动的趋势。对于行业来说，数据分析的价值在于支持，经营，决策，这些都是上层建筑，今天我们能做的事情还只是简单的相连，即神经反射这一层的事情，从神经反射到智慧还很遥远，但是即使是神经反射在各个行业中已经产生了很有价值的推动。以前构造的系统大多是对数据的切片和投影，这种方式即用部分还原整体，就如盲人摸象一般，在各方向会有失真。信息系统需要数据库支持，而信息平台需要大数据支持，我们把很多数据淹没在了平均值、方差中，忽略了里面的很多细节部分。由于很多信息都没有被用到，只有其中的关键信息被提取，因此很多问题在这过程中被消磨掉了。大数据的价值不在于大，而在于细节和异常事件的发生，这是我这两年在航运数据中得到的体会，其他的方面应该也大同小异。未来我给出的模型是需求导向、数据驱动，即有需求就会产生交易，交易中除了产生货品和服务的交换以外，同时也会伴随着资金和信息流的产生。通过信息我们可以得到数据的价值，进而改进产品和服务来刺激新的需求产生，这样就会产生良性循环。

今天整个信息化已经从系统时代进入了平台时代。过去习惯了用系统这种层级的方式来解决问题，用这种方法解决问题好处是组织效率高；但是，缺点也很明显，即当处理的对象相当大时，系统会变的庞杂，效率损耗也会变的非常大。平台解决问题从效率性角度来讲是分布式解决问题，业务性方面来讲，是单元化加组合的方式来组织，这是我对现在信息化的理解。我所在的上海国际航运研究中心的中国航运数据库中目前有超过260万条港航业的统计数据，大概400多种指标，遗憾的是这些指标都不是第一手指标，他们都是通过统计加工得到的，虽然信息密度高但是用途却很窄，如果能得到原始数据，它们的用途则大大拓展。现在我们已经进入了大数据的时代，而平台的力量是相当大的。例如：沃尔玛超市雇佣了220万员工才达到每年5000亿美元的营业额，阿里只雇佣了3万员工就达到了该营业额，京东商城则是雇佣了9万员工达到了他们营业额的十分之一。未来，数据的来源最可靠的方向分为2个，一个是物联网，另一个是电子商务以及相关的人机交互。电子商务非常有前景的地方在于它既是大数据的来源又是消耗大数据产生的价值的最好的平台和载体。电子商务在未来可能是所有产业的入口，产生这样的价值之后，大数据就可以在上面运转起来。我梳理了下航运数据大概分成六类：地理数据、监测数据、统计数据、业务数据、文本数据和多媒体数据。其中地理数据和监测数据对计算机来讲比较好理解，对人则难理解，特别是难以和现实挂钩。企业更关心的是统计数据和业务数据，把地理数据、检测数据这类计算机数据转化成统计数据和业务数据这类业务数据的方式我们称之为结构再造。所以在大数据处理中，经常要做把人要看的数据转化成机器要看的数据，反之则是把机器要看的数据转化成人要看的数据。



　港航大数据实验室与其它同业中的大数据分析团队最显著的区别是，我们专注于时间空间序列大数据的深入挖掘。这种数据面向船舶，就是AIS船舶轨迹数据，但同样也可以应用在车辆、货物、飞机、港机等一系列可移动的目标之上，串连在一起还可以研究多式联运的全过程。目前，我们的大数据分析主要是基于全球船舶静态信息、船舶动态定位信息以及全球范围内的码头港口修船船坞的的精确标定。当数据庞大到TB、PB级时，传统的数据库已经承受不了所以才会产生像Nosql还有分布式存储HDFS这类技术。在我们的分析架构里，把问题解决分为四个层次：底层是云计算层、往上是分布式存储层、内存分布式计算层和大数据层。在我们分析的数据之中，数据量最大的是AIS船舶的轨迹数据，大概覆盖4年共350亿条的轨迹点，但其实这些数据是很难分析的，在数据分析前要做很多铺垫的工作。即使分析不了统计量，很多时候可以把这些信息可视化。

例如，我们通过流数据处理找到船舶靠离港的事件转化成为航行路径，相当于给每条船的航行过程编了一本航行日志。第二是对全球船舶发生停泊事件的分布点进行计算，需要让计算机实时分析船舶在哪些地方发生了停靠。下图是一天中全球发生停泊事件的点，放大后观察局部，需要通过聚类算法分析码头位置、锚地位置等。把一些来往于相同港口间的船的轨迹抽取出来，可以得到经常来往于某两个港口间的船习惯于什么样的地球航线、在哪些地方作为它们的转向点以及船长的经验是什么等问题，未来，可能根据数据分析可以让船自动驾驶。分析每条船在每个港口的靠泊时间，靠泊艘次，TEU多少，运力如何，然后通过与港口吞吐量做对比，可以分析其中的经济问题以及码头效率问题。又如，大家都很关注4月国家环渤海，长三角，珠三角排放控制区（ECA）的实施。通过大数据，可以通过船型、发动机功率等参数推算出船舶的排放量，进而得到排放浓度的空间分布。其中可以定量化分析若换了含硫量更低的油，是否能达到减排的目的，能达到什么程度，造成多大的经济损失，政府的补贴和扶持要多大力度等问题。首先，我们对亚洲港口完成了一定的标定，从中找出任意一个港口能够分析出它到其他亚洲港口之间有哪些直接来往的集装箱船，运力多少。以上海港为例，我们可以分析三个月中，靠泊上海港的主流船型，可以帮助船公司得知多少TEU的船适合哪些港口或航线，另外还能对船舶进港后的服务进行评价，对平均船速进行分析。在研究过程中，港航大数据实验室已形成了自己的技术体系，我们称之为Wismap Data Hub，它分为四大版块：数据挖掘工具、流式计算引擎、PL/SQL批处理交互式引擎、时空数据计算、图计算以及非结构化搜索。我们的技术经验可以应用在港口、航运、物流企业的大数据实施之中。在我们的技术框架下，未来港航企业，制造业等行业，除了现场总线和企业总线还会增加一条数据总线（如图），这是我们对未来港航企业信息化的蓝图。我们的目标是把物联网、电子商务和移动互联网的数据通过数据融合以及数据分析产生有行业应用价值的数据产品，从而弥补信息共享当中带来的价值损失。

在构建我们的技术体系之初，我们就志在整合一切多式联运相关的数据采集、存储、分析、可视化体系，因此每一项核心技术的研发与积累都同样能够应用到公路、铁路、航空等运输方面，数据的获取和分发都能直接应用到各类电商平台，这种可以搞定一切移动目标数据的“神器”江湖人称“GTMS”（Generic Target Monitoring System），它也许就是未来港航业与物流业拥抱智慧的支点。

作者：徐凯

上海国际航运研究中心  信息化研究室

联系电话：021-65853850*8006

    关注 航运评论