KMR和KDL：金山云为AI公司省下五千万_【WatchStor】

传统观念认为，神经系统及其感官的生理解剖特征是与生俱来的，脑的发展与成熟不受外界环境的制约，只要保证脑生长发育的营养，大脑就会按照遗传指令自然而然地发展起来，并形成个体的特征和学习的能力。...

传统观念认为，神经系统及其感官的生理解剖特征是与生俱来的，脑的发展与成熟不受外界环境的制约，只要保证脑生长发育的营养，大脑就会按照遗传指令自然而然地发展起来，并形成个体的特征和学习的能力。然而，随着神经科学的研究进展。人们的看法产生了很大变化。

神经元是大脑的基本单位，大脑首先要建立起神经联系的基本框架，神经元活动在决定神经网路的精细排列方面，起着很重要的作用。因为神经元活动是在外部世界影响下诱发的，所以，活动能够修饰网路，经验能够影响脑突触联系的数量和类型，最终影响人的认知、情绪和行为。

大脑实际上是一个能动的"创造物"，各种营养素只不过是神经系统的发育材料，而神经系统的建构方式及分化，则需要一种完全不同的要素。即儿童早期成长环境刺激--来自视觉的、听觉的、触觉的、平衡的、运动的、言语的、形状的、颜色的、符号的、声音的刺激，等等。

在IT业界，我们对大脑的认知，引发了对人工智能的期待，希望在以深度学习为基础、借助机器学位为通道的情况下，利用人工智能大幅度提高社会的生产力、改善金融、医疗、制造、交通、零售等诸多行业的技术应用和发展现状。

但人工智能在云计算、大数据这两波浪潮之后突然“爆红”不是没有原因的：为了得到最广泛的应用和最大限度的随需随用，大部分人工智能应当是建立在云计算平台上的，就像是我们的大脑建构在健康的体魄和强壮的心肺功能上一样，云计算就像是人工智能的“身体”，大数据与人工智能的关系就像是环境刺激与人类的大脑——人工智能逐渐完善和成熟的过程，就像是儿童大脑的成长，大数据则是成长中必备的“刺激”，它可不仅仅是什么蛋白质、氨基酸或是DHA。

作为云计算“心脏”——处理器、SSD等核心组件——的提供者，英特尔与(拥有强壮体魄的)云计算服务商金山云开展了针对端到端大数据解决方案的合作，希望通过拥有强劲心肺功能的健康体魄——数据中心与云计算服务——为人工智能的关键营养物质——大数据——提供可靠的营养物质分解、吸收服务：

英特尔与金山云宣布了两家公司在在数据分析与人工智能领域的创新合作进展，即结合双方技术优势打造的、基于英特尔架构的金山云托管Hadoop(Kingsoft MapReduce，简称KMR)解决方案。

KMR是个啥?它能对大数据做什么?

KMR是英特尔与金山云将其战略合作由云计算解决方案的构建进一步延伸到数据分析领域的一部分，是一个可伸缩的通用数据计算和分析平台。它以Apache Hadoop和Apache Spark两大数据计算系统为基础，通过自动调度弹性计算服务(KEC)，能够帮助企业用户快速构建分布式数据分析系统。

此外，结合金山云所提供的多种云服务产品，还可形成端到端的数据分析处理解决方案，进而帮助用户更加灵活方便的收集和管理数据，花费更低的成本，获得更高的数据可靠性。

具体来说，KMR是一种基于云主机部署的集群托管服务，集成了常用的大数据分析组件，配合KS3、KTX、RDS等数据产品可以提供端到端的大数据解决方案，它具备分钟级集群部署和扩容的能力，丰富的大数据生态组件，并且与KS3无缝对接，存储成本节省75%以上。

在当当网，金山云的KMR服务在当当网数据中心和金山云数据中心直连专线的基础上，快速创建了Storm和Kafka集群，搭建了实时数据处理系统，支持数据处理结果写入MongoDB服务，且线上服务通过专线访问。这一架构设计有效缓解了当当网促销期间IT系统的压力，大幅度减少了系统维护工作和资源拥有成本，并可以根据业务需求灵活调整资源配置。

为了支持金山云的KMR服务，英特尔为金山云提供了包括至强E5 v4系列处理器、高性能的固态盘以及高性能数据中心网络，同时，英特尔在Hadoop、Spark方面的经验积累也对金山云提供了帮助。

英特尔的技术专家认为，虚拟化、云计算在大数据架构里面不是必须的，但是，如果没有云计算，“大数据所需要的按需分配、多租户、灵活扩展、动态配置都是不可能的，如果客户需要达到一个成本和可管理性、灵活性的一个这种，云计算是必须的，KMR这样的大数据平台正是结合了云计算的大数据，并实现了存储集群和计算集群的分离。”

“无论是传统的客户还是游戏、互联网的客户，涉及到大数据分析的时候，Hadoop、Spark都是一个必备的选项，但是许多公司在架构、运维层面确实有一些薄弱，选用KMR对他们是非常有帮助的。”

不仅是中小型企业，金山云技术产品部高级产品经理杨亮表示，大型企业同样也需要KMR：“对于一些大型公司来说，虽然可能会有比较强大的运维团队，但是每个业务部门都会有各种数据分析的需求，如果是说由一个内部团队来去整体负责的话，可能服务质量或者是服务响应并没有公有云这么好，所以很多的大型公司也会采购我们很多的集群，分给每一个业务部门去单独使用。”

有了快速上手的KMR，也就有了快速为机器学习、深度学习乃至人工智能提供大数据集合的能力，自然金山云也不会只是止步于此，于是，也就有了KMR的“兄弟”：金山云机器学习平台KDL。

KDL：把机器学习放到云上

KDL是金山云提供的机器学习/深度学习任务托管平台，底层基于金山云高性能异构计算集群，融合了英特尔等合作伙伴的硬件技术，底层硬件平台以CPU、GPU、FPGA的异构架构设计，提供100GbE/RDMA网络和SSD，确保了高性能。

金山云的KDL服务充分体现了作为云服务的优势：1、KDL按照运行时间收费;2、随意伸缩，无闲置成本;3、省去了系统研发和维护成本;4、企业级HPC集群支持分钟级自动Failover。在功能方面，除了全功能深度学习集成环境，还提供可视化任务管理和监控和全流程支持。此外，在KDL的底层是金山云通过支持HDFS、KS3、HBase所构建的云存储基础。

以统一的资源调度为基础，KDL构建了支持MR、Spark和Storm的大数据计算引擎，以及支持TensorFlow、BigDL、Caffe、MXNet的深度学习引擎，并以此为深度学习提供包括预处理、训练、评估和预测的深度学习一站式支持。

金山云大数据和AI技术总监张东进表示，KDL在成本、效率、安全和性能四个方面为企业提供了更好的人工智能业务发展支持，“一家400人的AI公司，至少有100个人是做系统架构的，这一部分员工的工资可能就会有数千万，这是非常高的隐性成本，通过KDL平台，AI公司就能够把这一部分成本节省下来。”

“我们是一个全功能的深度学习集成环境，包括TensorFlow，以及英特尔的BigDL等等框架都会集成进来，底层也会是基于英特尔的库，还有其他合作伙伴的库来做深度的优化。因为我们是全流程的平台，我们从整个物料的预处理、物料的存储、物料的训练、评估、上线预测等等方面都提供完整的支持。”

此外，张东进表示，KDL是一个对数据安全非常关注的平台，而且能够确保训练任务不中断、不掉线，“一个训练任务可能长达一周甚至一个月，一旦中断，进度可能就完全消失掉了。”