富士通内存技术加速深度学习人工智能的发展

深度学习驱动的人工智能经常在许多计算机芯片上并行工作。但深度学习算法，又称为神经网络，在并行计算环境里的运行速度受限于不同的芯片之间的数据流交换。...

人工智能学家

作者：Jeremy Hsu翻译：Desmond Chen

审校：心

原文链接：http://spectrum.ieee.org/tech-talk/computing/software/fujitsu-memory-tech-speeds-up-deep-learning-ai

图：Nvidia Titan X是深度学习领域使用的最新GPU之一

深度学习驱动的人工智能经常在许多计算机芯片上并行工作。但深度学习算法，又称为神经网络，在并行计算环境里的运行速度受限于不同的芯片之间的数据流交换。总部设在日本的跨国企业富士通，已经想出了一个避开了这个限制的新解决方案，实现让更大的神经网络在一个芯片上运行。

用于深度学习的神经网络通常运行在图形处理单元（GPU）上，而最初GPU是用来渲染和显示图像的。通过在神经网络的计算中建立一个快速通道，富士通的研究人员减少了百分之40的GPU内存使用量。他们的解决方案允许更大型和更强大的神经网络运行在单个GPU上。

“据我们所知,我们是第一个提出这种类型解决方案的团队,”Yasumoto Tomita说。Tomita是富士通公司的下一代计算机系统研发项目经理

富士通的内存加速技术在2016年IEEE信号处理与机器学习交流会上公布了，这次国际会议在意大利萨勒诺举办，会议时间从9月13日开始到16日结束。

了解富士通的解决方案需要较深的深度学习知识。深度学习所训练的神经网络需要大量的训练数据，训练好的网络可用于人脸识别和语言翻译。这种网络由多层的人工神经元彼此连接组成，层与层之间可以相互影响。

当训练数据流过神经网络，每一层的神经元都会进行预测计算，并将预测值传给下一层的神经元，并最终与真实结果比较。“权重数据”代表输入和输出神经元之间的连接强度。神经元处理的“中间数据”代表每一层的数据输入和输出。一个典型的神经网络必须为权重数据和中间数据的同时计算误差。

这些计算数据需要存储在GPU的内存里。富士通找到了一种方法，可以重复使用GPU内存的某些部分，使得权重数据的误差值和中间数据的误差值可以同时独立地完成计算。

内存使用减少40%可以有效地为两倍大的神经网络腾出空间在单个GPU上工作，Tomita说。单个GPU训练更大的神经网络有助于避免在使用多GPU而必须交换数据的情况下所出现的性能瓶颈。（传统的把神经网络分布在多个GPU上的方法是“模型并行化”的一个例子。）

富士通还一直在开发软件技术，可以加快多个GPU之间的数据共享。这些软件创新可能与这种内存加速技术相结合，进而显着提高速度。这展现了公司在深度学习领域的野心。

“通过把富士通开发的内存加速技术与GPU并行化技术结合起来，未来可能将无需在模型并行化的情况下快速训练大型网络，”Tomita说。

到2017年3月，富士通将商业化这种优化内存使用的深度学习，并提供咨询服务，名为人工智能中心Zinrai。这将让富士通步入深度学习巨头行列，并开始为缺乏经验的企业提供在线深度学习服务。

【重磅】未来科技学院筹备成立，开讲前沿科技未来发展趋势

2016年7月，人工智能学家AIE实验室基于自身的研究成果和所拥有的顶级科学家资源，筹备建立未来科技学院（Futurology University）。

未来科技学院的使命和目标：将邀请国内和国际著名科学家、科技企业家讲授人工智能、互联网、脑科学、虚拟现实、机器人等领域的基本原理和未来发展趋势。未来科技学院的目标是研究前沿科技未来发展趋势，培养掌握未来科技动向的企业家和具有独立创新精神的未来科学家。

开始激动人心的学习之旅：无论您是企业家，投资人，还是青年学子，科技爱好者，如果您希望把握科技未来发展趋势，与世界著名科学家，科技企业家，风险投资家进行直接交流。欢迎您加入未来科技学院大家庭。