关于人工智能交流的分享

人工智能...

雷鸣：北大大数据与机器学习中心联合主任，百度创始七剑客，酷我创始人吴恩达（Andrew Ng）：百度首席科学家，“百度大脑”、“谷歌大脑”负责人，斯坦福大学计算机科学系和电子工程系终身教授，人工智能实验室主任，Coursera联合创始人

徐伟：百度IDL杰出科学家，前Facebook大规模推荐平台负责人、NEC lab高级研究员韩旭：密苏里大学教授 现在百度硅谷人工智能实验室任principal scientist徐伟:Hi， 大家好

Andrew Ng 吴恩达: Hello everyone.

雷鸣: 首先我们探讨第一个问题：深度学习的技术现状和未来发展，是否会成为通用基础技术？

雷鸣： 现在深度学习非常火热，被吹得神乎其神。这个技术是否会成为某种意义的终极技术？

徐伟：深度学习会是为人工智能的一个重要部分

Andrew Ng 吴恩达: 关于第二个问题，是的，已经有很多关于深度学习的宣传。我认为今天它创造巨大的价值就是让我们把海量数据转换为巨额利润。

Andrew Ng 吴恩达: 我也相信，深度学习将继续在未来几年创造更多的价值，我们仍然有太多的想法,但是做的人太少。

徐伟：未来人工智能会是非常惯犯运用的技术。所以深度学习也会是被广泛使用。

Andrew Ng 吴恩达: 但是我们离”人类水平智能”还很远,同时没有发现明确的方向. 我认为一些炒作有些不负责任. 人工智能会对整个社会有很大的影响力。所以我认为大家对未来有一个清晰的认识是非常重要的,能让我们更合理的规划

雷鸣: 一个问题，如果在有比较充分的数据和运算能力下，是否深度学习可以超越几乎所有的经典的数据挖掘算法？
徐伟: 可以说对大多数监督式学习问题，深度学习会超越传统的算法，对于一些非监督学习的问题，似乎还不是很明确。

雷鸣: @Andrew 你对这个问题的看法是什么?
Andrew Ng 吴恩达: 我同意徐伟.不管深度学习创造的所有价值,目前大多数是监督学习,意味着学习相对简单的A -> B映射 .

Andrew Ng 吴恩达: 例如,A可能是一封邮件,B为其是否为垃圾邮件.这是一个垃圾过滤器.或者A是一个图像,B是一个物体标签.这是物体识别.

Andrew Ng 吴恩达: 对于大量的标记数据（即（A，B）对）和一个足够大的网络，你能证明了深度学习算法可以以非常高的精度水学习几乎所有函数.

雷鸣：@徐伟，那对于半监督学习呢？
徐伟：目前为止一个比较成功的非监督的例子是word embedding。

徐伟: 不过也有很多人不认为word embedding 是深度学习。

Andrew Ng 吴恩达: 最近最令人兴奋的突破之一就是深度学习算法，现在可以学习A -> B映射，其中B不只是0/1或整数（如上面的例子），但可以是非常复杂的事情比如句子。

雷鸣: 看起来深度学习是非常有前景的

雷鸣: @Andrew，你在说自然语言吗，是指的翻译，还是语音识别？还是语义处理级别的？
Andrew Ng 吴恩达: 例如，如果A是一个图像，而B是一个字幕，那么这就是图像加字幕。 （第一篇论文要做到这一点是由徐伟和他的同事们:-)）.或者如果是一个英文句子，而B是法文句子，那么这是机器翻译，这是由Ilya Sutskever和其他人做。或者，如果A是一个（图像，问题）对，B是一个答案，那就是图像问答系统（也由徐伟！）。

雷鸣：看起来不仅仅是语言，还包括了图像，这个进展是非常大的

徐伟：另外word embedding 和传统的非监督学习也并不完全一样，实际上运用了上下文作为监督。我认为非监督学习要取得成功，实际上更会使类似这样的弱监督学习

Andrew Ng 吴恩达: 监督学习在翻译和语音识别领域非常成功。百度语音识别最成功的方法是使用非常大的神经网络,学习A ->B映射,其中A是语音剪辑,B是文本翻译. Tony率领团队研究普通话版本，我们相信这是现在世界上最好的普通话语音识别系统。

雷鸣：下面我们聊一下在一些领域，深度学习带来的一些新的进展

雷鸣：比如说语音识别，我前些时间到百度美国研究院，看到Andrew给我演示的语音识别，在非常大的噪音环境下，我基本上听不出来里面的人说什么，但是语音识别出来了。之后我仔细听，发现语音识别时对的。

雷鸣：Andrew，方便介绍一下全球在语音识别方面的最新进展吗？

雷鸣：Gotta，看来我们想到一起了。你先回答了我问的[微笑]

雷鸣: 对于语音识别这块儿，随着技术进步，我们做出超过人对人声识别的系统，是否是一个必然结果？

Andrew Ng 吴恩达: 我认为，语音识别将走向终端到终端的移动学习。我们发现，数据集的大小是性能的最大驱动之一。我们受CTC Alex Grave的工作的影响。

Andrew Ng 吴恩达:两个挑战仍然存在：正在转录音讯内容过程。我们在短语方面突破人类水平的性能。但是，对于长时间的会谈,我们仍然比人类级别的性能差得多.当有更多情况下.第二大挑战是理解文本的内容，而不只是转录。

Andrew Ng 吴恩达: 但我很高兴构建支持语音的世界.正如（感谢史蒂夫·乔布斯）智能手机的触摸屏，从根本上改变了我们如何与计算机的互动，我觉得讲话也将从根本上改变我们在未来几年内如何计算机进行交互。

徐伟: 目前的语音识别系统还没有像人那人能够很好的利用上下文信息。
雷鸣: 另外一个问题时关于图片识别，以及视频内容识别这块儿，这快儿的全球的最新进展如何？微软最近的一个图像识别的进展，用了100多层的深度神经网络，得到了不错的效果。是否超深的神经网络，也是一个发展方向？

徐伟：对象ImageNet这样的问题上，目前的deep residue net的结果已经非常好了。目前我们也看到很深的模型在一些NLP也有很好的效果

徐伟：目前对深度学习模型一个最大的难点之一还是记忆以及知识表示

雷鸣：对于计算机视觉这块儿？尤其是运动图像（视频）处理，当前的进展和挑战如何？

徐伟: 对于视频，运算能力还是一个重大的瓶颈

雷鸣: 在自然语言对话领域，现在深度学习应用的效果如何？

徐伟: ImageNet只有百万级别的数据，训练需要数天。

雷鸣: @徐伟，是否面临的自大问题，正如你上面说的，记忆和知识表达？

徐伟：还有推理也是一个难点

徐伟：深度学习模型还不能很好地利用已有知识库

雷鸣: 下面我们聊一下一些实用的领域，比如现在百度大力发展的无人驾驶，这块的挑战和机遇是什么？对于无人驾驶，在5年内，我们真的能够在大街上乘坐商用的无人驾驶汽车吗？

Andrew Ng 吴恩达: 我之前很幸运地得到了几辆不同的车上班。百度我帮助打造的4号车。但是，这是我这是在我生命中的第一次看到使无人驾驶汽车成为现实的清晰路径。

Andrew Ng 吴恩达: 只是为了好玩，这是我研究的其他一些汽车！

Andrew Ng 吴恩达：在中国，每天500人死于车祸。如果我们能够早一天让自主驾驶成为现实，我们拯救了额外的500的生命。这将是AI在这个十年中最重要的应用之一。

Andrew Ng 吴恩达: 为什么我认为我们现在有对使之成为现实清晰感觉？我们现在有性能比以前更好非常复杂深度学习算法。我们很幸运，李元庆曾在几个月前加盟百度，现在成为这一努力的重要组成部分。

Andrew Ng 吴恩达:但除此之外，我们还开发了独特的战略，和大多数人在研究的自主驾驶不同。我们称为铁轨战略.

雷鸣: @andrew，那我们五年内有可能在大街上乘坐无人驾驶车吗？

Andrew Ng 吴恩达: 我们希望到2018年有商业自主驾驶服务，并在2020年成为批量生产。

Andrew Ng 吴恩达: 这是火车战略的关键要素：1，不要试图一下子在各地推出无人驾驶汽车。相反，开始从一个小区域（例如一个梭子路线或小城市），并从那里壮大。

2. 要认识到，计算机驾驶的汽车和人驾驶汽车是不一样的事情。他们表现不同：他们从来没有酒后驾车。但是，他们不明白警察的手势。确保人们在“autonomy enabled”地区有实际期望。

3.设计自动驾驶汽车是清晰可辨，让人们能够立即发现它们到底是什么。

4.自主汽车的行为高度可预测。可预测性说明安全性。

5.实现了autonomy enabled区域基础设施适度的变化，以确保汽车清楚他们需要做什么。例如，给应急工作人员明确的方式（如无线信标）与汽车通信。确保道路保持良好，有明确画线.等等.

Andrew Ng 吴恩达:有了这些变化，我认为我们很快可以放心地让自动驾驶汽车行驶道路上。

雷鸣：自动驾驶，一个挺科幻的概念，再有几年就满大街都是，真让人感慨技术发展速度啊

Andrew Ng 吴恩达: 是的我同意！我想对所有正在看的年轻人说。我认为，我们正处在一个独特的历史时刻，AI真的可以改变世界。

雷鸣: @Andrew，Agree！

Andrew Ng 吴恩达: 如果你知道如何使用或应用AI，你可以在决定你让世界在10年内如何改变。将有成千上万的将失去他们的生命。或者你可以改变整个行业，帮助无数人。

Andrew Ng 吴恩达: 这就是为什么我对AI很激动。

Andrew Ng 吴恩达: 如果你还年轻，考虑追求什么职业道路，我希望你会考虑学习人工智能，加入百度人工智能研究和开发社区或其他地方，以便我们能够齐心协力，让世界变得更美好！

雷鸣：@Andrew，这确实非常激动人心！现在已经有无数的人为AI痴迷。现在的理科学生们确实都在学习机器学习[微笑]

雷鸣：我们再谈一下机器人，机器人真的离我们还非常遥远吗？是否近5年都没有巨大的商业化机会？ 徐伟：非常专用功能的机器人，应该还是会有很快的发展和应用。但像人那样的机器人，还比较遥远。

Andrew Ng 吴恩达: 我很高兴听到有很多人对机器学习感兴趣。现在的问题是机器学习的想法和机会太多，不过能做的人太少。The world needs more AI people!

雷鸣：@Andrew，你也多做一些好的在线课程，让大家多学习！这次活动，一共有20个大群，近10,000人参加，可见现在大家对AI是多么感兴趣。

雷鸣：现在销售量最大的应该是扫地机器人，不过很多人都觉得他们不像机器人。那么在未来几年，会有那些机器人领域大放异彩？工业机器人？家庭机器人？服务机器人？

Andrew Ng 吴恩达:有很多令人兴奋的机器人应用工，现在专注于特定的窄/垂直应用。除了自动驾驶汽车，在精细农业，自动化电站检查，自动采摘（为电子商务实现），自动机器人的安全性，等等激动人心的工作。大多数这些机器人具有硬件和软件设计进行特定的任务，因此并不像人形机器人。我认为，离真正的通用机器人（如在工厂自动化机械手等）仍远一点。

徐伟：self-driving car可能是一个最重要的一种。未来几年类，家用还很难真正帮人做事，

雷鸣: 你认为Amazon Echo。它现在在美国很受欢迎。

Andrew Ng 吴恩达: 我家有一个你认为Amazon Echo。我认为这是使用语音命令家庭自动化一个很好的开始，但它仍然处于一个新的产业的最早期。我一直对亚马逊的产品印象深刻，但对于是否设计正确仍然言之过早。

Andrew Ng 吴恩达: 但我认为，在未来，我们应该能够跟我们家里所有的设备交流，并且他们能理解和回应我们。

Andrew Ng 吴恩达: 我希望从现在开始的几十年里，我孙子回到2016会感到迷惑，如果你回家，对微波炉说，而它只是坐在那里，不理你！

雷鸣：对于AI从业的人士，Andrew有什么职业发展建议？

Andrew Ng 吴恩达: AI变化如此之快，我想我们所有从事AI工作的人必须不断学习。

Andrew Ng 吴恩达: 再次，我想对观看的年轻人说。每个星期六，你将有一个选择：你可以看电视，也可以学习。如果你研究，事实证明，几乎没有短期回报。在接下来的星期一，你不会对工作更顺手，你的老板肯定不知道你花了一整天，也没有不会告诉你“干得好”。所以，你几乎没有办法证明你的辛勤工作一天。

Andrew Ng 吴恩达: 但这里的秘密：如果你不只是一个周末好好学习，而是每个周末都这样做,一周后……一年后……那么你将它变得更好。我觉得学习几乎没有短期回报。但长期来看回报是巨大的！

Andrew Ng 吴恩达: 因此，面临的挑战，我希望许多读者上升,保持自己的动机和不断的学习和研究，一周又一周，一年又一年。

雷鸣:非常鼓励的话，大家共勉！

徐伟: 说道reward, 延迟很久的reward目前也是deep reinforcement learning很难处理的一点。

雷鸣: @徐伟，对人类也相当复杂的问题，对机器学习也一样啊。。。

Andrew Ng 吴恩达: 说的对！[微笑]

雷鸣：那么我们下面进入到问答环节，提问开始问题 1

嗨，大家好。我是一个生物信息学者,对DL和蛋白质工程感兴趣。（顺便说一句，我对ML产生了浓厚的兴趣，因为我听了Andrew Ng提供的CS229，太感谢你了，Andrew。）近年来，一些进展报道，使用DL从氨基酸的序列预测二次结构。然而，相比其他机器学习算法精度的提高仍然相当有限。此外，关于使用DL预测更高层次结构或蛋白质的功能的报告仍然比较少。因此，在这一领域，对DL似乎仍然具有挑战性。然而，正如Andrew 和徐伟刚才说的，至少在监督学习，对可用标记数据DL是足够的强大工具。由于科学家们在世界各地，用自己的努力，数据在这个领域将不会是一个大问题。从我的角度来看，基因也是一种语言，自然的语言。因此，我的问题是，它是否可以应用NLP一些方法来处理生物问题，哪些可能是最有可能？

问答 2

嗨，Prof. Ng，我有两个问题:

1.你知道任是否有工作正在做，使用AI帮助扩大和培养人的智力？举谷歌alphago的例子，如果职业围棋玩家可以从游戏的AlphaGo推理中受益这将是很好的？

2.计算机神经网络的可以实际帮助构建人类大脑知识网络可能医疗原因或其他训练目的？如果这样,我们应该怎样做？

问题 3

我本科的专业是土木工程。现在你已经说了很多的图像，语言和汽车应用，你能说说有关现代智能城市的结构,建筑设计某些应用前景？

问题 4

end to end的方法，对数据的依赖有多高，机器学习如何提高对数据的学习和处理能力，而不是所有的数据必须人工标注才能使用？ 徐伟： 如果不能解决这个问题，AI如何真正的进化？ — 所以需要Agent在环境中能主动地获取数据，向人那样深度学习应用在自然语言处理方面感觉还是不怎么理想，有这么一种说法，图像是你直接看到的，语言却是人类抽象之后的。特别是将深度学习应用在贴吧的帖子，或者电商网站上的评论数据，貌似效果都不如人为的规则+传统的模型，你们怎么看呢？（工程师2） 徐伟：人类对话还涉及了大量的知识的运用。目前深度学习还很缺乏这一点。在较少依赖语言的一些NLP问题上（比如机器翻译），我们的试验显示深度学习目前已经可以超越传统模型了

回答 1

Andrew Ng 吴恩达:在传统的机器学习任务上，模型选择一直是个问题。现在深度学习给人的感觉是要比传统的svm，决策树，或者boosting等都要好，但是实际应用中真是这样吗？像搜索排序，推荐等问题，业界已经成熟运用深度学习了吗？（工程师2）谢谢你的问题。是的，深度学习是很多生产系统中处理最重要的任务的最好算法，包括搜索，推荐，和其他。一般的模式如下：如果你有一个比较小的训练集，则表现更多的取决于你在手动工程特性的技能,深度学习相比支持向量机，Boosting，决策树不会有显著优势。但是，在大数据，你有大量标记的训练集,监督深度学习更容易做好。这部分是因为深度学习算法是非常“high capacity”（高VC维，如果你知道那是什么）。这使其可以利用非常大的数据集表现大多数其他算法更好。他们也比用非线性核的SVM更具可扩展性。这让我们构建以训练在庞大的数据集所需要的系统。

由于篇幅关系，完整回答请戳阅读原文，进入小象问答。

    关注 大数据分析挖掘