“人工智能”从下棋开始

机器学习还为许多交叉学科提供了重要的技术支撑，例如，“生物信息学”试图利用信息技术来研究生命现象和规律，而基...

机器学习还为许多交叉学科提供了重要的技术支撑，例如，“生物信息学”试图利用信息技术来研究生命现象和规律，而基因组计划的实施和基因药物的美好愿景让人们为之心潮澎湃。生物信息学研究涉及从“生命现象”到“规律发现”的整个过程，其间必然包括数据获取、数据管理、数据分析、仿真实验等环节，而“数据分析”恰是机器学习技术的舞台，各种机器学习技术已经在这个舞台上大放异彩。

机器学习正是这样一门学科，它致力于研究如何通过计算的手段，利用经验来改善系统自身的性能，在计算机系统中，“经验”通常以“数据”形式存在，因此，机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”（mode）的算法，即“学习算法”（ learning algorit hn）．有了学习算法，我们把经验数据提供给它，它就能基于这些数据产生模型：在面对新的情况时（例如看到一个没剖开的西瓜），模型会给我们提供相应的判断（例如好瓜）．如果说计算机科学是研究关于“算法”的学问，那么类似的，可以说机器学习是研究关于“学习算法”的学问。

1952年，阿瑟·萨缪尔（Arthur Samuel，1901—1990）在IBM公司研制了一个西洋跳棋程序，这个程序具有自学习能力，可通过对大量棋局的分析逐渐辨识出当前局面下的“好棋”和“坏棋”，从而不断提高弈棋水平，并很快就下赢了萨缪尔自己。



1956年，萨缪尔应约翰·麦卡锡（John McCarthy，“人工智能之父”，1971年图灵奖得主）之邀，在标志着人工智能学科诞生的达特茅斯会议上介绍这项工作，萨缪尔发明了“机器学习”这个词，将其定义为“不显式编程地赋予计算机能力的研究领域”。他的文章“ Some studies in machine learning using the game of checkers” 1959 年在IBM Journal正式发表后，爱德华·费根鲍姆（Edward Feigenbaum，“知识工程之父”，1994年图灵奖得主）为编写其巨著Computers and Thought，在1961年邀请萨缪尔提供一个该程序最好的对弈实例，于是，萨缪尔借机向康涅狄格州的跳棋冠军、当时全美排名第四的棋手发起了挑战，结果萨缪尔程序获胜，在当时引起轰动。



这个跳棋程序实质上使用了强化学习技术。什么是强化学习技术呢？举个简单到不能再简单的关于种西瓜的“任务与奖赏”的例子。



我们考虑一下如何种西瓜。种瓜有许多步骤，从一开始的选种，到定期浇水、施肥、除草、杀虫，经过一段时间才能收获西瓜，通常要等到收获后，我们才知道种出的瓜好不好，若将得到好瓜作为辛勤种瓜劳动的奖赏，则在种瓜过程中当我们执行某个操作（例如，施肥）时，并不能立即获得这个最终奖赏，甚至难以判断当前操作对最终奖赏的影响，仅能得到一个当前反馈（例如，瓜苗看起来更健壮了），我们需多次种瓜，在种瓜过程中不断摸索，然后才能总结出较好的种瓜策略，这个过程抽象出来，就是“强化学习”（reinforcement learning）。



故事再回到萨缪尔跳棋程序上来。事实上，萨缪尔跳棋程序不仅在人工智能领域产生了重大影响，还影响到整个计算机科学的发展，早期计算机科学研究认为，计算机不可能完成事先没有显式编程好的任务，而萨缪尔跳棋程序否证了这个假设，另外，这个程序是最早在计算机上执行非数值计算任务的程序之一，其逻辑指令设计思想极大地影响了IBM计算机的指令集，并很快被其他计算机的设计者采用。

    关注 清华大学出版社