机器学习的基本限制

N很久以前，我的阿姨给她的同事们发了一封电子邮件，主题是“数学题!答案是什么?”它包含了一个看似简单的谜题:

她认为她的解决办法是显而易见的。不过，她的同事们都很确定他们的答案是正确的，但两者并不匹配。问题出在他们的答案上，还是谜题本身?

我的姑姑和她的同事偶然发现了机器学习的一个基本问题，机器学习是研究会学习的计算机。我们期望计算机所做的几乎所有学习，以及我们自己所做的大部分学习，都是关于将信息简化为潜在模式，然后利用这些模式来推断未知。她的困惑也不例外。

作为人类，挑战在于找到任何模式。当然，我们的直觉限制了我们的猜测。但是计算机没有这样的直觉。从计算机的角度来看，模式识别的困难在于过剩：由于模式种类繁多，在技术上都是有效的，是什么让一个“正确”而另一个“错误”

这个问题直到最近才引起实际关注。在20世纪90年代之前，人工智能系统很少进行学习。例如，深蓝(Deep Blue)的前身、会下棋的Deep Thought就不是通过从成功和失败中学习而变得擅长下棋的。相反，国际象棋大师和编程奇才会精心制定规则，告诉它哪个棋盘位置是好还是坏。如此广泛的手动调谐是那个时代的“专家系统”方法的典型。

为了解决我姑姑的谜题，专家系统方法需要一个人眯着眼睛看前三排，并发现以下模式:

1 * (4 + 1) = 5

2 * (5 + 1) = 12

3 * (6 + 1) = 21

然后，人类可以指示计算机遵循该模式x* (Y+ 1) =Z. 将此规则应用于最后一行可得到96的解。

尽管专家系统很早就取得了成功，但设计、调整和更新专家系统所需的体力劳动却变得非常笨拙。取而代之的是，研究人员将注意力转向设计能够自行推断模式的机器。比如说，一个程序可以检查数千张照片或市场交易，梳理出表明价格上涨或即将上涨的统计信号。这种方法很快就占据了主导地位，并从那时起推动了自动化技术的发展邮政分拣来垃圾邮件过滤用于信用卡欺诈检测。

然而。尽管取得了成功，这些机器学习系统仍然需要工程师参与。再想想我姨妈的难题吧。我们假设每一行有三个相关的组件(行中的三个数字)。但可能还有第四个元素:上一行的结果。如果line-that的属性特色，用机器学习的说法，这是有限度的，然后出现了另一种可能的模式：

0+ 1 + 4 = 5

5.+ 2 + 5 = 12

12+ 3 + 6 = 21

按照这个逻辑，最终答案应该是40。

那么，哪种模式是正确的呢？当然，两者都有，两者都没有。这完全取决于允许哪些模式。您还可以通过将第一个数字乘以第二个数字，再加上三个数字的五分之一，然后四舍五入到最接近的整数来找到模式。（这很奇怪，但是很有效）如果我们允许考虑数字的视觉形式的特征，也许我们可以想出一些包含笔画和SerIFs的模式。模式匹配取决于旁观者的假设。

机器会不会自己学习得如此之好，以致于外部指导成为一件古雅的遗物?

机器学习也是如此。即使在机器自学的情况下，首选模式也是由人类选择的：面部识别软件应该推断出明确的if/then规则，还是应该将每个特征视为支持/反对每个可能的人的增量证据？系统应具备哪些功能？它应该关注单个像素吗？可能是亮区和暗区之间的尖锐边缘？这些选择限制了系统认为可能甚至可能的模式。寻找完美的组合已经成为机器学习工程师的新工作。

然而，自动化的过程并没有就此停止。正如他们曾经厌倦了编写规则一样，工程师们开始不情愿设计这些特性。“如果计算机能够自己找出特征，那不是很好吗？”因此他们设计了深度神经网络，这是一种机器学习技术，最著名的是它能够从更基本的信息中推断出更高级的特征。给神经网络一组像素，它将学习考虑边缘，曲线，甚至纹理，所有这些都没有被明确地指示。

那么，工程师们是被“一个算法统治所有人”(One Algorithm to Rule Them All)逼下台了吗?

不，还没有。神经网络仍然不能完美地解决所有问题。即使在最好的情况下，它们也需要相当多的调整。神经网络由几层“神经元”组成，每层对输入进行计算，并将结果输出到下一层。但是应该有多少神经元和多少层呢？每一个神经元是从前一层的每一个神经元获取输入，还是有些神经元更具选择性？每个神经元应该对其输入进行什么样的转换以产生其输出？等等

这些问题限制了将神经网络应用于新问题的努力;一个非常擅长人脸识别在自动翻译方面是完全无能的。再一次，人类选择的设计元素隐式地将网络推向某些模式，而远离其他模式。对于一个消息灵通的人来说，并不是所有的模式都是平等的。工程师还没有失业。

当然，合乎逻辑的下一步是神经网络，它可以自动计算出要包含多少个神经元，使用什么类型的连接，等等。探索这些主题的研究项目已经完成进行中的多年来。

它能走多远？机器会不会自己学习得如此之好，以至于外部指导变成了一个古雅的遗迹？从理论上讲，你可以想象一个理想的通用学习者，它可以自己决定一切，并且总是喜欢手头任务的最佳模式。

但是在1996年，计算机科学家大卫·沃尔伯特证明了不存在这样的学习者。在他著名的“没有免费午餐”定理他指出，对于一个学习者擅长学习的每一种模式，还有一种模式是同一个学习者很难掌握的。原因让我们回到我姑妈的谜题，即可以匹配任何有限数据量的无限模式。选择学习算法只意味着选择机器不擅长的模式。也许，比如说，视觉模式识别的所有任务最终都会落在一个包罗万象的算法上。但是没有一种学习算法能够很好地学习所有东西。

这使得机器学习与人脑惊人地相似。尽管我们喜欢认为自己很聪明，但我们的大脑也不能完美地学习。大脑的每一部分都经过进化的微妙调整，以发现特定类型的模式，无论是我们所看到的，我们所听到的语言，还是物理对象的行为方式。但是当涉及到寻找股票市场的模式时，我们并没有那么好；这些机器把我们打败了。

机器学习的历史表明有很多种模式。但最有可能的是：在未来的许多年里，我们将教机器自学。

Jesse Dunietz博士。卡内基梅隆大学计算机科学专业的学生，曾为主板和《科学美国人》客座博客等等。在推特上关注他@jdunietz.

注意:Ken Goldberg是加州大学伯克利分校自动化科学实验室的艺术家和机器人专家，他在谈论机器人是否能丰富人类的创造力。

这篇经典的事实如此浪漫的文章最初发表于2016年9月。