简历阅读- - -教我温柔

你已经阅读了每月两篇免费文章中的一篇。学习更多的知识。

教我温柔

机器学习教会了我们教学的秘密。

1944年彼得·斯托利亚斯基去世时,他被认为是俄罗斯最伟大的小提琴老师。他的学生中有一小群

W1944年彼得·斯托利亚斯基去世后,他被认为是俄罗斯最伟大的小提琴老师。他的学生中有一群明星,包括大卫·奥伊斯特拉克(David Oistrakh)和内森·米尔斯坦(Nathan Milstein)。1933年,他的家乡敖德萨有一所天才音乐家学校以他的名字命名。但斯托利亚斯基的小提琴拉得远不如他最好的学生。他所能做的就是在他们的耳朵里悄悄地讲一些比喻。他可能会俯身解释他的母亲是如何做安息日晚餐的。他的建议没有给出具体的信息,关于弓应该描述什么角度,或者如何移动手指在格纹上创造颤音。相反,它将他的音乐经验提炼成他的学生能够理解的隐喻。

当弗拉基米尔·瓦普尼克(Vladimir Vapnik)教他的电脑识别笔迹时,他也做了类似的事情。虽然不涉及耳语,但瓦普尼克确实利用了“特权信息”的力量。特权信息从学生传递到老师,从家长传递到孩子,从同事传递到同事,这些特权信息编码了来自经验的知识。这就是瓦普尼克要求俄罗斯诗歌教授娜塔莉亚·帕夫洛维奇(Natalia Pavlovich)写诗描述数字5和8的原因,供他的学习算法使用。结果听起来像是任何程序员都不会写的。她在5号桌上的一首诗是,

他正在跑步。他在飞。他正在向前看。他动作敏捷。他在前面扔长矛。他很危险。它向右倾斜。好的蛇纹。蛇正在攻击。它会跳起来咬人。它是免费的,对任何事情都绝对开放。它显示了自己,不是开玩笑。

帕夫洛维奇总共写了100首这样的诗,每首诗都是手写的5首或8首,如图所示。有的字写得很好,有的字迹潦草。一个5是“普通的好生物”。强壮、乐观、善良,”而另一个人似乎“准备冲上去攻击某人”。然后,帕夫洛维奇对从她的诗歌中提取的21个不同属性分别进行了5分和8分的评分。例如,一个手写的例子的“攻击性”评分为2分,而另一个手写的例子的“稳定性”评分为2分。

在这样的指导下,瓦普尼克的计算机能够识别手写数字,所需的训练远远少于常规要求。一个可能需要100000个样本的学习过程现在可能只需要300个样本。加速也与所用诗歌的风格无关。当巴甫洛维奇写了第二套以阴阳对立为基础的诗时,它同样奏效。瓦普尼克甚至不确定老师是否正确,尽管一致性似乎很重要。

Sapolsky_TH-F1

教我温柔

1944年彼得·斯托利亚斯基去世时,他被认为是俄罗斯最伟大的小提琴老师。他的学生中有一小群明星,包括大卫·奥伊斯特拉克和内森·米尔斯坦,在他的家乡敖德萨有一所天才音乐家学校……阅读更多

Vapnik是越来越多的人工智能(AI)研究人员中的一员,他们发现了教师们早就知道——或者至少被认为是真的——的东西:教师和学生之间存在一种特殊的、有价值的交流,这是任何教科书或原始数据流都无法找到的。通过使用计算工具和机器直觉,人工智能研究人员让我们对我们如何学习有了更全面的了解。他们还拓宽了教育的研究范围,将学习过程本身的量化、数值模型包括在内。密歇根大学(University of Michigan)计算机科学家约翰•莱尔德(John Laird)表示:“人工智能带来的是,它迫使我们深入了解一切事物如何工作的细节。”如果有人怀疑优秀教师的重要性,那么机器学习正在帮助消除这种疑虑。

教师和学生之间有一种特殊的、有价值的交流,这种交流超出了任何教科书或原始数据流中所能找到的范围。

教师-学生代码的根源在于现实世界的绝对复杂性,这种复杂性长期以来一直困扰着人工智能研究。那个平面是桌子吗?一把椅子吗?地板上?如果它部分在阴影中,或部分被遮挡了呢?在多年寻找简单的方法来回答这些问题之后,人工智能社区发现,在某些方面,现实世界的复杂性是不可简化的。

例如,仅使用地图数据(如海拔、坡度、阳光和阴影)预测森林中树木分布的问题。乔克·布莱克德(Jock Blackard)和丹尼斯·迪恩(Denis Dean)在1999年进行了最初的计算,并留下了一个庞大的公共数据库供其他数学家使用。根据瓦普尼克的说法,当计算机使用15000个例子进行训练时,他们的预测准确率为85%到87%。不错。但当他们被喂食超过500000个样本时,他们开发了更复杂的树木分布规则,并将他们的预测准确率提高到98%以上。

“这意味着一个好的决策规则不是一个简单的规则,它不能用很少的参数来描述,”Vapnik说。事实上,他认为使用许多弱预测器总是比使用几个强预测器更准确。1获取复杂性的一种方法是向计算机提供数十万甚至数百万个点,这称为蛮力学习。它工作得很好,是大多数大数据商业企业背后的驱动引擎,在这些企业中,机器被释放在TB的数据上,以了解从科学问题到消费者行为的一切。事实上,Vapnik开发了大数据使用的关键技术之一,称为支持向量机。但是,在数据不充足的情况下,例如在研究癌症活检图像时,蛮力方法也是缓慢、低效和无用的。

Vapnik将特权信息描述为第二种用于指导计算机的语言。暴力学习的语言包括技术测量,如形状、颜色、力量和你在食品上的花费,特权信息依赖于隐喻。隐喻可以区分聪明科学和暴力科学。

要想在工作中看到有特权的信息,我们只需看看人类(或机器人)的身体。身体是特殊的,因为它与环境有特殊的互动方式。有腿的人对有椅子的房间和没有椅子的机器人的理解是不同的。当受到身体的约束和要求时,描述房间的数千个原始数据点就会崩溃成几个简单的想法。如果一个老师知道拥有身体是什么感觉,他,她,或者它可以把这些简单的想法作为特权信息传递给学生,创造一个复杂环境的有效描述。

人工智能研究人员正在迅速了解身体的重要性,以及身体在构建和解释特权信息中的关键作用。在他的实验室里,莱尔德正在教机器人使用语言命令操纵泡沫块。当机器人第一次试图抓起一个物体时,它自己的手臂挡住了它的摄像机,它的视觉系统失去了它试图抓起的物体的轨迹。需要教会它身体是什么,以及它是如何工作的。

一个好的决策规则不是一个简单的规则,它不能用很少的参数来描述。

这听起来可能像是发育机器人的成长之痛,但事实上,人类也需要学习他们的身体如何与环境相互作用,并最终开始依赖这些信息。布卢明顿印第安纳大学的心理学家和脑科学家琳达·史密斯告诉我,人们的注意力就像太空中的聚光灯一样集中。在工作(或短期)记忆中,同一聚光灯中的对象链接在一起或绑定在一起。史密斯发现,16到24个月大的孩子可以在他们的工作记忆中将物体和名字绑定在一起,但前提是这些物体不被移动。否则,视觉“噪音”会阻止记忆的形成。

但是,如果移动的是子物体而不是物体,会发生什么呢?英国普利茅斯大学(Plymouth University)的研究员托尼·莫尔斯(Tony Morse)使用了一个名为iCub的53马达机器人,它能爬行、行走,学习能力很像史密斯的孩子。出乎意料的是,当它改变它的姿态并第二次回头看一个对象时,它无法维持对象与其名称之间的关联。机器人利用身体姿势来定位自己在空间中的位置,通过物理路标来减少环境的复杂性。

受到机器人研究结果的激励,史密斯在儿童身上寻找同样的行为,并发现了它。“这是一个新颖的预测,绝对正确,”她说。“这让我开始了一系列关于身体运动在扰乱儿童记忆中的作用的研究。”事实证明,当你一年级的老师让你坐下来集中注意力时,她对记忆是如何形成的有着深刻的理解。它不是显而易见的东西,也不是孩子会猜对的东西,也不是人工智能研究人员会编程到机器里的东西。这是保密信息。

一年级老师的教学效果被这样一个事实所掩盖:教学的目的(学习)与教学的内容(坐着)几乎没有关系。但这种情况经常发生。里克·曼茨(Rick Mantz)现在是新泽西州南布伦瑞克高中詹姆斯·金普尔替代教育中心(James Kimple Center for Alternative Education)的主席,但他最初来这里是为了指导橄榄球队。在经历了多年的大部分记录丢失后,他立即扭转了这个项目。如何?“这是一个性格问题,”曼茨告诉我。“我们会在学业上监督孩子们,确保他们在课堂上表现良好。”曼茨发现了一些类似于帕夫洛维奇的诗歌和一年级老师的训令的东西。在这种情况下,这是足球场上的表现和课堂态度之间的联系。曼茨向我解释道:“那些在教室或餐厅里搞砸事情的孩子,和那些在游戏中一到第四秒就跳越位的孩子是一样的。

如果一个老师知道拥有身体是什么感觉,他,她,或者它可以把这些简单的想法作为特权信息传递给学生。

曼茨可以为我清楚地解释他所教授的特殊信息。但这并不总是可能的。芝加哥大学(University of Chicago)声乐研究主任帕特里斯·迈克尔斯(Patrice Michaels)向我讲述了歌唱中一个微妙的方面,许多临床医学大师曾认为这是不可传授的,但现在却是歌唱教学的常规部分。这被称为“垂直进入和声”,这与歌手与作曲家的和声意图相协调有关。她说:“G#音是a音,G#音是f音,两者是不同的。音高是一样的,但取决于你唱的方向——你如何瞄准它。”Michaels很难解释其中的区别。

对人工智能研究人员来说,利用特权信息的潜在回报是一个有吸引力的目标。近30年前,乔治·里克(George Reek)和诺贝尔奖获得者杰拉尔德·埃德尔曼(Gerald Edelman)证明,使用机械臂跟踪字母的人工智能系统比仅使用视觉系统更容易识别各种笔迹和字母。如今,在意大利理工学院制造iCub机器人的乔治·梅塔(Giorgio Metta)正依靠iCub的身体帮助它学习。他告诉我:“在许多情况下,人类利用自己对行为的了解来识别他人的行为。”。他说:“如果机器人知道如何抓取,它就有更好的机会识别人的抓取动作。”。梅塔更进一步,教iCub遵循社交线索,比如当有人看着某个物体时,将注意力指向该物体。这些线索成为收集复杂世界特权信息的另一个渠道。

2012年,在卡内基-梅隆大学(Carnegie-Mellon University)的一群哲学家面前,Vapnik提出了一个问题,即我们是否能够仅仅使用像现在机器学习中使用的那些技术模型来理解一个复杂的世界。“机器学习科学不仅是关于计算机的,”他说,“也是关于人类的,以及逻辑、情感和文化的统一。”那Vapnik自己的老师呢?他讲述了另一件轶事,是关于他的音乐老师的。“大多数时候,我觉得老师在胡说八道,”他用他最喜欢的一个同义词“特权信息”说。“但我总能理解他想要什么。”


艾伦·布朗是一名自由撰稿人,专注于科学和工程的交叉。


本文最初发表于2013年10月的《秘密密码》(Secret Codes)杂志。

发行040

学习

探索这个问题

加入讨论