W1944年彼得·斯托利亚斯基去世后,他被认为是俄罗斯最伟大的小提琴老师。他的学生中有一群明星,包括大卫·奥伊斯特拉克(David Oistrakh)和内森·米尔斯坦(Nathan Milstein)。1933年,他的家乡敖德萨有一所天才音乐家学校以他的名字命名。但斯托利亚斯基的小提琴拉得远不如他最好的学生。他所能做的就是在他们的耳朵里悄悄地讲一些比喻。他可能会俯身解释他的母亲是如何做安息日晚餐的。他的建议没有给出具体的信息,关于弓应该描述什么角度,或者如何移动手指在格纹上创造颤音。相反,它将他的音乐经验提炼成他的学生能够理解的隐喻。
当Vladimir Vapnik教导他的计算机来识别手写时,他做了类似的事情。虽然没有涉及窃窃私语,但VAPNIK确实利用“特权信息”的力量。从学生传递给老师,父母到儿童,或同事向同事,特权信息编码来自经验的知识。这就是vapnik在俄罗斯诗教授纳塔利亚Pavlovich的时候追求的是,写下描述数字5和8的诗歌,以获得他的学习算法的消费。结果听起来像是没有任何程序员写的。她的第5号诗歌之一阅读,
他正在运行。他是飞。他在向前看。他迅速。他把长矛扔在前面。他是很危险的。它是向右倾斜的。好snaked-ness。蛇在攻击。它会跳起来咬人。 It is free and absolutely open to anything. It shows itself, no kidding.
帕夫洛维奇总共写了100首这样的诗,每首诗都是手写的5首或8首,如图所示。有的字写得很好,有的字迹潦草。一个5是“普通的好生物”。强壮、乐观、善良,”而另一个人似乎“准备冲上去攻击某人”。然后,帕夫洛维奇对从她的诗歌中提取的21个不同属性分别进行了5分和8分的评分。例如,一个手写的例子的“攻击性”评分为2分,而另一个手写的例子的“稳定性”评分为2分。
如此指示,VAPNIK的计算机能够识别手写数字,培训远远较低,传统上需要。可能需要100,000个样本的学习过程现在只需要300。加速也与所用诗歌的风格无关。当Pavlovich写了一个基于ying-yang对立的第二组诗时,它的运作速度大致很好。VAPNIK甚至不确定老师必须是正确的 - 虽然一致性似乎依据。
为什么虚拟课堂比真实课堂更好
我和索尔克生物研究所弗朗西斯·克里克教授、神经学家特伦斯·j·塞诺维斯基一起教授世界上最受欢迎的mooc(大规模在线开放课程)“学习如何学习”。这门课程利用了神经科学、认知心理学……阅读更多
Vapnik是一个越来越多的人工智能(AI)研究人员,发现教师长期以来的人 - 或者至少认为真实的:教师和学生之间存在特殊,有价值的沟通,这超出了什么可以在任何教科书或原始数据流中找到。通过将计算和机器直觉的工具带到表中,AI研究人员正在向我们提供更多信息,我们如何学习。他们还扩大了教育的研究,包括学习过程本身的定量,数值模型。“Ai带给桌面的事情是它迫使我们进入一切如何工作的细节,”密歇根大学计算机科学家John Laird说。如果有任何疑问,优秀的教师很重要,机器学习正在帮助它休息。
在教师和学生之间存在特殊,有价值的沟通,这超出了任何教科书或原始数据流中可以找到的。
教师-学生代码的根源在于现实世界的绝对复杂性,这种复杂性长期以来一直困扰着人工智能研究。那个平面是桌子吗?一把椅子吗?地板上?如果它部分在阴影中,或部分被遮挡了呢?在多年寻找简单的方法来回答这些问题之后,人工智能社区发现,在某些方面,现实世界的复杂性是不可简化的。
例如,使用仅使用地图数据预测森林中树木分布的问题,例如海拔,坡度,阳光和阴影。Jock Blackard和Denis Dean于1999年做了原始计算,并留下了巨大的公共数据库,用于其他数学家使用。根据VAPNIK的说法,当使用15,000个例子进行计算机培训计算机时,他们的预测是85%至87%。非常好。但是,当他们喂养超过500,000个例子时,他们开发了更复杂的树分布规则,并提高了他们预测的准确性,超过98%。
“这意味着一个良好的决策规则不是一个简单的规则,它不能通过很少的参数描述,”Vapnik说。事实上,他认为,使用许多弱者预测器始终比使用几个强大的预测器更准确。1一种捕获复杂性的方法是喂养数十万,甚至数百万的指向计算机,这被称为蛮力学习。它很好地运行,是大多数大数据商业企业后面的驾驶引擎,其中机器在数据的数据上设置松动,以便了解从科学问题到消费者行为的一切。事实上,VAPNIK开发了大数据使用的关键技术之一,称为支持向量机。但是,当数据不充分时,蛮力方法也很慢,低效和无用,例如在研究癌检查的活组织检查图像时。
VAPNIK将特权信息描述为第二种语言,用于指导计算机。如果蛮力学习的语言包括技术测量,例如形状,颜色,力量和您在杂货上花费的金额,特权信息依赖于隐喻。隐喻可以对智能科学和蛮力科学之间存在差异。
要想在工作中看到有特权的信息,我们只需看看人类(或机器人)的身体。身体是特殊的,因为它与环境有特殊的互动方式。有腿的人对有椅子的房间和没有椅子的机器人的理解是不同的。当受到身体的约束和要求时,描述房间的数千个原始数据点就会崩溃成几个简单的想法。如果一个老师知道拥有身体是什么感觉,他,她,或者它可以把这些简单的想法作为特权信息传递给学生,创造一个复杂环境的有效描述。
AI研究人员正在快速学习身体的重要性,以及其在构建和解释特权信息方面的关键作用。在他的实验室里,莱德正在教授一个机器人来使用语言命令操纵泡沫块。机器人第一次试图拿起一个物体,它自己的手臂挡住了相机,它的视觉系统丢失了它试图拾取的东西。需要教导其身体的身体以及它的工作原理。
一个好的决策规则不是一个简单的规则,它不能用很少的参数来描述。
这可能听起来像发展机器人的日益增长的痛苦,但实际上人类还需要了解他们的身体如何与环境互动,并最终开始依赖这些信息。印第安纳大学的心理学家和大脑科学家林达史密斯布卢明顿告诉我,人们像空间中的聚光灯一样关注他们的注意力。同一聚光灯中的对象将在一起或绑定在工作(或短期)内存中。史密斯发现,16至24个月的年龄之间的孩子可以将对象和名称绑定在其工作记忆中,但只有当对象没有移动时才。否则,视觉“噪声”将存储器保持成形。
但是,如果移动的是子物体而不是物体,会发生什么呢?英国普利茅斯大学(Plymouth University)的研究员托尼·莫尔斯(Tony Morse)使用了一个名为iCub的53马达机器人,它能爬行、行走,学习能力很像史密斯的孩子。出乎意料的是,当它改变它的姿态并第二次回头看一个对象时,它无法维持对象与其名称之间的关联。机器人利用身体姿势来定位自己在空间中的位置,通过物理路标来减少环境的复杂性。
由机器人学的这种结果激励,史密斯寻找了儿童的相同行为 - 并找到了它。“这是一种新颖的预测,绝对是正确的,”她说。“它让我介绍了一系列关于机身运动在扰乱儿童记忆中的作用的研究。”事实证明,当你的一年级老师告诉你坐下来注意,她深入了解如何形成记忆。这不是一个很明显的东西,或者孩子会猜到的事情是真实的,或者AI研究人员将进入机器。它是特权信息。
一年级老师的教学效果被这样一个事实所掩盖:教学的目的(学习)与教学的内容(坐着)几乎没有关系。但这种情况经常发生。里克·曼茨(Rick Mantz)现在是新泽西州南布伦瑞克高中詹姆斯·金普尔替代教育中心(James Kimple Center for Alternative Education)的主席,但他最初来这里是为了指导橄榄球队。在经历了多年的大部分记录丢失后,他立即扭转了这个项目。如何?“这是一个性格问题,”曼茨告诉我。“我们会在学业上监督孩子们,确保他们在课堂上表现良好。”曼茨发现了一些类似于帕夫洛维奇的诗歌和一年级老师的训令的东西。在这种情况下,这是足球场上的表现和课堂态度之间的联系。曼茨向我解释道:“那些在教室或餐厅里搞砸事情的孩子,和那些在游戏中一到第四秒就跳越位的孩子是一样的。
如果一个老师知道拥有身体是什么感觉,他,她,或者它可以把这些简单的想法作为特权信息传递给学生。
MANTZ可以为我提供对他教导的特权信息的清醒解释。但这并不总是可能的。在芝加哥大学指导声乐研究的帕特里斯·迈克尔斯对我谈到了一个唱歌的微妙方面,即许多大师临床医生都认为是不可实现的,但现在是唱歌教学的正常部分。它被称为“垂直陷入和谐”,并且与歌手有关,歌手正在接受作曲家的谐波意图。“如何唱出一个G#注意,导致A和G#导致F.这是相同的音高,而是取决于你的目标是相同的,”她说。“迈克尔斯解释了差异的困难。
对人工智能研究人员来说,利用特权信息的潜在回报是一个有吸引力的目标。大约30年前,乔治·瑞克(George Reeke)和诺贝尔奖得主杰拉尔德·埃德尔曼(Gerald Edelman)展示了用机械臂追踪字母的人工智能系统比仅用视觉系统更容易识别不同风格的手写和字母。如今,在意大利理工学院(Italian Institute of Technology)制造了iCub机器人的乔治·梅塔(Giorgio Metta)正指望iCub的体型来帮助它学习。“在很多情况下,人类利用自己对行为的认识来识别他人的行为,”他告诉我。“如果机器人知道如何抓取,它就有更好的机会识别人类的抓取动作,”他说。Metta更进一步,教iCub跟随社交线索,比如当有人看着某个物体时,将注意力转移到它身上。这些线索成为收集复杂世界特殊信息的另一个渠道。
2012年,在卡内基-梅隆大学(Carnegie-Mellon University)的一群哲学家面前,Vapnik提出了一个问题,即我们是否能够仅仅使用像现在机器学习中使用的那些技术模型来理解一个复杂的世界。“机器学习科学不仅是关于计算机的,”他说,“也是关于人类的,以及逻辑、情感和文化的统一。”那Vapnik自己的老师呢?他讲述了另一件轶事,是关于他的音乐老师的。“大多数时候,我觉得老师在胡说八道,”他用他最喜欢的一个同义词“特权信息”说。“但我总能理解他想要什么。”
Alan Brown是一位专注于科学与工程交叉路口的自由作家。