使用梅格,一种设备,可以让我们阅读大脑信号,机器学习,计算机科学的一个分支,我们能够解码信号,发生在人类的大脑识别一个动作。因为梅格检测快速变化的大脑信号,它让我们了解行动信息出现。我们发现大脑识别动作很快,200毫秒内变换(ms,秒)。进一步,大脑立刻忽略了观点的变化,像前视图,视图,还承认一个动作很快。通过理解大脑的顺序分解这一复杂的问题,我们已经学会了许多重要的事情关于大脑的计算涉及到人类行为识别。

这个问题

承认别人的行为是我们日常生活的关键。我们可以很容易地告诉当有人向我们招手或逃离。这有助于我们决定下一步我们应该做什么。识别行为也为计算机系统识别的行为变得越来越重要科学家开发人工智能(AI),必须与人类交互,如辅助机器人和无人驾驶汽车。

值得注意的是,人类可以识别行为即使是复杂的转换:形象变化,改变一个场景的外观,但不意味深长地改变其内容。在图1例如,很容易认识到在每幅图像的行为,尽管许多不同的变化:不同的演员(孩子,一条狗,成人),不同的相机位置(前或旁边的演员),和不同背景(公园,海滩,一个有砖墙的房间)。

特别是,把最后一行的三个图片图1。如果你比较他们,前两个图片看起来比第二个更相似两张图片。然而,尽管他们的视觉相似性,可以很容易地看出前两个图像描绘不同的动作(跑步和散步)。我们称之为“歧视”。你也可以告诉第二个两张图片包含相同的操作(运行),尽管照片看起来是多么的不同。我们称之为“泛化”。能够区分和归纳是很困难的,即使是最先进的计算机算法。一个算法是一组规则或计算计算机遵循解决问题歧视和泛化是由大脑中独立的进程。这些不同的步骤分解的大脑如何识别行为?回答这个问题将有助于我们确定理想的方法来实现这些步骤在计算机算法和开发更好的人工智能。

在这项研究中,我们问当人类大脑识别不同的行为,当它的方式,概括了跨不同的转换。的大脑首先识别行为,然后链接相同的动作在不同的观点?或者是歧视和泛化解决在同一时间吗?通过了解大脑计算时,我们可以更好地理解其基本流程。

我们所做的以及我们如何做到了

动作识别视频数据集

对于我们的研究,我们拍摄的视频五常见,不同的人做日常行为:跑步、散步、跳,吃饭,喝酒。从两种不同的观点:我们拍摄的视频和侧面临面临(见图1底下一行)。这允许我们问大脑信号可以区分不同的行动,和推广不同的观点。我们一直视频的其他元素,如灯光和背景,常数。我们接下来需要一种方法来测量大脑的反应不同的视频。

“读心术”了一种叫做脑磁图描记术(MEG)

人类的大脑是不断地处理大量的信息。研究人类大脑中的一个主要挑战是用一种非损伤性方式来解读大脑信号:无需切开一个人的头骨和记录在他们的大脑。

在我们的研究中,我们使用一个工具,称为脑磁图描记术或梅格(图2)。梅格检测磁场的变化,这就是为什么它被称为“磁”脑照相术。当数以百万计的大脑细胞被激活,或“火”在一起,他们创建一个周围磁场的变化。这些是非常微弱的变化,比地球磁场弱得多,但我们仍然可以检测到它们使用梅格,因为它是非常敏感的。

梅格有头盔和306个传感器,测量大脑的弱磁场活动。梅格与其它方法测量大脑活动,让我们很快地收集大量的数据,我们可以得到一个新的梅格测量每秒1000次。权衡是我们不能告诉大脑的哪些区域的信号来自。因此,我们使用来自整个大脑的信号。这些信号是非常复杂的,我们需要聪明的方式来对它们进行分析。

我们使用机器学习梅格数据(见检测模式箱1)。我们通过使用梅格在很多人在观看视频的操作我们前面所提到的,这样计算机算法可以学习大脑活动的模式是什么样子来响应每个操作。这就是所谓的培训。然后,一旦学会了算法,我们提出了一个新的模式,该算法没有见过,叫道测试,问我们的算法”,人看视频是什么?“换句话说,模式在我们训练数据这是测试数据最接近吗?这是有时被称为“神经解码。“它让我们读出行动有人观看的人的大脑活动。我们使用读数精度作为衡量是否大脑信号可以分辨不同的行动。

我们每次都重复这个过程我们得到一个新的梅格阅读(每毫秒)。这使得信息在大脑中如何随时间变化。

我们发现

人类的大脑迅速认识到行动

受试者坐在梅格和观看视频。我们使用我们的机器学习系统来预测,在每个时间点,行动主题viewed-running,走路,跳跃,吃或喝。如果算法的分类精度高于机会,我们记录的大脑信号包含的信息可以区分行为。

首先,我们看的视频都是一样的视图(例如,前置只)。一个视频开始前在时间为零,我们的预测是20%左右(或1中的5个),一样的机会,因为没有在屏幕上(图3,蓝色曲线)和分类器是随机猜测。一旦视频开始,我们看到一个戏剧性的提高分类器的精度,表明有行动的信息出现在大脑的信号。分类器的精度的峰值在40%左右。对于我们的目的,我们感兴趣的是当行动信息是第一次出现在梅格的信号,所以我们寻找解码时显著高于第一次机会(基于统计测试)。分类器的精度达到这个水平后开始在200 ms视频开始。这是极快,后只有6帧的视频。

大脑识别操作在不同的视图

在前面的实验中,我们的机器学习算法训练和测试数据来自受试者观看视频的操作从一个视图,如仅从前面。我们最终想了解当大脑不同的观点可以概括。要做到这一点,我们训练算法对训练数据从受试者观看视频从一个视图和测试算法在第二个观点。

就像早期的实验中,在视频开始前在时间为零,分类器是随机猜测(精度是机会,1 5或20%)。一旦视频开始,我们可以再次预测行动主体在看视频开始后开始200 ms (图3红色曲线)。这意味着大脑信号可以概括整个不同的观点。大脑不仅迅速识别不同的动作,但它的方式可以忽略视图的变化。有趣的是,这两种对立的目标,歧视和泛化,发生在同一时间。我们知道这一点,因为红色和蓝色曲线相互的显示,一旦大脑识别行为,它可以忽略的变化的观点。这一发现表明,歧视和泛化发生在大脑中的一个步骤,因此也许是有意义的实施在同一阶段的计算机算法。

研究人类的大脑识别作用可以帮助创建更有效的人工智能

动作识别是人类的一个至关重要的方面所需的日常生活,一种技能,是人工智能系统与人类安全、有意义的互动。在我们的工作中,我们确定了大脑信号区分不同的动作,并显示这些信号出现的非常快,在看到只有200 ms的视频。重要的是,这些大脑信号必须足够灵活在不同条件下工作。我们表明,这些大脑信号立即推广不同观点,也只在200 ms。

这个时间信息可以用来帮助计算机算法来识别行为在一个更好的,更人性化的方式。我们看到动作识别的速度,例如,告诉我们大脑的算法相对简单,最有可能处理视觉输入只有一次(即不需要记得视频识别多次行动或过程)。大脑可以识别相同的行为从不同的观点很快告诉我们,计算机系统可以丢弃观点信息的早期阶段处理。

理解大脑如何执行动作识别的完整理解人类智慧的第一步,可以指导更好的人工智能系统的开发。

术语表

转换:↑图像变化,改变了一个场景的方式看,喜欢变化的观点,但不意味深长地改变其内容。

歧视:↑能够区分不同的事物(如识别跑步和走路的动作)。

泛化:↑同样的事情尽管视觉识别能力变化或转换。

算法:↑一组规则或计算,计算机遵循解决问题。

机器学习:↑计算机科学的一个分支,其目标是让计算机去学习复杂的基于数据的任务。

培训:↑机器学习过程用于查找与一组数据分类器。

测试:↑机器学习过程评估你的分类器与一组新的数据(不用于测试)。

分类器:↑机器学习算法用于解决任务数据分割到不同的类别。

利益冲突声明

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

---

原始的文章

↑Isik, L。Tacchetti,。小山,t . 2018。一种快速、人类行为的视觉系统不变量表示。j . Neurophysiol。119:631-40。doi: 10.1152 / jn.00642.2017