文摘
我们自动使用多个感官来了解我们周围的世界。谈话的时候,我们大多数人用我们的耳朵听别人在说什么。但是你可能会惊讶地知道你看到也是非常重要的,帮助你去理解别人。本文着眼于如何听觉和视觉相结合并解释这两种感官如何帮助我们理解演讲。我们证明是多么重要的人说话,尤其是当我们在嘈杂的地方。这个话题有重要意义的戴口罩!这是非常重要的,我们想想口罩可能影响人们相互沟通的能力。
介绍
你曾经难以理解你的朋友或老师都说当他们戴着口罩?这是为什么呢?几乎每个人都受益于看到说话的人的脸。各种声音人们交谈时要求他们嘴里用独特的方式移动,即使你可能不知道,你的大脑理解那些特定的嘴巴的形状!形状方便我们理解人民当我们可以看到他们说话。
大脑有专门区域,处理从感官的信息,让我们了解世界。这些大脑区域自动结合跨多个感官信息。举例来说,当信息从一个(听觉)是不可靠的,然后自动更加依赖信息从另一个意义上(如视觉)。这就是为什么你会特别注意的好处看到人们说当你在一个嘈杂的地方。
在本文中,我们将首先介绍您感觉和知觉之间的区别,我们将使用一个著名的视觉错觉演示如何感知有时会不准确。这将帮助你理解,你认为并不一定对应的信息。我们将解释我们的大脑如何把信息在不同的感官,特别是视觉和听觉。
世界的信息
你的耳朵拿起声波,你听到他们的声音。你的眼睛光能量,它给你看。我们称这些过程感觉。什么你的大脑的信息从你的感觉叫感知。大多数时候,我们假设我们意识和感知是一样的。但有时我们的大脑得出错误的结论是什么了!知觉是一个棘手的任务:它包括结合感官告诉我们有什么我们已经了解世界,让最好的猜测发生了什么。我们可以误解或曲解,感觉,然后感知的东西是不正确的。
视觉错觉可以吸引人看,他们给了我们一个很好的例子,有时大脑如何误解的感觉给我们错误的看法。看一看图1。你认为哪一辆车是最大的?现在拿出一把尺子,衡量他们。是你对吗?
- 图1 -视觉错觉。
- 这些车都是一样的大小,然而汽车通常被认为是更大。这是因为照片中的线索告诉我们车远顶部,所以大脑自动“尺度”的形象。这个例子告诉我们,我们的感官观察和我们的大脑感知并不总是相同的。
乍一看,你可能会认为汽车顶部比底部,但它们实际上是相同的大小!我们称之为一种视觉错觉,因为图片欺骗你的大脑认为汽车是不同的大小。这幅作品因为线索(道路的形状,在这个例子中)跻身前汽车似乎远比汽车底部。通常,事情看起来远小于接近我们(下次你在汽车旅行看看远处汽车的大小相比附近),所以汽车顶部的道路应该看起来更小,因为它是远。大脑在某种程度上知道这一点,所以“尺度”汽车的大小自动的感知。在现实生活中,这种心理的调整通常工作得很好,可以帮助我们对世界的感知是有意义的。
结合我们的感官
我们知道我们的大脑经常同时使用视觉和听觉来理解世界。这可以使我们的大脑更容易正确地确定发生了什么比如果我们只使用一个意义。但同样的视觉错觉可以捉弄大脑通过眼睛,一个视听幻觉可以混淆来自听觉和视觉感知如果信息不匹配。这是说明了一个实验由哈利McGurk和约翰·麦克唐纳在1976年(1]。这些科学家记录下一个人说声“ba。”然后他们做了一个沉默的视频同一个人说声“ga。“他们演奏录音(“ba”)与视频(ga)和要求志愿者说他们听到了什么声音。你可能会惊奇地发现,大多数志愿者说他们听到了声音“da”!这是因为他们的大脑捣碎的所见所闻和猜测的声音是什么。这个实验的神奇之处是,它确实改变单词的声音的方式,叫做McGurk效应(图2)。实验表明,看到说话脸可以有一个强有力的影响在人们感知的声音1。效果还发现与其他声音的组合。演讲的感觉真的是大脑的结果使最好的猜测它可以从我们所看到的,我们听到的,我们已经知道的语言。
- 图2 -麦格尔效应。
- 在这个错觉中,听到一个声音(例如,“ba”),同时也看到了嘴运动通常伴随另一个声音(例如,“遗传算法”),往往导致听众感知一个新的声音(例如,“da”)。这告诉我们,大脑自动结合在感官的信息,帮助我们了解世界。
看到如何帮助我们听到在嘈杂的地方吗
通常在现实世界中,嘴唇动作与声音来自人们的嘴,所以看到有人讨论通常有助于我们理解正确的词。这种视觉信息更有助于理解演讲时,对话发生在一个嘈杂的设置。试着和朋友坐在一个安静的房间。你可能会发现它很容易理解你的朋友说什么。现在把电视的音量调大。现在有多容易了解你的朋友吗?很难听到和理解别人说如果背景非常吵。如果你看看你的朋友的脸和嘴唇,你更可能正确地猜到。
测量视力如何影响对演讲的理解
我们进行了一些实验在背景噪音如何影响对句子的理解2]。首先,我们拍摄和记录志愿者说几种不同的句子(如“一个大尺寸的鞋子很难卖。”)。然后我们玩这些录音其他志愿者,要求他们重复所听到的,我们数了多少单词。我们重复这个实验有很多志愿者,添加不同水平的背景噪音,或减少语音信号的体积。语音信号和背景噪声之间的关系叫做信噪比。有时我们只打了人说话的声音,有时我们还显示视频的人,所以志愿者可以看到和听到说话的人。
我们绘制我们聚集在一个图表的信息(图3)。背景噪音时,越来越多的人来说,我们的志愿者不能正确识别任何词语。但当句子的背景声音,我们的志愿者听到最正确的单词。在这两个情况下,志愿者可以识别一些,但并非所有正确的单词。我们的研究结果清楚地表明,人们更能理解演讲背景噪音现在如果他们可以看到语言的面孔。这种效应解释了你的经验似乎听到更好当你可以看到人们来说,尤其当你在一个嘈杂的地方。以前的研究也发现了类似的结果(3]。
- 图3——当背景噪音越来越多的人来说(低信噪比),志愿者不能正确识别任何词语(一)。
- 但是句子胜过背景噪音时,志愿者听到最正确的单词(C)。在之间,志愿者们可以确定一些,但不是全部,正确单词(B)。当志愿者可以看到和听到人说话(红线),他们得到了更多的单词正确比当他们只能听到说话(蓝线)。所以,更容易理解演讲时我们既能看到和听到演讲者。
为什么这个很重要?想象你工作在嘈杂的工厂大声,危险的机械。现在,想象一下你的同事是试图解释如何使用机器。与所有噪声背景中,你认为你能听清楚的指令?如果你的同事说话时穿着安全面具吗?在这种环境中,犯了一个错误可能是非常危险的,甚至可能导致受伤。
视觉信息对人们的好处有听力损失
你曾经试图明白有人在说什么只是看着自己的脸,没有听到他们的话吗?你可能会发现你更擅长这个任务如果你听力差。失聪或听力受损的人通常擅长唇读比正常听力的人4]。这个技能可能随着时间的推移这些人失去了听力,不得不密切关注自己的其他感官。
冠状病毒疫情期间,戴着口罩往往是必需的。面具使嘴唇阅读非常困难的人需要这样做。在英国,运动有助于说服政府提供透明的面罩来帮助聋人交流。在我们的研究中,我们试图理解唇读有助于沟通,尤其是它如何帮助有听力问题的人。
结论
视觉信息是非常重要的,帮助我们了解我们听到的声音。我们看到对于理解尤为重要讲话当我们正在听的声音是受背景噪声或可怜的听力。还有很多我们不了解大脑如何结合我们所看到的和我们所听到的。下次你在嘈杂的环境中,思考你有多依赖于看到的脸的人来说,和能够做些什么使视觉语音信息更加方便听力有困难的人。
术语表
感觉:↑感官接信息的过程。
感知:↑我们的大脑理解信息的过程提供的感官。
McGurk效应:↑一个视听幻觉,当听到一个声音(例如,“ba”),同时也看到了嘴运动陪另一个声音(例如,“遗传算法”)结果的看法新的声音(例如,“da”)。
信噪比:↑一定程度的“信号”的力量(在我们的例子中,演讲)背景噪音。
唇读:↑单从口腔运动理解演讲。
的利益冲突
作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。
脚注
1。↑看一看这个视频演示的效果:https://www.youtube.com/watch?v=jtsfidRq2tw&t=20s。
引用
[1]↑McGurk H。麦克唐纳,j . 1976。听到嘴唇和看到的声音。自然264:746-8。
[2]↑斯泰西,p . C。,Kitterick, p . T。莫里斯,s D。萨姆纳,c . j . 2016。视觉信息的贡献在嘈杂环境的感知和没有信息颞精细结构。听到的。Res。336:17-28。doi: 10.1016 / j.heares.2016.04.002
[3]↑Sumby, w . H。波拉克,即1954。视觉的贡献在噪声语音清晰度。j . Acoust。Soc。点。26:212-5。
[4]↑Schreitmuller, S。Frenken, M。Bentz, L。Ortmann, M。Walger, M。迈斯特,h . 2018。验证一个方法来评估读唇术,视听增益和集成在演讲接待cochlear-implanted和听力正常受试者使用的头部特写。耳朵听到的。39:503-16。doi: 10.1097 / AUD.0000000000000502