摘要
我们会自动地使用多种感官来理解周围的世界。在交谈时，我们大多数人都用耳朵来听别人在说什么。但你可能会惊讶地发现看到在帮助你理解他人方面也很重要。这篇文章着眼于听觉和视觉是如何结合的，并解释这两种感官是如何帮助我们理解言语的。我们证明了看说话人的脸是多么重要，尤其是在嘈杂的地方。这个话题对戴口罩有重要的意义!考虑口罩如何影响人们相互交流的能力是非常重要的。
简介
当你的朋友或老师戴着口罩时，你是否曾经难以理解他们在说什么?为什么会这样?几乎每个人都能从看别人说话时的脸中获益。人们说话时发出的各种声音要求他们以独特的方式移动嘴巴，即使你可能没有意识到，你的大脑也能理解这些特定的嘴巴形状!当我们看到人们说话时，这些形状让我们更容易理解他们。
大脑有专门的区域，处理来自感官的信息，让我们了解世界。其中一些大脑区域会自动结合多种感官的信息。当一种感官(如听觉)的信息不可靠时，我们会自动地更多地依赖另一种感官(如视觉)的信息。这就是为什么你会特别注意到在嘈杂的地方看到人们说话的好处。
在这篇文章中，我们将首先向您介绍感觉和知觉之间的区别，我们将使用一个众所周知的视觉错觉来证明知觉有时是不准确的。这将帮助你理解，你所感知的并不一定与世界上的信息相对应。然后，我们将解释我们的大脑如何结合不同感官的信息，特别是视觉和听觉。
理解世界
你的耳朵接收声波，并把它们当作声音来听。你的眼睛吸收光能，从而使你有视力。我们称之为过程感觉．然后你的大脑对来自感官的信息所做的事情被称为感知．大多数时候，我们认为我们感觉到的和我们感知到的是同一件事。但有时我们的大脑对外界的情况会得出错误的结论!感知可能是一项棘手的工作:它涉及将我们的感官告诉我们的东西与我们对世界的已知知识结合起来，对正在发生的事情做出最好的猜测。我们会误解或曲解感觉，然后感知到一些不真实的东西。
视错觉看起来很迷人，它们给了我们一个很好的例子，说明大脑有时会误解感觉，给我们错误的感知。看一看图1．你认为哪辆车最大?现在拿出尺子量一量。你说对了吗?
- 图1 -视觉错觉。
- 这些车大小相同，但上面的车通常被认为更大。这是因为图片中的线索告诉我们顶部的汽车更远，所以大脑会自动“放大”图像。这个例子告诉我们，我们的感官所观察到的和我们的大脑所感知到的并不总是一样的。
乍一看，你可能认为上面的车比下面的大，但实际上它们是一样大的!我们称之为视觉错觉，因为图片会欺骗你的大脑，让你以为两辆车的大小不同。这是可行的，因为图片中的线索(在这个例子中，道路的形状)使顶部的汽车看起来比底部的汽车更远。通常情况下，远处的东西看起来比近处的东西小(下次你开车旅行时，看看远处的车和近处的车的大小)，所以在道路顶部的车应该因为距离较远，所以显得较小。大脑不知何故知道这一点，所以它会自动“放大”对汽车尺寸的感知。在现实生活中，这种心理调整通常很有效，有助于我们对世界的感知。
结合我们的感官
我们知道，我们的大脑经常同时使用视觉和听觉来理解世界。这可以让我们的大脑更容易正确地判断正在发生的事情，而不是只使用一种感官。但同样的，视觉错觉也会欺骗大脑通过眼睛，一种视听错觉，如果来自听觉和视觉的信息不匹配，就会混淆知觉。Harry McGurk和John McDonald在1976年所做的实验说明了这一点。1］．这些科学家录下了一个人说“ba”的声音。然后，他们制作了一段同一个人发出“嘎”声的无声视频。他们播放录音(“ba”)和视频(“ga”)，并让志愿者说出他们听到的声音。你可能会惊讶地发现，大多数志愿者都说他们听到了“da”的声音!这是因为他们的大脑把他们看到和听到的东西混在一起，并猜测声音的真实含义。这个实验的神奇之处在于它真的改变了单词的发音，这被称为McGurk效应（图2)．实验表明，看到一张会说话的脸会对人们感知的声音产生强大的影响1．其他声音组合也有这种效果。对语言的感知实际上是大脑根据我们所看到的、听到的以及我们对语言的已知知识做出最佳猜测的结果。
- 图2 - McGurk效应
- 在这种错觉中，在听到一个声音(如“ba”)的同时，还能看到通常伴随另一个声音(如“ga”)的嘴巴动作，通常会导致听者感知到一个新的声音(如“da”)。这告诉我们，大脑会自动整合感官信息，帮助我们理解世界。
视觉如何帮助我们在嘈杂的环境中听到
在现实世界中，嘴唇的动作通常与人们嘴里发出的声音相匹配，所以看到别人说话通常有助于我们理解正确的单词。当对话发生在嘈杂的环境中时，这种视觉信息对理解语音更有帮助。试着和朋友坐在一个安静的房间里。你可能会发现很容易理解你的朋友在说什么。现在把电视打开，把音量调到最大。现在理解你的朋友有多容易?如果背景非常嘈杂，听和理解别人在说什么就会困难得多。如果你看着你朋友的脸和嘴唇，你更有可能正确猜出他在说什么。
测量视觉如何影响语言理解
我们进行了一些实验，研究背景噪音如何影响人们对句子的理解。2］．首先，我们录下了一名志愿者说的几个不同的句子(比如“大码的鞋子很难卖出去。”)。然后我们把这些录音放给其他志愿者听，让他们重复他们听到的内容，然后我们计算他们答对了多少个单词。我们对很多志愿者重复了这个实验，加入不同程度的背景噪音，或者减小语音信号的音量。语音信号和背景噪声之间的关系被称为信噪比．有时我们只播放这个人说话的声音，有时我们也播放这个人的视频，这样志愿者就能看到和听到说话的人。
我们把收集到的信息绘制在一张图表上(图3)．当背景噪音比说话人的声音大得多时，我们的志愿者无法正确识别任何单词。但是当声音大于背景噪音时，我们的志愿者正确地听到了大部分单词。在这两种情况下，志愿者可以正确识别一些单词，但不是所有的单词。我们的研究结果清楚地表明，如果人们能看到说话人的脸，他们就能理解有更多背景噪音的讲话。这种效应解释了当你看到别人说话时，尤其是在嘈杂的地方，你似乎听得更清楚。之前的研究也发现了类似的结果[3.］．
- 图3 -当背景噪音比说话人的声音大得多时(低信噪比)，志愿者无法正确识别任何单词(一)．
- 但当句子的声音大于背景噪音时，志愿者们能正确地听到大部分单词(C)．在这两者之间，志愿者可以正确识别一些单词，但不是全部(B)．当志愿者既能看到又能听到说话的人(红线)时，他们比只听到说话的人(蓝线)说对了更多的单词。所以，当我们都能看到的时候，更容易理解语言而且听说话者。
为什么这很重要?想象一下，你在一家嘈杂的工厂里工作，工厂里的机器又响又危险。现在想象一下你的同事正试图解释如何使用一台机器。背景噪音这么大，你觉得你能听清楚指令吗?如果你的同事在说话时戴着安全口罩呢?在这种环境下，犯错是非常危险的，甚至可能导致受伤。
视觉信息对听力损失人士的好处
你有没有试过理解别人在说什么只是只看他们的脸，却不听他们说话?如果你的听力较差，你可能会发现你在这项任务上做得更好。失聪或听力受损的人通常更擅长唇读比听力正常的人[4］．这种技能可能是随着时间的推移而发展起来的，因为这些人失去了听力，不得不更加关注他们的其他感官。
在冠状病毒爆发期间，戴口罩往往是一种要求。面具让需要读唇语的人很难读唇语。在英国，活动人士帮助说服政府公司提供透明口罩，帮助聋哑人交流。在我们的研究中，我们试图了解唇读是如何帮助交流的，尤其是它是如何帮助听力有问题的人的。
结论
视觉信息对于帮助我们理解所听到的声音非常重要。当我们所听的声音受到背景噪音或听力差的影响时，我们所看到的对于理解言语尤其重要。关于大脑如何将我们看到的和听到的结合起来，我们还有很多不了解的地方。下次你在嘈杂的环境中，想想你在多大程度上依赖于看到正在说话的人的脸，以及可以做些什么来让听力有障碍的人更容易获得视觉语音信息。
术语表
感觉：↑我们的感官在世界上获取信息的过程。
感知：↑我们的大脑理解感官提供的信息的过程。
McGurk效应：↑当听到一种声音(如“ba”)，同时看到伴随另一种声音(如“ga”)的嘴巴动作时，会产生一种视听错觉，导致对新声音(如“da”)的感知。
信噪比：↑对“信号”(在我们的例子中是语音)相对于背景噪声的强度的测量。
唇读：↑仅从口型来理解讲话。
利益冲突
作者声明，这项研究是在没有任何商业或财务关系的情况下进行的，这些关系可能被解释为潜在的利益冲突。
脚注
1.↑看看这段视频，看看效果如何:https://www.youtube.com/watch?v=jtsfidRq2tw&t=20s．
参考文献
[1]↑McGurk, H.和MacDonald, J. 1976。听到嘴唇，看到声音。自然264:746-8。
[２]↑史黛西，P. C.，基特里克，P. T.，莫里斯，S. D.和萨姆纳，C. J. 2016。视觉信息对噪声中语音感知的贡献，有和没有信息的时间精细结构。听到的。Res。336:17-28。doi: 10.1016 / j.heares.2016.04.002
[3]↑萨姆比，W. H.和波拉克，I. 1954。视觉对噪声中语音清晰度的贡献。j . Acoust。Soc。点。26:212-5。
[4]↑Schreitmüller, S.， Frenken, M.， Bentz, L.， Ortmann, M.， Walger, M.， and Meister, H. 2018。验证一种方法，以评估唇扩，视听增益，和整合在语音接收与人工耳蜗植入和正常听力的受试者使用说话头。耳朵听到的。39:503-16。doi: 10.1097 / AUD.0000000000000502