视听跨通道信息的整合与冲突控制

多通道信息交互是指来自某个感觉通道的信息与另一感觉通道的信息相互作用、相互影响的一系列加工过程。主要包括两个方面：一是不同感觉通道的输入如何整合;二是跨通道信息的冲突控制。本文综述了视听跨通道信息整合与冲突控制的行为心理机制和神经机制,探讨了注意对视听信息整合与冲突控制的影响。未来需探究视听跨通道信息加工的脑网络机制,考察特殊群体的跨通道整合和冲突控制以帮助揭示其认知和社会功能障碍的机制。     

基于视听双通道的音乐情绪冲突效应及优势通道研究

为探讨基于视听双通道的音乐情绪冲突效应、冲突情境下的优势加工通道和音乐经验对结果的影响,本研究采用音乐表演视频为材料,比较音乐组和非音乐组被试在一致型和不一致型视听双通道下的情绪评定速度、准确性及强度。结果发现:(1)一致型条件下的情绪评定更准确且更强烈;(2)不一致型条件下,被试更多以听觉通道的情绪线索为依据进行情绪类型评定;(3)非音乐组被试比音乐组被试更依赖视觉通道的情绪线索。结果表明:通道间情绪信息的不一致阻碍了音乐情绪加工; 听觉通道是音乐情绪冲突情境下的优势加工通道; 音乐经验降低了情绪冲突效应对音乐组被试的干扰。     

时间判断的视听通道效应的实验研究

该实验用视觉或听觉两种方式一次呈现两个时距,随机地指定其中的一个时距要求被试立即再现或延迟5秒再现。实验结果表明:①对短时距信息(1秒,1.5秒,2秒)的判断,听觉比视觉具有明显的优势,听觉的再现时距较精确,延迟对听觉的时间信息检测的破坏作用较小;而对长时距信息(10秒,11秒,12秒)的判断,却未发现听觉比视觉有优势现象。②通道效应的产生机制源于记忆的特点而不是感觉储存的特点。③对短时距的判断通常表现为正时间顺序误差,而对长时距的判断则表现为负时间顺序误差。     

基于视听双通道的音乐情绪加工机制及情绪类型和音乐经验的影响

为了探讨视听双通道下的音乐情绪加工机制及音乐情绪类型和音乐训练背景对加工机制的影响,本研究采用表达开心和悲伤的音乐表演视频为材料,比较音乐组被试和非音乐组被试在单听觉通道、单视觉通道和视听双通道三种情境下的情绪评定速度、正确率和强度。结果发现：1）视听双通道与单视觉通道差异显著,与单听觉通道差异不显著。2）非音乐组被试对悲伤的评定正确率高于音乐组被试,对开心的评定正确率低于音乐组被试。说明音乐情绪加工的视听双通道整合优势仅相对单视觉通道存在;非音乐组被试对视觉通道情绪信息的变化更敏感,音乐组被试更依赖音乐经验;可在音乐表演时加入协调的视觉通道情绪信息帮助没有音乐训练经验的听赏者。     

预先信息的不确定性与准备时间对任务切换的影响

为揭示任务切换中切换代价的本质, 考察了预先信息与准备时间对任务切换的影响, 结果发现: (1) 预先信息对任务切换有显著的影响效应, 全部信息的反应时和切换代价显著低于无信息和部分信息的反应时和切换代价, 而后二者之间无显著差异; (2) 预先信息的影响效应受到准备时间的调节作用, 在准备时间为100ms时, 预先信息无显著的影响效应, 而在准备时间达到600ms以后, 预先信息的准备效应显著。这说明, 预先信息影响的认知加工是任务设置重构, 并且这种影响效应受到准备时间的调节作用。     

跨通道视听觉情绪信息对婴儿图式效应的影响

以婴儿和成人不同情绪（积极、中性、消极）的面孔和声音作为实验材料,考察情绪和通道（视觉、听觉、视听觉）对婴儿图式效应的影响。结果发现,在视觉和视听觉通道中,三种情绪均能诱发婴儿图式效应,且中性情绪诱发的婴儿图式效应量最大;在听觉通道中,只有消极情绪诱发了婴儿图式效应,积极和中性情绪未诱发婴儿图式效应。在积极和中性情绪下,视觉和视听觉通道均能诱发婴儿图式效应,且诱发的婴儿图式效应量无显著差异,而听觉通道未诱发婴儿图式效应;在消极情绪下,三种通道均能诱发婴儿图式效应,且诱发的婴儿图式效应量无显著差异。结果表明,婴儿图式效应受到情绪和通道两者交互作用的影响,且情绪对婴儿图式效应的影响具有通道特异性。     

时间信息视听通道效应的实验检验

研究从时点类型、自然顺序标码、延迟时间等几个角度,对时间信息时序和时距属性的通道效应进行了实验检验。结果发现,（1）长时距信息估计仍存在通道效应;（2）延迟时间估计增加了视觉时距估计的准确性;（3）时序信息通道效应不明显;（4）顺序标码有利于听觉的时间信息加工。     

多感觉整合范式中潜在的跨通道转换效应

大脑可以对来自不同感觉通道的信息进行处理与整合。与单一感觉通道相比, 个体对同时呈现在不同感觉通道的目标信号的响应会更快。对于这种现象的一种主要理论解释是共同激活模型, 该模型认为来自不同通道的刺激在特定的脑区汇聚整合, 比如顶叶内沟、颞上沟和前额叶皮层区域。整合后的信号强度更大, 可以更快地触发反应, 但是信号的整合发生在认知加工的哪一阶段目前尚未有明确结论。当个体对出现在不同感觉通道之间的任务转换进行加工时, 产生与感觉通道相关的任务转换的损失小于跨感觉通道转换损失与任务转换损失的总和, 这为与感觉通道相关的转换代价来源于任务设置的惯性和干扰提供了证据。而在单通道和多通道之间发生转换时, 跨通道转换代价会减小甚至消失, 这是由于同时发生的多感觉整合抵消了一部分损失, 这种现象支持了共同激活模型理论。然而, 多感觉信号整合对任务转换的神经加工过程产生怎样的影响并不清楚, 在未来的研究中可以把多感觉整合范式同经典的任务转换范式结合改进, 进而确定跨通道转换的加工机制和多感觉信号整合的发生阶段。     

发展性阅读障碍视听时间整合缺陷可能的机制：视听时间再校准能力受损

发展性阅读障碍的本质一直是研究者争论的焦点。大量研究发现,阅读障碍者具有视听时间整合缺陷。然而,这些研究仅考察了阅读障碍者视听时间整合加工的整体表现,也就是平均水平的表现,却对整合加工的变化过程缺乏探讨。视听时间再校准反映了视听时间整合的动态加工过程,对内部时间表征与感觉输入之间差异的再校准困难则会导致多感觉整合受损,而阅读障碍者的再校准相关能力存在缺陷。因此,视听时间再校准能力受损可能是发展性阅读障碍视听时间整合缺陷的根本原因。未来的研究需要进一步考察发展性阅读障碍者视听时间再校准能力的具体表现,以及这些表现背后的认知神经机制。     

情绪信息的多通道整合

自然环境中人类情绪信息的交流是依靠多个感觉通道实现的,多通道整合是情绪加工的基础。近年来的行为学、电生理学与神经成像的研究表明,情绪信息的加工具有跨通道自动整合的特点,它发生在认知加工的早期阶段,与颞上回、颞中回、海马旁回和丘脑等脑区密切相关。不同情绪的整合既有共同的神经基础,又有各自独特的加工区域。情绪信息的整合机制还可能与加工类型及注意资源有关。在未来研究中,实验的标准化、动态化、自然化有助于提高研究的准确性和研究间的可比性,而对特殊群体的研究,以及综合研究情绪加工与注意等其他认知过程则有助于我们进一步探索多通道整合的神经机制。     

早期视听整合加工——来自MMN的证据

视听整合是指当呈现的视觉和听觉信号在时间、空间上大致接近时,视觉和听觉系统倾向于整合的加工过程。失匹配负波(Mismatch Negativity,MMN)作为反映大脑早期加工的成分,表征偏差的信息输入与感觉记忆痕迹之间的神经失匹配。以MMN作为探测指标的视听整合加工研究,主要包括MMN在阅读理解中字母和语音、韵律信息、麦格克效应等方面的视听整合加工,以及分析跨通道视听整合相互竞争、相互补充的关系。未来研究需聚焦于其他通道的跨通道整合加工,同时应拓展MMN的诱发范式。     

“有声有色”的触觉体验：来自多感觉通道整合的线索

虚拟现实技术通过提供视觉、听觉和触觉等信息为用户创造身临其境的感知体验, 其中触觉反馈面临诸多技术瓶颈使得虚拟现实中的自然交互受限。基于多感官错觉的伪触觉技术可以借助其他通道的信息强化和丰富触觉感受, 是目前虚拟现实环境中优化触觉体验的有效途径。本文聚焦于触觉中最重要的维度之一——粗糙度, 试图为解决虚拟现实中触觉反馈的受限问题提供新思路。探讨了粗糙度感知中, 视、听、触多感觉通道整合的关系, 分析了视觉线索(表面纹理密度、表面光影、控制显示比)和听觉线索(音调/频率、响度)如何影响触觉粗糙度感知, 总结了当下调控这些因素来改变粗糙度感知的方法。最后, 探讨了使用伪触觉反馈技术时, 虚拟现实环境中视、听、触觉信息在呈现效果、感知整合等方面与真实世界相比可能存在的差异, 提出可借鉴的改善触觉体验的适用方法和未来待研究的方向。     

寻找丢失的自我——精神分裂症患者的自我面孔识别

为探索精神分裂症患者自我面孔识别的能力以及在视听整合任务中面孔对声音身份识别(同性和异性)的影响,选取34名住院精神分裂症患者和26名健康被试,分别进行单通道动态自我面孔识别任务、单通道自我声音识别任务和视听整合任务的3个实验。结果发现:精神分裂症患者的单通道自我面孔识别能力和自我声音识别能力与健康组无区别,但在视听整合任务中,精神分裂症患者的声音身份识别受到视觉通道面孔识别的影响。结果表明,精神分裂症患者有自我面孔识别的能力,自我面孔会促进自我声音的识别,并抑制对同性他人声音和异性他人声音的识别。     

Affective valence of words impacts recall from auditory working memory

Abstract

There is limited evidence on the influence of affective stimuli on auditory working memory. The reported study investigated whether emotional auditory words interfere with ongoing auditory processing of words in auditory working memory. On each trial, words with negative, neutral, and positive affective valence were simultaneously presented on three different speakers. Participants recalled the word presented from the centre speaker first and then recalled the words presented from the side speakers. More negative and positive words compared to neutral words were recalled from the centre speaker. After recall of negative and positive words from the centre speaker, the subsequent first recall of words from the side speakers was reduced, regardless of anxiety level of the participant. The emotional interference effect suggests that emotional words interfere with ongoing central processing due to the attentional dwell on the information in auditory working memory.     

不同感觉通道的节奏感知及其交互作用

节奏感知是人类独有的认知现象, 听觉在节奏加工中具有优势, 声音节奏可以更好地与肢体运动同步, 但视觉和触觉通道在节奏感知上也有着各自特点并存在广泛的交互作用。视觉通道的节奏感知较弱, 与听觉节奏同时呈现时会受到时间定位上的拉扯, 但通过加入运动信息和增强后天经验可以得到强化; 节奏刺激可以调节注意在时间上的分配使其同步化, 这种调节作用可以单通道或者跨通道地出现; 触动觉与听觉联系紧密, 人们可以通过听触通道的整合对节奏进行高级加工。     

飞机座舱视听告警方式的工效学研究

该研究比较了由话音、灯光和音调信息组成的纯视觉告警、纯听觉告警和不同视听综合告警的效绩 ,以探讨当前在飞机座舱告警系统设计中存在的一些争议较大的问题。实验采用了双重作业法 ,主作业是一维补偿追踪 ,次作业是离散信号反应作业。结果表明 :1以音调信号作为听觉主告警加在话音信号前的方式将使信号反应时增长。但听觉主告警信号对提供告警级别信息可能有一定作用。2警告、注意和提示三级告警采用视觉 (信号灯 )方式优于它们都采用视听双显示方式 ,也优于纯听觉告警方式。3最佳的告警方式是警告信号采用灯光和话音显示 ,其余两类信号采用灯光显示。     

Decomposing the emotional Stroop effect

The emotional Stroop effect refers to the phenomenon that participants are faster in responding to the ink colour of neutral than of negative word stimuli, possibly reflecting fast and automatic allocation of attention towards negative stimuli. However, this interpretation was challenged by McKenna and Sharma (2004) McKenna, F. P. and Sharma, D. 2004. Reversing the emotional Stroop effect reveals that it is not what it seems: The role of fast and slow components. Journal of Experimental Psychology: Learning, Memory, and Cognition, 30: 382–392. [Crossref], [PubMed], [Web of Science ®] , [Google Scholar] who found that the emotional Stroop effect reflected a generic slowdown after negative stimuli. In fact, they even found reversed effects in a design in which neutral stimuli more often followed negative stimuli and vice versa. Yet, besides reversing the emotional Stroop effect this contingency might in fact have counteracted the fast effect, which was usually interpreted as the emotional Stroop effect. To decompose the emotional Stroop effect we used a design in which the foregoing and the current valence were uncorrelated and in which the fast and slow effects could be computed independently from each other. We found evidence for both fast and slow effects and discuss the practical implications for researchers using the emotional Stroop task as a measurement and the theoretical implications for researchers interested in the underlying cognitive mechanisms that contribute to the emotional Stroop effect.     

Emotion regulation and emotional information processing: The moderating effect of emotional awareness

The aim of this study was to examine the moderating role of emotional awareness in the relationship between emotion regulation strategies and emotional information processing. A total of 120 female students regulated emotions while watching an unpleasant film. Before and after emotion induction, participants completed a set of tasks that required matching facial expressions. The results demonstrated that participants who were high in emotional awareness showed a significantly smaller increase in error responses (i.e., incorrect matches) than participants who were low in emotional awareness. However, this effect was observed only in suppression (i.e., inhibition of an emotionally expressive behavior), masking (i.e., emotion experienced with a happy expression) and control (i.e., no regulation) conditions. Among reappraisers, who were instructed to adopt a neutral attitude toward the film, regardless of whether they were high or low in emotional awareness, there was not a significant increase in error responses. This study shows that the potentially damaging impact of negative emotions on the processing of emotional information can be prevented by a high emotional awareness or with the implementation of reappraisal as an emotion regulation strategy.     

基于通道的内源性注意对声音诱发闪光错觉的影响

声音诱发闪光错觉是指当视觉闪光伴随不相等数量的听觉声音在100 ms内相继或同时呈现时, 个体会错觉性地知觉到视觉闪光的个数与听觉声音的数量相等。研究采用经典的声音诱发闪光错觉范式, 将注意以内源性的方式指向视觉通道或者听觉通道, 考察了基于通道的内源性注意对声音诱发闪光错觉的影响。结果发现, 当注意内源性地指向视觉通道时, 相对于基线条件, 裂变错觉的量显著减小; 当注意内源性地指向听觉通道时, 相对于基线条件, 裂变错觉的量存在增大的趋势。说明了基于通道的内源性注意可以影响声音诱发闪光错觉中的裂变错觉, 但不影响融合错觉。