视听通道双任务对多目标追踪的影响:干扰还是促进?

通过3个实验分别考察了视觉和听觉任务对同时进行的多目标追踪任务干扰程度的差异,以及当视觉与听觉任务的信息加工与多目标追踪的身份特征相一致时,视觉与听觉任务是否会对多目标追踪产生促进作用。在控制眼动的情况下,听觉任务对多目标追踪的干扰程度大于视觉任务;而在不控制眼动的情况下,听觉任务对多目标追踪的干扰程度小于视觉任务。说明多目标追踪过程既要占用编码阶段的视觉注意资源,又要占用中央加工阶段的中央注意资源。当视觉或听觉数字判断任务中的数字与多身份追踪任务中目标的数字身份相一致时,该相容性会对追踪表现产生促进作用并降低两任务间的干扰程度。这是由于追踪过程中目标的数字身份被储存在视觉工作记忆中,节约了用于数字加工的认知资源,从而促进了两项任务的表现。最后,对多目标追踪中的注意分配机制进行了讨论。     

多目标追踪在各类人群评价与训练中的应用

多目标追踪范式主要用来探讨动态情景下对多个目标的视觉注意和记忆加工过程, 早期研究侧重于追踪过程中的影响因素及加工机制。近年来, 越来越多的研究应用多目标追踪范式对各类人群进行评价与训练, 包括儿童、老年人、神经发育障碍患者、驾驶员、运动员、电子游戏玩家以及一些其他职业群体。总体来看, 多目标追踪表现越好, 在复杂快速的动态情境中的专业表现越好; 反之, 多目标追踪表现差, 标志着认知功能可能发育不成熟或出现衰退。并且, 多目标追踪还可作为认知训练的手段, 改善老年人和神经发育障碍患者的认知功能, 提高各职业人群的专业表现。未来, 多目标追踪作为评价和训练的方法还有很大的发展空间, 包括加强特殊职业人群的模拟训练, 扩展目标人群, 结合立体视觉和真实场景, 结合身体活动, 探索多人合作的多目标追踪, 拓展用于进行情绪和社会功能的评价与训练等。     

耳听为“实”，眼见为“虚”：推断任务对共情准确性视听通道效应的影响

研究通过呈现不同感觉通道的材料,测量女性推断同性的想法和感受的准确性,探讨视、听觉通道对共情准确性的影响。结果表明,无论是推断想法还是感受,听觉单通道对共情准确性的贡献都优于视觉单通道。视听双通道和听觉单通道对共情准确性的贡献依赖于推断任务：推断想法时,听觉单通道和视听双通道的准确性相当;推断感受时,听觉单通道比视听双通道更准确。     

目标大小变化对多目标视觉追踪的影响

采用多目标追踪任务（MOT）对追踪过程中被试（16名）的眼动进行记录,探讨目标特征变化对视觉追踪的影响。结果表明：视觉追踪机制能够对物体的特征属性进行编码加工,但加工程度受制于目标物与分心物之间的特征竞争关系;追踪过程中,视觉系统采用知觉组织加工策略,以被追踪目标构成的多边形中心为注意中心;物体大小特征没有引起较多的外源性注意,在物体大小特征的变化条件下,视觉追踪主要是内源性的注意控制加工过程。     

选择性注意和分配性注意对多感觉整合的不同影响*

以简单图形为视觉刺激,以短纯音作为听觉刺激,通过指导被试注意不同通道（注意视觉、注意听觉、注意视听）以形成不同注意状态（选择性注意和分配性注意）,考察了注意对多感觉整合的影响,发现只有在分配性注意时被试对双通道目标的反应最快最准确。通过竞争模型分析发现,这种对双通道目标的加工优势源自于视听双通道刺激的整合。上述结果表明,只有在分配性注意状态下才会产生多感觉整合。     

面孔表情和声音情绪信息整合对返回抑制的影响

返回抑制(inhibition of return, IOR)与情绪刺激都具有引导注意偏向、提高搜索效率的特点, 但二者间是否存在一定的交互作用迄今为止尚不明确。研究采用“线索-目标”范式并在视听双通道呈现情绪刺激来考察情绪刺激的加工与IOR的交互作用。实验1中情绪刺激以单通道视觉面孔或一致的视听双通道呈现, 实验2通过在视听通道呈现不一致的情绪刺激进一步考察视听双通道情绪一致刺激对IOR的影响是否是由听觉通道一致的情绪刺激导致的, 即是否对听觉通道的情绪刺激进行了加工。结果发现, 视听双通道情绪一致刺激能够削弱IOR, 但情绪不一致刺激与IOR之间不存在交互作用, 并且单双通道的IOR不存在显著差异。研究结果表明仅在视听双通道呈现情绪一致刺激时, 才会影响同一阶段的IOR, 这进一步支持了IOR的知觉抑制理论。     

基于视听双通道的音乐情绪加工机制及情绪类型和音乐经验的影响

为了探讨视听双通道下的音乐情绪加工机制及音乐情绪类型和音乐训练背景对加工机制的影响，本研究采用表达开心和悲伤的音乐表演视频为材料，比较音乐组被试和非音乐组被试在单听觉通道、单视觉通道和视听双通道三种情境下的情绪评定速度、正确率和强度。结果发现：1）视听双通道与单视觉通道差异显著，与单听觉通道差异不显著。2）非音乐组被试对悲伤的评定正确率高于音乐组被试，对开心的评定正确率低于音乐组被试。说明音乐情绪加工的视听双通道整合优势仅相对单视觉通道存在；非音乐组被试对视觉通道情绪信息的变化更敏感，音乐组被试更依赖音乐经验；可在音乐表演时加入协调的视觉通道情绪信息帮助没有音乐训练经验的听赏者。     

多目标视觉追踪的注意策略及其眼动模式

该研究采用多目标追踪任务(MOT)对追踪过程中被试的眼动进行记录,探讨追踪过程中的眼动模式及目标数量与刺激物大小变化对眼动模式的影响。结果表明,在追踪过程中,视觉系统采用知觉组织加工策略,以被追踪目标构成的多边形中心为注意中心;追踪成绩受到注意资源限制,随着目标数量的增加,每个目标获得的资源减少;获得较多注意资源的目标更容易被有效追踪,获得资源较少的目标更容易丢失;目标与非目标属性的共同变化不影响追踪眼动模式和追踪成绩。     

多目标视觉追踪中物体属性加工的眼动研究*

采用多目标视觉追踪任务(MOT),探讨物体颜色特征对视觉追踪的影响,同时记录被试的眼动情况,探讨追踪过程中颜色特征对眼动模式的影响。结果发现,视觉追踪机制能够对物体的颜色特征进行加工,但加工程度受制于目标物与分心物之间的特征竞争关系。在物体颜色特征条件下,视觉系统采用知觉组织加工策略,以被追踪目标构成的多边形中心为注意中心。在对物体颜色特征的加工中,内源性注意与外源性注意相互影响。     

视觉搜索中多目标追踪的研究

在视觉信息的选择加工过程中 ,只有很少信息能够通过注意系统得到进一步的认知加工 ,其中视觉搜索起着十分重要的作用。本研究基于动态视觉信息注意追踪的研究 ,采用 3× 2× 2的实验设计 ,从如下三方面对注意追踪的规律进行了探讨 :(1)分心物数量 (1,5和 9)的变化对多目标注意追踪的影响 ;(2 )目标的显著性 (特征变化和特征不变 )对多目标注意追踪的影响 ;(3)目标运动形式 (目标随机运动和目标运动形式不变 )对多目标注意追踪的影响。研究结果表明 :(1)分心物数量的增加对目标的注意识别没有抑制作用 ;(2 )特征变化目标的注意识别速度显著高于特征不变的目标 ;(3)运动形式不变的目标较运动形式变化目标的注意识别速度快。     

多目标视觉追踪的现象、规律和认知加工机制

传统注意研究多基于单个注意焦点和采用静态视觉信息。由Pylyshyn(1988)提出的多目标追踪范式则基于动态场景,是研究同时追踪多个目标的容量有限的注意机制比较常用的范式。在多目标追踪基础上发展起来的多身份追踪范式中的对象带有身份信息,涉及到较复杂的认知机制,如注意、视觉工作记忆等。探讨以上两种视觉追踪的认知加工机制对真实或模拟情境中动态信息的认知加工活动有重要的理论价值和实践指导意义。     

目标数量与运动框架旋转角度对不同场认知风格个体多目标追踪表现的影响

通过改变目标数量、运动框架突变旋转角度探究不同场认知风格被试在多目标追踪任务中的表现。结果发现：(1)在任务难度较低(运动参考框架稳定, 目标数量为3和4)和任务难度中等(运动参考框架突变向右旋转20°, 目标数量为4)条件下, 场独立型被试的多目标追踪表现均显著好于场依存型被试。在任务难度较高(运动框架稳定, 目标数量为5以及运动参考框架突变向右旋转40°, 目标数量为4)条件下, 两组被试差异不显著。表明不同场认知风格被试追踪表现受任务难度影响; (2)随着目标数量由3至5增多, 追踪负荷增大使被试的追踪成绩显著下降; (3)相比运动框架稳定, 运动框架向右突变旋转20°和40°均显著削弱了被试的追踪表现。旋转角度变化破坏了场景连续性, 影响了追踪表现。     

目标与非目标数量变化对多目标追踪的选择性抑制效应

采用多目标追踪和点探测刺激觉察任务相结合的实验范式,考察目标和非目标数量变化对多目标追踪的选择性抑制效应。实验一设置非目标恒定而变化目标数量,结果发现：随着目标数量的增加,目标与非目标间的抑制差异量不随目标数量变化而变化。实验二设置目标恒定而变化非目标数量,结果发现：在非目标数量变化的三种水平下,目标与非目标间的抑制差异量也无显著差异。综合实验结果表明：在多目标追踪的追踪容量或抑制容量范围内,抑制差异量对目标数量或非目标数量变化是不敏感的;注意资源分配方式在一定范围内保持相对稳定。     

数量空间表征的特点:跨视听通道下的SNARC效应

从跨通道的角度入手,采用大小比较任务,对视听单通道及跨通道下数量空间表征的特点及表征过程中的相互影响进行探讨。结果发现,视觉通道和听觉通道均存在SNARC效应;在跨通道任务下,无论启动通道是视觉还是听觉通道,都表现出,当启动通道的数量大小信息与主通道的数量大小一致或无关时,主通道的SNARC效应没有显著变化;但当启动通道的数量大小信息与主通道不一致时,主通道的SNARC效应受到显著影响,表现为降低或消失。这进一步证明了SNARC效应受情境影响的特点,并发现在进行跨通道数量空间表征时,听觉通道的数量信息对视觉通道下的数量空间表征的影响大于视觉通道的数量信息对听觉通道下的数量空间表征的影响。     

自我损耗的视听通道效应

采用双任务实验范式,通过两个实验探讨了自我损耗的通道效应。实验1考察了完成视听工作记忆任务对执行手柄任务（非视听任务）的影响,结果发现,完成视觉损耗任务导致手柄任务的成绩显著地变差,完成听觉损耗任务、视听非损耗任务均对手柄任务的成绩没有影响。实验2考察了完成视听工作记忆任务对执行Stroop任务（视觉任务）的影响,结果发现,完成视觉损耗任务导致Stroop任务的成绩显著地变差,完成听觉损耗任务、视听非损耗任务对Stroop任务的成绩没有影响。研究结果表明同一自我控制任务通过视听通道完成对随后另一自我控制任务的影响不同,证实了自我损耗的视听通道效应。     

多目标追踪的神经机制

多目标追踪任务是研究动态场景中视觉注意加工机制常用的范式。自1998年开始对多目标追踪神经机制的影像学研究以来, 研究者采用ERP和fMRI等技术对多目标注意追踪所涉及的神经电生理活动和脑功能区激活方面开展了大量研究。ERP研究发现, 追踪过程持续的ERP脑电成分如N2pc、CDA的波幅与注意追踪负荷有关, 并且出现在目标与非目标上的探测刺激诱发的脑电成分如N1、P1波幅的差异可反映注意资源的分配, 具体为目标在追踪过程中得到了激活, 而非目标受到了抑制。fMRI研究比较一致地发现了顶叶(包括前顶内沟、后顶内沟、顶上小叶)、背外侧额叶皮层等在注意追踪中的强烈激活。其中顶内沟主要与注意负荷有关, 顶内沟的活动水平直接决定了观察者注意追踪的行为表现。而顶上小叶可能更多的负责注意转移。背外侧额叶皮层可能负责追踪时的感觉运动预测过程。     

情绪和时间辨别任务中视听整合与预先准备效应

本研究分别在时间和情绪认知维度上考察预先准备效应对情绪视听整合的影响。时间辨别任务(实验1)发现视觉引导显著慢于听觉引导,并且整合效应量为负值。情绪辨别任务(实验2)发现整合效应量为正值;在负性情绪整合中,听觉引导显著大于视觉引导;在正性情绪整合中,视觉引导显著大于听觉引导。研究表明,情绪视听整合基于情绪认知加工,而时间辨别会抑制整合;此外,跨通道预先准备效应和情绪预先准备效应都与引导通道有关。     

跨视听通道主动遗忘的期待加工与抑制控制过程：来自ERPs的证据

基于视觉通道的研究表明，人们可以通过主动抑制记忆提取而实现遗忘。但目前对跨通道的主动遗忘尚缺乏探讨。本研究以声音为记忆线索，以文字为目标记忆，采用“想/不想”范式，探究主动遗忘在跨视听通道条件下的可行性。结果发现，“不想”条件下目标记忆的回忆率低于基线条件，主动遗忘发生。此外，我们通过分离任务指令和记忆线索的呈现时间，在中央区域的ERP中发现了记忆抑制的期待效应；并在额叶观察到“不想”条件下晚期正成分的增强，反映了持续的抑制控制过程。本研究不但验证了跨视听通道主动遗忘的可能性，而且第一次从ERPs角度分离了跨通道遗忘相关的期待加工和抑制控制过程。     

孤独症谱系障碍者的视听时间整合

视听时间整合是指个体对一定时间间隔内输入的视听刺激进行表征的过程,是视听整合的重要机制。孤独症谱系障碍者的视听时间整合存在缺陷,主要表现为4个方面:视听时间整合窗口较正常个体更宽、更对称;快速视听时间再校准能力不足;听觉时间线索对其视觉搜索促进作用弱;言语刺激的视听时序知觉敏感性低。目前使用的研究任务多样,如声音诱发闪光错觉和"pip-pop"任务从内隐角度探究视听整合中的时间机制,同时性判断、时序判断和优先注视任务主要用于跨通道时序知觉的研究。相关理论从神经加工异常、先验经验不足和视听通道的相互作用等角度解释了其缺陷。未来需要进一步提高研究生态效度,整合理论解释,精确量化诊断指标,同时开发有实效的干预策略。     

多目标追踪的任务难度对不同类型非目标选择性抑制的影响

采用多目标追踪（MOT）与点探测刺激觉察任务相结合的实验范式,分别通过改变运动与静止非目标数量,考察追踪难度变化对不同类型非目标选择性抑制的影响。实验一通过改变运动非目标数量为4、5、6,发现当运动非目标数量为6时,追踪难度显著增加,静止非目标上的抑制量也显著增加,而运动非目标上的抑制量则不随追踪难度的变化而变化;实验二改变静止非目标数量为4、5、6,同样发现当静止非目标数量为6时,追踪难度显著增加,静止非目标上的抑制量也显著增加,而运动非目标上的抑制量仍不随追踪难度的变化而变化,且当静止非目标数量为6时,静止非目标上的抑制量显著大于运动非目标,出现了反转现象,其原因可能是视野范围内总的对象数量超出了视觉索引容量,被试改变了对静止与运动非目标的抑制策略。综合实验结果表明,静止非目标上的抑制程度随追踪难度的提高而增加;而运动非目标上的抑制程度对追踪难度的变化不敏感,在不同难度水平上保持相对稳定。