多感觉整合测量范式中存在的影响因素探讨

已有的多感觉整合研究范式多采用不同单通道刺激和双通道刺激随机呈现的方式进行测量。在这种范式中混有通道转换效应, 该效应可能导致多感觉整合的测量结果不准确。因此, 分析清楚实验范式中通道转换效应的影响因素, 并以此为依据设计合理的整合测量范式, 是进行多感觉整合研究的一个必要前提。本文首先通过实验一验证了在经典的整合测量范式中通道转换效应的影响方式; 进而, 在实验二中通过控制前后刺激的信号强度的一致性, 分析了通道转换效应的特点。综合分析显示, 通道转换效应是由前一刺激差异所造成的对当前刺激通道加工的注意资源分配和警觉水平的变化所导致。该结果表明, 在多感觉行为测量中, 需先根据前一刺激通道分类后再进行分析。     

任务转换训练和执行功能可塑性

任务转换训练是提高个体执行功能的方法之一。学者们采用不同的任务范式进行任务转换训练。研究结果发现, 任务转换训练可以降低个体的转换代价、提高其他认知任务的绩效。训练效果可以维持一定的时间。但是, 也有研究未发现明显的迁移效果和维持效果。年龄、其他执行成分的参与度、认知灵活性和策略可能会影响训练效果。任务转换训练可能通过提高个体解决任务设置冲突的能力、提高与任务转换相关的额-顶脑网络的参与程度以及建立自下而上的自动控制来提高个体的转换能力。未来研究应当对现有研究方法和程序进行标准化, 从执行功能整体与分离的结构特征角度看待任务转换训练, 寻找更为灵活的训练手段, 如tDCS技术。     

跨感觉通道任务中刺激驱动注意捕获的不对称性

通过两个实验探讨了来自不同感觉通道或不同空间方位的奇异刺激在视听搜索范式中的注意捕获。实验一使用定位任务探讨刺激驱动注意捕获中跨通道效应且及其不对称性, 结果发现, 当靶子在听觉通道时, 只有来自听觉同侧空间方位的奇异刺激成功的捕获了注意; 而来自视觉同侧空间和异侧空间的奇异刺激并没有捕获注意。实验二使用检测任务进一步探讨刺激驱动的注意捕获中的跨通道效应且具有不对称性, 结果发现, 来自同侧和异侧的听觉奇异刺激均捕获了注意, 但是视觉奇异刺激却不能捕获注意。研究表明, 视听搜索范式中的奇异刺激的注意捕获具有不对称性, 且存在着一种超感觉通道的注意资源。     

视听整合加工及其神经机制

通常人们接收到来自不同感觉通道的信息时, 首先在大脑中各个分离的区域单独进行加工处理, 而后在多感官区进行整合。前人关于言语感知中视听整合加工的神经成像研究认为, 视觉和听觉信息能够相互影响; 两者进行整合的关键区域是人脑左后侧的颞上沟, 其整合效应受时间和空间因素的限制。未来的研究应致力于建立更加合理的实验范式和数据分析方法来探讨整合加工的脑区机制, 把多感官整合研究进一步延伸到更加复杂的领域。     

早期视听整合加工——来自MMN的证据

视听整合是指当呈现的视觉和听觉信号在时间、空间上大致接近时,视觉和听觉系统倾向于整合的加工过程。失匹配负波(Mismatch Negativity,MMN)作为反映大脑早期加工的成分,表征偏差的信息输入与感觉记忆痕迹之间的神经失匹配。以MMN作为探测指标的视听整合加工研究,主要包括MMN在阅读理解中字母和语音、韵律信息、麦格克效应等方面的视听整合加工,以及分析跨通道视听整合相互竞争、相互补充的关系。未来研究需聚焦于其他通道的跨通道整合加工,同时应拓展MMN的诱发范式。     

视听刺激突显性对视觉主导效应的影响

本研究使用空间任务-转换范式,控制视、听刺激的突显性,探讨自下而上注意对视觉主导效应的影响。结果表明视、听刺激突显性显著地影响视觉主导效应,实验一中当听觉刺激为高突显性时,视觉主导效应显著减弱。实验二中当听觉刺激为高突显性并且视觉刺激为低突显性时,视觉主导效应进一步减弱但依然存在。结果支持偏向竞争理论,在跨通道视听交互过程中视觉刺激更具突显性,在多感觉整合过程中更具加工优势。     

外源性注意与多感觉整合的交互关系

外源性注意与多感觉整合的交互关系是一个复杂且具有争议的研究领域, 一直以来备受研究者们关注。为了解释两者间的交互作用机制, 本文基于已有研究成果从两方面综述了外源性注意与多感觉整合的交互关系：(1)外源性注意可以通过自下而上的方式调节多感觉整合, 包括空间不确定性、感知觉敏感度和感觉通道间信号强度差异三种理论假说; (2)多感觉整合可以调节外源性注意。一方面, 来自多感觉通道的刺激能够以自下而上的方式自动整合, 整合后的多感觉通道刺激比单通道刺激具有更大的凸显性从而有效地吸引注意。另一方面, 整合后的多感觉通道刺激能够作为多感觉信号模板存储于大脑之中, 从而在任务中实现自上而下地调节注意捕获。     

不同感觉通道在应激传染中的作用及其神经机制

应激传染是指个体在观察或接触到另一个处于急性应激状态下的个体时,不自觉地受到对方负面情绪的影响,在生理与心理上将自己的状态与对方匹配。应激传染的实验范式分为替代应激与交叉应激两种类型。在替代应激范式中,观察者通过隔板观察,接受来自示范者单一或多个感觉通道传递的应激信息。在交叉应激中,观察者在示范者受到应激之后直接与示范者接触,通过多种感觉通道接受示范者传递的应激信息。不同感觉信息引发应激传染的行为反应具有相似性,都伴随自主活动减少、焦虑行为增加以及皮质醇水平升高,其背后的神经环路与关键脑区并不完全一致。相比单一感觉通道(视觉、听觉与嗅觉),多感觉通道引发的应激传染效应更强。杏仁核是应激传染的热点脑区,在不同的应激传染实验范式中均观察到显著激活。未来的研究需要在重视应激传染实验范式的基础上,根据不同感觉通道影响应激传染的神经机制确定研究需要关注的脑区。     

语言转换的认知及其神经机制

语言转换是双语研究领域的焦点问题之一,抑制控制模型、语言特异性选择模型、任务设置惯性模型和序列难度效应模型从不同的角度解释了语言转换的认知机制。认知神经科学的一些研究发现,语言转换与任务转换具有类似的神经机制,说明语言转换代价与任务转换代价的本质可能是相同的。抑制控制和语言熟练程度如何影响语言的转换,语言转换代价与任务转换代价的本质是否相同,一般领域的抑制机制是否可以迁移到语言转换领域等问题是未来需要进一步研究的问题。     

自主任务转换中的重构和干扰

任务转换是研究执行功能的常用范式。任务转换通常伴随着转换代价：执行转换任务比重复任务的反应时更长、错误率更高。转换代价可能反映了任务设置重构(重构理论), 也可能表明任务之间存在干扰(干扰理论)。与任务线索范式相比, 自主任务转换范式更具生态效度, 而且不仅能获得转换代价这个传统结果, 还引入了任务选择比例、任务转换率等新指标, 其结果倾向于支持重构理论。此外, 新近研究指出自主任务转换可能也包含干扰的作用。未来, 应通过进一步改进实验范式等方法, 实现两大理论的融合。     

视听跨通道信息的整合与冲突控制

多通道信息交互是指来自某个感觉通道的信息与另一感觉通道的信息相互作用、相互影响的一系列加工过程。主要包括两个方面：一是不同感觉通道的输入如何整合；二是跨通道信息的冲突控制。本文综述了视听跨通道信息整合与冲突控制的行为心理机制和神经机制，探讨了注意对视听信息整合与冲突控制的影响。未来需探究视听跨通道信息加工的脑网络机制，考察特殊群体的跨通道整合和冲突控制以帮助揭示其认知和社会功能障碍的机制。     

Is neocortex essentially multisensory?

Although sensory perception and neurobiology are traditionally investigated one modality at a time, real world behaviour and perception are driven by the integration of information from multiple sensory sources. Mounting evidence suggests that the neural underpinnings of multisensory integration extend into early sensory processing. This article examines the notion that neocortical operations are essentially multisensory. We first review what is known about multisensory processing in higher-order association cortices and then discuss recent anatomical and physiological findings in presumptive unimodal sensory areas. The pervasiveness of multisensory influences on all levels of cortical processing compels us to reconsider thinking about neural processing in unisensory terms. Indeed, the multisensory nature of most, possibly all, of the neocortex forces us to abandon the notion that the senses ever operate independently during real-world cognition.     

选择性注意和分配性注意对多感觉整合的不同影响*

以简单图形为视觉刺激,以短纯音作为听觉刺激,通过指导被试注意不同通道（注意视觉、注意听觉、注意视听）以形成不同注意状态（选择性注意和分配性注意）,考察了注意对多感觉整合的影响,发现只有在分配性注意时被试对双通道目标的反应最快最准确。通过竞争模型分析发现,这种对双通道目标的加工优势源自于视听双通道刺激的整合。上述结果表明,只有在分配性注意状态下才会产生多感觉整合。     

Parkinson's disease is associated with goal setting deficits during task switching

Ten Parkinson's Disease (PD) patients and 10 control participants were tested using a task-switching paradigm in which there was a random task sequence, and the task was cued in every trial. Five PD patients showed a unique error profile. Their performance approximated guessing when accuracy was dependent on correct task identification, and was nearly perfect when accuracy did not depend on correct task identification or in conditions without task switching. Nonetheless, PD patients showed normal task-rule implementation, evidenced by their preparation-related reduction in the reaction-time task-switching cost. The results indicate that, without redundant task information, some PD patients have a specific goal setting deficit, reflected in a difficulty determining which task is currently relevant.     

The co-occurrence of multisensory competition and facilitation

Previous studies of multisensory integration have often stressed the beneficial effects that may arise when information concerning an event arrives via different sensory modalities at the same time, as, for example, exemplified by research on the redundant target effect (RTE). By contrast, studies of the Colavita visual dominance effect (e.g., [Colavita, F. B. (1974). Human sensory dominance. Perception & Psychophysics, 16, 409–412]) highlight the inhibitory consequences of the competition between signals presented simultaneously in different sensory modalities instead. Although both the RTE and the Colavita effect are thought to occur at early sensory levels and the stimulus conditions under which they are typically observed are very similar, the interplay between these two opposing behavioural phenomena (facilitation vs. competition) has yet to be addressed empirically. We hypothesized that the dissociation may reflect two of the fundamentally different ways in which humans can perceive concurrent auditory and visual stimuli. In Experiment 1, we demonstrated both multisensory facilitation (RTE) and the Colavita visual dominance effect using exactly the same audiovisual displays, by simply changing the task from a speeded detection task to a speeded modality discrimination task. Meanwhile, in Experiment 2, the participants exhibited multisensory facilitation when responding to visual targets and multisensory inhibition when responding to auditory targets while keeping the task constant. These results therefore indicate that both multisensory facilitation and inhibition can be demonstrated in reaction to the same bimodal event.     

情绪信息的多通道整合

自然环境中人类情绪信息的交流是依靠多个感觉通道实现的,多通道整合是情绪加工的基础。近年来的行为学、电生理学与神经成像的研究表明,情绪信息的加工具有跨通道自动整合的特点,它发生在认知加工的早期阶段,与颞上回、颞中回、海马旁回和丘脑等脑区密切相关。不同情绪的整合既有共同的神经基础,又有各自独特的加工区域。情绪信息的整合机制还可能与加工类型及注意资源有关。在未来研究中,实验的标准化、动态化、自然化有助于提高研究的准确性和研究间的可比性,而对特殊群体的研究,以及综合研究情绪加工与注意等其他认知过程则有助于我们进一步探索多通道整合的神经机制。     

情绪和时间辨别任务中视听整合与预先准备效应

本研究分别在时间和情绪认知维度上考察预先准备效应对情绪视听整合的影响。时间辨别任务(实验1)发现视觉引导显著慢于听觉引导,并且整合效应量为负值。情绪辨别任务(实验2)发现整合效应量为正值;在负性情绪整合中,听觉引导显著大于视觉引导;在正性情绪整合中,视觉引导显著大于听觉引导。研究表明,情绪视听整合基于情绪认知加工,而时间辨别会抑制整合;此外,跨通道预先准备效应和情绪预先准备效应都与引导通道有关。     

任务转换和目标变化下的自我加工优势

通过联结学习任务和线索转换任务探讨自我关联刺激在任务转换和目标变化下的加工优势。结果发现：（1）相比于朋友和生人，自我更容易学习联结；（2）在线索转换任务中，所有关联刺激均未出现任务转换成本；（3）在目标变化条件下，自我关联刺激的目标结转效率最佳。结果表明自我关联刺激能够调节任务转换成本，并且在目标变化条件下能快速聚焦注意，表现出基于感知的特异性加工优势。     

The role of sensory-motor modality compatibility in language processing

Language processing requires the combination of compatible (auditory-vocal and visual-manual) or incompatible (auditory-manual and visual-vocal) sensory-motor modalities, and switching between these sensory-motor modality combinations is very common in every-day life. Sensory-motor modality compatibility is defined as the similarity of stimulus modality and the modality of response-related sensory consequences. We investigated the influence of sensory-motor modality compatibility during performing language-related cognitive operations on different linguistic levels. More specifically, we used a variant of the task-switching paradigm, in which participants had to switch between compatible or between incompatible sensory-motor modality combinations during a verbal semantic categorization (Experiment 1) or during a word-form decision (Experiment 2). The data show higher switch costs (i.e., higher reaction times and error rates in switch trials compared to repetition trials) in incompatible sensory-motor modality combinations than in compatible sensory-motor modality combinations. This was true for every language-related cognitive operation, regardless of the individual linguistic level. Taken together, the present study demonstrates that sensory-motor modality compatibility plays an important role in modality switching during language processing.