发展性阅读障碍视听时间整合缺陷可能的机制：视听时间再校准能力受损

发展性阅读障碍的本质一直是研究者争论的焦点。大量研究发现,阅读障碍者具有视听时间整合缺陷。然而,这些研究仅考察了阅读障碍者视听时间整合加工的整体表现,也就是平均水平的表现,却对整合加工的变化过程缺乏探讨。视听时间再校准反映了视听时间整合的动态加工过程,对内部时间表征与感觉输入之间差异的再校准困难则会导致多感觉整合受损,而阅读障碍者的再校准相关能力存在缺陷。因此,视听时间再校准能力受损可能是发展性阅读障碍视听时间整合缺陷的根本原因。未来的研究需要进一步考察发展性阅读障碍者视听时间再校准能力的具体表现,以及这些表现背后的认知神经机制。     

“有声有色”的触觉体验：来自多感觉通道整合的线索

虚拟现实技术通过提供视觉、听觉和触觉等信息为用户创造身临其境的感知体验, 其中触觉反馈面临诸多技术瓶颈使得虚拟现实中的自然交互受限。基于多感官错觉的伪触觉技术可以借助其他通道的信息强化和丰富触觉感受, 是目前虚拟现实环境中优化触觉体验的有效途径。本文聚焦于触觉中最重要的维度之一——粗糙度, 试图为解决虚拟现实中触觉反馈的受限问题提供新思路。探讨了粗糙度感知中, 视、听、触多感觉通道整合的关系, 分析了视觉线索(表面纹理密度、表面光影、控制显示比)和听觉线索(音调/频率、响度)如何影响触觉粗糙度感知, 总结了当下调控这些因素来改变粗糙度感知的方法。最后, 探讨了使用伪触觉反馈技术时, 虚拟现实环境中视、听、触觉信息在呈现效果、感知整合等方面与真实世界相比可能存在的差异, 提出可借鉴的改善触觉体验的适用方法和未来待研究的方向。     

外源性注意与多感觉整合的交互关系

外源性注意与多感觉整合的交互关系是一个复杂且具有争议的研究领域, 一直以来备受研究者们关注。为了解释两者间的交互作用机制, 本文基于已有研究成果从两方面综述了外源性注意与多感觉整合的交互关系：(1)外源性注意可以通过自下而上的方式调节多感觉整合, 包括空间不确定性、感知觉敏感度和感觉通道间信号强度差异三种理论假说; (2)多感觉整合可以调节外源性注意。一方面, 来自多感觉通道的刺激能够以自下而上的方式自动整合, 整合后的多感觉通道刺激比单通道刺激具有更大的凸显性从而有效地吸引注意。另一方面, 整合后的多感觉通道刺激能够作为多感觉信号模板存储于大脑之中, 从而在任务中实现自上而下地调节注意捕获。     

多感觉整合中的声音诱发闪光错觉效应

声音诱发闪光错觉效应是典型的视听整合错觉现象, 是指当视觉闪光刺激与间隔100 ms内的听觉声音刺激不等数量呈现时, 被试知觉视觉闪光的数量与听觉声音的数量相等。声音诱发闪光错觉的影响因素既包括自下而上和自上而下的被试内差异因素, 也包括视听刺激依赖程度、视听整合的发展和视听刺激知觉敏感性等被试间差异因素。该效应的产生在时程上主要体现在早期加工阶段, 在脑区上主要涉及多处皮层及皮层下相关脑区。未来研究应进一步考察注意、奖赏和视听整合方式等认知加工对声音诱发闪光错觉的影响, 同时也应该关注声音诱发闪光错觉对记忆和学习的影响以及结合计算模型和神经科学的手段进一步探讨其认知神经机制。     

多感觉整合测量范式中存在的影响因素探讨

已有的多感觉整合研究范式多采用不同单通道刺激和双通道刺激随机呈现的方式进行测量。在这种范式中混有通道转换效应, 该效应可能导致多感觉整合的测量结果不准确。因此, 分析清楚实验范式中通道转换效应的影响因素, 并以此为依据设计合理的整合测量范式, 是进行多感觉整合研究的一个必要前提。本文首先通过实验一验证了在经典的整合测量范式中通道转换效应的影响方式; 进而, 在实验二中通过控制前后刺激的信号强度的一致性, 分析了通道转换效应的特点。综合分析显示, 通道转换效应是由前一刺激差异所造成的对当前刺激通道加工的注意资源分配和警觉水平的变化所导致。该结果表明, 在多感觉行为测量中, 需先根据前一刺激通道分类后再进行分析。     

多感觉整合范式中潜在的跨通道转换效应

大脑可以对来自不同感觉通道的信息进行处理与整合。与单一感觉通道相比, 个体对同时呈现在不同感觉通道的目标信号的响应会更快。对于这种现象的一种主要理论解释是共同激活模型, 该模型认为来自不同通道的刺激在特定的脑区汇聚整合, 比如顶叶内沟、颞上沟和前额叶皮层区域。整合后的信号强度更大, 可以更快地触发反应, 但是信号的整合发生在认知加工的哪一阶段目前尚未有明确结论。当个体对出现在不同感觉通道之间的任务转换进行加工时, 产生与感觉通道相关的任务转换的损失小于跨感觉通道转换损失与任务转换损失的总和, 这为与感觉通道相关的转换代价来源于任务设置的惯性和干扰提供了证据。而在单通道和多通道之间发生转换时, 跨通道转换代价会减小甚至消失, 这是由于同时发生的多感觉整合抵消了一部分损失, 这种现象支持了共同激活模型理论。然而, 多感觉信号整合对任务转换的神经加工过程产生怎样的影响并不清楚, 在未来的研究中可以把多感觉整合范式同经典的任务转换范式结合改进, 进而确定跨通道转换的加工机制和多感觉信号整合的发生阶段。     

选择性注意和分配性注意对多感觉整合的不同影响*

以简单图形为视觉刺激,以短纯音作为听觉刺激,通过指导被试注意不同通道（注意视觉、注意听觉、注意视听）以形成不同注意状态（选择性注意和分配性注意）,考察了注意对多感觉整合的影响,发现只有在分配性注意时被试对双通道目标的反应最快最准确。通过竞争模型分析发现,这种对双通道目标的加工优势源自于视听双通道刺激的整合。上述结果表明,只有在分配性注意状态下才会产生多感觉整合。     

通道估计可靠性先验知识在早期的知觉加工阶段影响多感觉信息整合

统计最优化理论认为, 在多感觉信息整合的过程中, 大脑是以加权平均的方式将多个感觉通道的信息整合为统一的感觉信息, 通道信息的利用权重根据各通道信息的可靠性来确定。近期的几个行为研究结果则显示, 有关通道估计可靠性的先验知识同样能够影响通道信息在整合过程中的利用权重。然而, 这些研究结果不能确定先验知识对多感觉信息整合的影响是发生在认知加工的感知觉阶段还是决策阶段。当前研究致力于对此问题进行探讨。实验通过赋予两种颜色字母不同的视、听一致概率(高概率、低概率), 测量并分析被试在各概率水平下对视听一致刺激的反应时。实验数据显示不同的视听一致概率能够调制对视听一致刺激的反应时。该结果揭示通道估计可靠性先验知识在早期的知觉加工阶段影响多感觉信息整合。     

内外源性空间注意对多感觉整合的影响

本文采用内-外源性空间线索靶子范式, 操控内源性线索有效性(有效线索、无效线索)、外源性线索有效性(有效线索、无效线索)、目标刺激类型(视觉刺激、听觉刺激、视听觉刺激)三个自变量。通过两个不同任务难度的实验(实验1: 简单定位任务; 实验2: 复杂辨别任务)来考察内外源性空间注意对多感觉整合的影响。两个实验结果均发现外源性空间注意显著减弱了多感觉整合效应, 内源性空间注意没有显著增强多感觉整合效应; 实验2中还发现了内源性空间注意会对外源性空间注意减弱多感觉整合效应产生影响。结果表明, 与内源性空间注意不同, 外源性空间注意对多感觉整合的影响不易受任务难度的调控; 当任务较难时内源性空间注意会影响外源性空间注意减弱多感觉整合效应的过程。由此推测, 内外源性空间注意对多感觉整合的调节并非彼此独立、而是相互影响的。     

视听时间再校准：适应空间与适应客体的联合及独立作用

同一事件的视听成分即使同时发生, 由于两种信息的物理传播与神经传导速度的差异, 大脑知觉到它们的时刻仍会存在一定的延迟。时间再校准指大脑可以最小化并适应这段时间延迟的现象。本研究采用“适应—测验”范式, 在适应阶段连续给被试呈现视觉先于听觉或听觉先于视觉128ms的刺激对, 在测验阶段以时序判断任务来测量被试此时主观同时点的变化。通过操纵适应及新异视听刺激对(即适应客体与新异客体)在测验阶段出现的空间位置, 探索空间与客体因素对视听时间再校准的影响。结果发现, 当适应客体出现于适应空间时, 主观同时点显著偏向了时间延迟的方向; 同样显著或边缘显著的主观同时点偏移还发生于适应客体出现于未适应空间时, 以及新异客体出现于适应空间时。研究表明, 视听时间再校准在不同空间中的表现取决于适应空间与适应客体的联合或独立作用。     

Developmental changes in associations between auditory-visual events

The goal of the present study was twofold: to examine the influence of two amodal properties, co-location and temporal synchrony, on infants' associating a sight with a sound, and to determine if the relative influence of these properties on crossmodal learning changes with age. During familiarization 2-, 4-, 6- and 8-month-olds were presented two toys and a sound, with sights and sounds varying with respect to co-location and temporal synchrony. Following each familiarization phase infants were given a paired preference test to assess their learning of sight-sound associations. Measures of preferential looking revealed age-related changes in the influence of co-location and temporal synchrony on infants' learning sight-sound associations. At all ages, infants could use temporal synchrony and co-location as a basis for associating an auditory with a visual event and, in the absence of temporal synchrony, co-location was sufficient to support crossmodal learning. However, when these cues conflicted there were developmental changes in the influence of these cues on infants' learning auditory-visual associations. At 2 and 4 months infants associated the sounds with the toy that moved in synchrony with the sound's rhythm despite extreme violation of co-location of this sight and sound. In contrast, 6- and 8-month-olds did not associate a specific toy with the sound when co-location and synchrony information conflicted. The findings highlight the unique and interactive effects of distinct amodal properties on infants' learning arbitrary crossmodal relations. Possible explanations for the age shift in performance are discussed.     

跨通道的优先登录现象

优先登录现象是指注意所投向的客体或通道能够更快地进入我们的意识之中,是注意的一个重要时间特性。本文首先介绍了三种主要的研究方法（时序判断范式、同步判断范式和线运动错觉范式）,并比较了三者之间的差异。然后,回顾了跨通道优先登录现象的研究历史,根据围绕优先登录现象的历史争论,归纳出各种影响优先登录效应的因素（包括眼动、刺激的相对强度、刺激的相对空间位置和反应偏向）。最后,对未来跨通道优先登录的研究进行了展望。     

McGurk效应的影响因素与神经基础

McGurk效应(麦格克效应)是典型的视听整合现象, 该效应受到刺激的物理特征、注意分配、个体视听信息依赖程度、视听整合能力、语言文化差异的影响。引发McGurk效应的关键视觉信息主要来自说话者的嘴部区域。产生McGurk效应的认知过程包含早期的视听整合(与颞上皮层有关)以及晚期的视听不一致冲突(与额下皮层有关)。未来研究应关注面孔社会信息对McGurk效应的影响, McGurk效应中单通道信息加工与视听整合的关系, 结合计算模型探讨其认知神经机制等。     

对话心智与身体：具身认知的内感受研究转向

具身认知观念试图强调心智是根植于身体的,身体经验会对认知过程产生重要影响。但对于心智与身体的对话是如何进行的？身体通过何种渠道如何影响心智？等问题困扰着具身认知的支持者。传统的具身认知研究遭遇可重复性危机,身体状态改变影响高级认知的结论受到质疑。近年来,越来越多的证据表明内感受与身体表征、具身情绪以及社会认知等存在着密切的联系,因而内感受很有可能在身体加工和高级认知过程中起着重要的调节作用。     

情绪信息的多通道整合

自然环境中人类情绪信息的交流是依靠多个感觉通道实现的,多通道整合是情绪加工的基础。近年来的行为学、电生理学与神经成像的研究表明,情绪信息的加工具有跨通道自动整合的特点,它发生在认知加工的早期阶段,与颞上回、颞中回、海马旁回和丘脑等脑区密切相关。不同情绪的整合既有共同的神经基础,又有各自独特的加工区域。情绪信息的整合机制还可能与加工类型及注意资源有关。在未来研究中,实验的标准化、动态化、自然化有助于提高研究的准确性和研究间的可比性,而对特殊群体的研究,以及综合研究情绪加工与注意等其他认知过程则有助于我们进一步探索多通道整合的神经机制。     

老年人视听觉整合的影响因素及其神经机制

老年人的视听觉整合能力强于还是弱于年轻人, 目前尚存在很大争议。对老年人视听觉整合脑机制的研究, 将为老年人脑保健提供一种科学的跨通道整合方案。基于已有研究成果从两方面进行论述：1)影响老年人视听觉整合的因素, 包括刺激的物理属性、刺激呈现的时空关系以及刺激得到的注意资源。2)老年人视听觉整合效应。研究表明, 一方面, 老年人表现出更高的功能连接性、网络效率和较强的视听觉整合效应, 如：老年人在后顶叶、内侧前额叶和左前额叶等脑区有较强的激活, 额中央区的P2振幅表现出超加性; 老年人比年轻人的视听觉整合发生较早并有较长的延伸。另一方面, 老年人有较长的反应时和较弱的整合促进, 以及对视听觉刺激进行反应时颞上回脑区的振幅弱于年轻人。简单刺激诱发的老年人视听觉整合为进一步揭示整合机制提供了可靠的基础, 但是对于复杂情景下的视听觉信息整合加工机制仍待探究。