一、探索听觉对视觉搜索效率的影响


(通讯作者—唐晓雨教授,第一作者—高敏讲师)
辽宁师范大学心理学院唐晓雨教授课题组在《Cognition》(SCI,SSCIQ1)上发表了题为《The power of sound: exploring the auditory influence on visual search efficiency》的研究论文。该论文第一作者为我院2022级博士生袁梦莹和高敏讲师,唐晓雨教授为通讯作者。
该研究旨在考察不同类型的听觉刺激(如声音的出现、消失、频率变化等)能否调节视觉搜索效率,以及这种调节是否依赖于听觉刺激与视觉目标的特征匹配。
结果发现:搜索时间结果显示,听觉目标条件、听觉奇异刺激条件和听觉非奇异刺激条件均产生了显著的pip-and-pop效应。眼动结果显示,听觉目标条件和听觉奇异刺激条件下,注视持续时间增加,注视次数减少。
结果表明,pip-and-pop效应确实是一种跨模态效应。此外,听觉与视觉信息的交互作用是产生该效应的必要条件,而听觉奇异性刺激会吸引注意力,从而调节这种效应。该研究为理解听觉如何主动引导视觉注意、提升搜索效率提供了直接证据,对安检、驾驶、手术监控等现实场景中的多感官提示设计具有重要应用价值。
文献:
Yuan, M. Y., Gao, M., Cui, X. Z., Yue, X., Xia, J., & Tang, X. Y. (2025).The power of sound: Exploring the auditory influence on visual search efficiency.Cognition, 256, 106047.https://doi.org/10.1016/j.cognition.2024.106045
二、听觉到视觉的跨通道扩散机制


(第一作者—唐晓雨教授,通讯作者—孙佳影讲师)
辽宁师范大学心理学院唐晓雨教授课题组在《iScience》(SCI Q2)上发表了题为《Echoes of the mind’s eye: Reciprocal crossmodalinteraction between auditory and visual processing》的研究论文。唐晓雨教授和我院2023级在读硕士研究生张婷共同为共同第一作者,通讯作者为孙佳影讲师。
该研究旨在考察听觉加工过程中,任务无关的视觉刺激如何影响听觉处理,以及听觉空间注意又如何反过来影响视觉加工,同时揭示跨通道互动的时间动态特征。
结果发现:视觉输入通过初始刺激驱动的抑制影响了听觉处理以及减弱的前颞叶连接和听觉对侧枕叶正波。随后,听觉向视觉的跨模态注意扩散表现出注意依赖的易化效应,出现在枕区(300-600毫秒)和中央顶区(500-600毫秒)。
结果表明,这些发现支持了一个竞争-易化框架,其中刺激驱动的抑制先于目标驱动的易化,为跨模态整合的计算模型和神经认知模型提供了关键的时间约束。
文献:
Tang, X., Zhang, T., Sun, J., & Lu, S. (2026). Echoes of the mind's eye: Reciprocal crossmodal interaction between auditory and visual processing.iScience,29(3), 114990. https://doi.org/10.1016/j.isci.2026.114990
三、听觉位置返回抑制向视觉通道的扩散机制


(第一作者—唐晓雨教授,通讯作者—孙佳影讲师)
辽宁师范大学心理学院唐晓雨教授课题组在《Psychophysiology》(SCI,SSCI Q2)上发表了题为《From Sound to Sight: The Cross-Modal Spread of Location-Based Inhibition of Return》的研究论文。论文第一作者为唐晓雨教授和我院2023级在读硕士研究生谷继玲,通讯作者为孙佳影讲师。
该研究旨在考察听觉返回抑制能否跨通道影响视觉处理,以及基于位置或基于频率的听觉抑制是否也具有跨通道效应。
结果发现:通过在视听觉成分中提取的视觉ERP差异波(视听觉减听觉),在前额中央晚期(200-350毫秒)存在着基于位置的听觉返回抑制(IOR),无论提示音与目标音的频率是否相同。然而,在后期成分中并未发现基于频率的听觉返回抑制。
结果表明,基于位置的IOR可以跨模态传播,而基于频率的IOR似乎仍保持模态特异性。这种模式突显了听觉向视觉注意力转移的选择性,这种转移由共享的空间表征介导,并受特征特异性加工通路的限制。本研究为理解听觉和视觉模态在注意力加工中的相互作用提供了新的视角。
文献:
Tang, X., Gu, J., Lu, S., Sun, J., & Du, Y. (2025). From Sound to Sight: The Cross-Modal Spread of Location-Based Inhibition of Return.Psychophysiology, 62, e70123.https://doi.org/10.1111/pspy.70123
四、听觉奇异刺激对视觉搜索效率的调节作用


(通讯作者—唐晓雨教授,第一作者—高敏讲师)
辽宁师范大学心理学院唐晓雨教授课题组在《Quarterly Journal of Experimental Psychology》(SCI,SSCIQ3)上发表了题为《Breaking the silence: Exploring theinfluence of auditory singularity on visual search》的研究论文。该论文第一作者为我院2022级博士生袁梦莹和高敏讲师,唐晓雨教授为通讯作者。
该研究旨在考察与背景不同的听觉奇异刺激能否打破视觉搜索中的“沉默”状态、提高搜索效率,以及这种效应的边界条件。
结果发现:当集合大小为24个项目时,无声、单声和多声条件在反应时、准确率或注视次数上均无显著差异。当集合大小为48个项目时,与无声条件相比,当目标出现时,单声和多声条件均显著缩短了搜索时间,并提高了准确率,同时减少了注视次数。
结果表明,单声条件下的注视持续时间显著长于无声条件。听觉刺激的单一性并非“pip-and-pop”效应发生的必要条件。视听交互更可能是“pip-and-pop”效应发生的前提。该研究为理解声音如何打破视觉环境的单调性、引导注意指向目标提供了直接证据,对现实场景中(如警报设计、监控界面优化)的多感官提示设计具有应用价值。
文献:
Yuan, M. Y., Gao, M., Cui, X. Z., Lu, S., & Tang, X. Y. (2025). Breaking the silence: Exploring the influence of auditory singularity on visual search.Quarterly Journal of Experimental Psychology.78(12):2627-2642.https://10.1177/17470218251322504
五、先前试次的视听一致性如何动态调节当前试次的视听整合强度

(通讯作者—唐晓雨教授)
辽宁师范大学心理学院唐晓雨教授课题组在《Multisensory Research》(SCI,SSCI Q4区)上发表了题为《The Power of Trial History: How Previous Trial Shapes Audiovisual Integration》的研究论文。该论文第一作者我院2022级硕士研究生刘万龙,唐晓雨教授为通讯作者。
该研究旨在探究在分模态注意和模态特异性选择性注意条件下,先前试次的目标模态和空间位置如何影响视听整合。
结果发现:与切换位置相比,重复位置的视听整合得到了增强。与跟随视觉和视听目标相比,跟随听觉目标后的视听整合程度最大。此外,当要求被试仅关注视觉信息时,只有当上一试次呈现的是视听目标时,重复位置试次的视听整合效应才大于切换位置试次。
结果表明,试次历史会对视听整合产生影响。文中讨论了试次历史调节视听整合的机制。未来对视听整合的研究应根据试次历史效应仔细操纵实验条件。
文献:
Tang, X. Y., Liu, W. L., Wu, Y. N., Ren, R. X., Sun, J. Y., Yang, J. J., Wang, A. J., & Zhang, M. (2024). The power of trial history: How previous trial shapes audiovisual integration.Multisensory Research, 37(6-8), 431-456.https://10.1163/22134808-bja10133
六、模态特异性预期对感官主导效应的调节作用


(第一作者—唐晓雨教授,通讯作者—于洪涛讲师)
辽宁师范大学心理学院唐晓雨教授课题组在《Frontiers in Psychology》(SSCI Q3)上发表了题为《Exploring how sensory dominancemodulated by modality-specific expectation:an event-related potential study》的研究论文。该论文第一作者作者为唐晓雨教授与我院22级研究生范丹丹,通讯作者为于洪涛讲师。
该研究旨在考察模态特异性预期如何调节视听竞争中的感官主导地位,以及这种调节发生在信息加工的哪个时间阶段。
结果发现:进一步的ERP结果显示,当模态预期指向视觉感觉刺激(40%视觉:10%听觉)时,中央顶叶区域的P2(200-250 ms)平均波幅在视觉优先听觉反应类型中大于听觉优先视觉反应类型。相比之下,当模态预期指向听觉感觉刺激(10%视觉:40%听觉)时,额叶区域的N2(290-330 ms)平均波幅在视觉优先听觉反应类型中大于听觉优先视觉反应类型。此外,对于听觉优先视觉反应类型,额叶区域的N1(150-170 ms)在视觉预期条件下大于听觉预期条件。
结果表明,增加单模态目标概率可能会导致更强的自上而下的预期指向目标模态刺激,从而在参与者对双模态视听刺激中的视觉刺激做出反应的后期阶段出现感觉优势。
文献:
Tang, X. Y., Fan, D. D., Wang, X. L., Xing, Z. P., Yu, S. L., Wang, A. J., & Yu, H. T. (2025). Exploring how sensory dominance modulated by modality-specific expectation: An event-related potential study.Frontiers in Psychology, 16,1548100.https://doi.org/10.3389/fpsyg.2025.1548100