語彙的文脈と視聴覚的文脈によって誘発される音声適応の神経相関

Neural Correlates of Phonetic Adaptation as Induced by Lexical and Audiovisual Context.

• Shruti Ullas
• Lars Hausfeld
• Anne Cutler
• Frank Eisner
• Elia Formisano

抄録

音声認識が困難な場合、聞き手は文脈情報を利用して音素カテゴリの境界を再構成することで、音声認識を調整します。この方法では、語彙的知識と読解手がかりの両方が使用されますが、この2つの異なる形態の知覚学習が神経レベルで類似しているかどうかについては、まだ不明な点があります。本研究では、超高磁場7-T fMRIを用いて、語彙手がかりと視聴覚手がかりによる音素境界調整を比較した。撮像時には、被験者は露出刺激とテスト刺激を聞いた。語彙的再調整のための暴露刺激は単語の音声録音であり、視聴覚的再調整のための刺激は疑似単語の発声時の口唇運動の音声・ビデオ録音であった。テスト刺激は文脈なしで提示された曖昧な音素文字列であり、リスナーはどのような音素を聞いたかを報告した。報告は、先行する暴露ブロックの音素の偏りを反映していた（例えば、/p/偏った暴露の後、/p/の報告が多くなった）。対応する脳の反応を分析したところ、両形態の手掛かりの使用は、側頭皮質、頭頂部、島皮質、運動野の活動ネットワークと関連していることが示された。視聴覚再調整もまた、視覚刺激の欠如にもかかわらず、後頭皮質の活動が有意に誘発された。視聴覚再校正の強さは、いくつかのROIにおける活動レベルにも相関があり、より大きな再校正シフトに伴う活動の増加が見られた。語彙的再調整についても同様の活性化パターンが見られたが、ここでは有意なROIは確認されなかった。このように、視聴覚学習と語彙学習では、ほぼ同様の脳反応パターンが誘導される。このことは、以前に獲得した視覚情報（唇の動きに関する情報）が、聴覚の知覚を曖昧にするために回収され、展開されることを示唆している。

When speech perception is difficult, one way listeners adjust is by reconfiguring phoneme category boundaries, drawing on contextual information. Both lexical knowledge and lipreading cues are used in this way, but it remains unknown whether these two differing forms of perceptual learning are similar at a neural level. This study compared phoneme boundary adjustments driven by lexical or audiovisual cues, using ultra-high-field 7-T fMRI. During imaging, participants heard exposure stimuli and test stimuli. Exposure stimuli for lexical retuning were audio recordings of words, and those for audiovisual recalibration were audio-video recordings of lip movements during utterances of pseudowords. Test stimuli were ambiguous phonetic strings presented without context, and listeners reported what phoneme they heard. Reports reflected phoneme biases in preceding exposure blocks (e.g., more reported /p/ after /p/-biased exposure). Analysis of corresponding brain responses indicated that both forms of cue use were associated with a network of activity across the temporal cortex, plus parietal, insula, and motor areas. Audiovisual recalibration also elicited significant occipital cortex activity despite the lack of visual stimuli. Activity levels in several ROIs also covaried with strength of audiovisual recalibration, with greater activity accompanying larger recalibration shifts. Similar activation patterns appeared for lexical retuning, but here, no significant ROIs were identified. Audiovisual and lexical forms of perceptual learning thus induce largely similar brain response patterns. However, audiovisual recalibration involves additional visual cortex contributions, suggesting that previously acquired visual information (on lip movements) is retrieved and deployed to disambiguate auditory perception.