Behavioral and functional imaging analyses of face and voice integration in gender perception

Thèse de doctorat en Neurosciences - Université Claude Bernard Lyon 1
Par Clement ABBATECOLA
Sous la direction de Kenneth Knoblauch
et la co-direction de Henry Kennedy
Année de soutenance 2018

Résumé

Français Anglais
Analyses comportementales et fonctionnelles de l'intégration entre visage et voix pour la perception du genre – Cette thèse décrit l'intégration multimodale voix-visage pour la perception du genre à l'aide de méthodes comportementales et d'imagerie cérébrale. Dans une première étude psychophysique, les observateurs ont départagé des paires de stimuli voix-visage selon le genre du visage, de la voix ou du stimulus (sans instruction particulière). Une seconde étude a reproduit ce paradigme en ajoutant du bruit visuel et/ou auditif. Conformément à nos résultats théoriques, tâche et bruit peuvent tous deux être modélisés comme des facteurs de pondération. Les deux effets pourraient refléter des changements similaires de hiérarchie fonctionnelle avec la communication par cohérence comme implémentation potentielle de ce mécanisme en termes de modulation sélective de l'information par synchronisation des rythmes d'oscillation neuronaux. Une asymétrie en faveur de la modalité auditive a été trouvée dans les deux études comportementales ainsi que deux interactions : un effet multiplicatif du genre significatif lorsqu'on juge le visage et le stimulus ; un effet de cohérence significatif lorsqu'on juge le visage ou la voix. Une troisième étude en IRMf s'est intéressée aux modulations de connectivité effective entre l'aire fusiforme du visage et l'aire temporale de la voix durant la présentation de stimuli voix-visage en prêtant attention au genre du visage, de la voix ou du stimulus. Une telle modulation a été trouvée dans les tâches du visage et du stimulus en réponse au genre, et dans les tâches du visage et du stimulus en réponse à l'incohérence, deux modulations indépendantes qui pourraient être supportées par l’architecture anatomique en double contre-courant
This thesis describes face-voice multimodal gender integration using complementary behavioral and brain imaging techniques. In a first psychophysical study, observers judged pairs of face-voice stimuli according to face, voice or stimulus (no specific instruction given) gender. A second study tested the bottom-up effect of adding visual and/or auditory noise in the same paradigm. Top-down task and bottom-up noise could both be modeled as weighting effects, as predicted by our theoretical results. Both effects might reflect similar shifts in functional hierarchy. Communication through coherence offers a potential explanation for the neural basis of such a mechanism in terms of selective modulation of segregated cortical streams by oscillatory rhythm synchronization. An asymmetry in favor of the auditory modality was found in both behavioral experiments as well as two interaction effects, first a multiplicative gender effect in the face and stimulus tasks, second an effect of gender coherence in the face and voice tasks. In a third experiment we used fMRI to investigate effective connectivity modulations between the Fusiform Face Area and Temporal Voice Area during the presentation of face-voice stimuli while attending to either face, voice or any gender information. We found a change in effective connectivity for stimulus and face tasks in response to gender information, and for face and voice tasks in response to gender incoherence. These two independent modulations could be supported by the anatomical dual counterstream architecture