CM 5 : Intégration multimodale

Intégration multimodale =

combinaisons les informations de plusieurs modalités sensorielles

3 grandes principes de l’intégration multimodale :

• La proximité temporelle = intégration max quand stimuli sont simultanés ou dans une courte fenêtre temporelle

• La proximité spatiale = Intégration max quand stimuli sont situés à une même position ou position proche (mais auditifs ont - de précision spatiale que visuel)

• Efficacité inverse = intégration multisensorielle est modulée par l’efficacité des stimuli unimodaux (=plus un stimuli sera ambigu plus l’intégration sera forte)

Phénomène de capture visuelle = Effet McGurk

influence du mouvements des lèvres sur la perception des phonèmes.

2 types d’influence de la vision sur l’audition :

• Effet de ventriloquisme

• Effet de McGruck = le phénomène de capture visuelle

Le phénomène de capture visuelle (l’effet McGurk)

= en cas de dissonance il va se positionner sur un compris (entend ba et vois ga, se positionne sur DA)

(mais si ferme les yeux entend bien le BA)

Effet de ventriloquisme spatiale =

altération de la perception apparente d’un stimuli sonore (localise sons sur la marionnette)

Effet de l’audition sur la vision

• Effet de ventroloquisme temporel

effet du Ventriloquisme temporel :

la perception auditive est plus lente que la perception visuelle pourtant on le perçoit pas

→ Cerveau fait coïncider infos visuelles et auditives

Etude de Shams et al.(2001) = Flash

Montre qu’un flash suivies de plusieurs sons font que l’individu perçoit plusieurs flash.

Audition sur vision = attention non spatiale

son soudain lié à une amélioration du traitement visuelle.

→ Fonction d’alerte

Audition sur vision = attention spatiale

paradigme d’indiçage orthogonale = audition oriente spatialement l’attention visuelle (pas de réciprocité)

Différences modalités visuelles et modalités auditives :

• Modalité visuelle = codage spatial précis MAIS faibles propriétés alertantes

• Modalités auditives = codage fréquentiel et temporelle avec forte propriétés alertantes MAIS précision faible du codage spatiale

2 autres facteurs influençant l’intégration multimodale :

• Congruence sémantique = entre l’identité et les sens (chien et aboiement)

• Congruence synesthésique = entre des caractérisées plus basique = cross modal

Effet d’unicité =

Les stimulis congruent seront + reliés ensemble

Correspondance modale = Effet Baluma

Participants doivent associer le mot Baluma et Takete à des formes.

→ Associent Baluma à forme ronde et Takete à forme angulaire.

Correspondance cross modale =

Associations entre différentes dimensions ou des caractéristiques de différentes modalités.

→ Influence temps de réponse et perception des stimuli

Effet SPARC=

temps de réponses + court quand devait appuyer en haut pour son aigu et en bas pour son grave.

Temps de réponses + court quand devait répondre avec main gauche pour son grave et main droite pour son aigu.

→effet horizontale se retrouve chez tout le monde mais effet verticale + chez les musiciens.

Correspondance cross modal entre la hauteur d’un son et :

• la position spatiale = sons aigu en haut et à droite

• la luminosité = sons aigus sont plus lumineux

• les formes = sons aigus sont associés à des formes angulaires

• la taille = sons aigus associés à des objets petits

La hauteur d’un son influence l’action (Rinaldi)

Le temps mis pour déclencher le mouvement (attraper la forme) est + rapide quand ils entendent un sons aigu et doivent toucher le rectangle fin et inversement pour sons graves.

Mais aussi la pince est + petite pour un son aigu que grave

3 causes des correspondances cross modale =

• Structurale = réseaux cérébraux communs (sillon intra pariétal et cortex pariétal inférieur) qui gère les différents formes de magnitudes (numérique, sons…) → Théorie ATOM

• Statistiques = due aux régularités de l’environnement (ce qu’on voit constamment)

• Sémantique = termes linguistiques communs.

Résumé ;

Vision à un rôle important pour la perception de l’espace (logique)

Audition à un rôle important pour la perception temporelle avec un rôle d’alerte.

Facteurs de l’intégrations multimodale :

• Facteurs spatio temporels

• congruence sémantique

• correspondances cross modales