Interfaces musicales compatibles avec l'IRMf

Interfaces pour violoncelle et piano compatibles avec l'IRM (imagerie par résonance magnétique) pouvant être utilisées à l'intérieur des appareils d'IRM

Retour à la page principale de Projets

Résumé

Ce projet collaboratif à long terme, d'une durée de huit ans, mené par les chercheur·euses du CIRMMT et du BRAMS, s'est concentré sur le développement d'interfaces musicales destinées à être utilisées dans des appareils d'IRM (imagerie par résonance magnétique). Parmi les interfaces créées dans le cadre de ce projet, une interface de type piano, disponible en deux versions, et une interface de type violoncelle permettent aux neuroscientifiques qui étudient l'apprentissage moteur des tâches musicales de réaliser des examens fonctionnels du cerveau d'un sujet.

Objectifs

Interface clavier avec la main droite sur les touches, ainsi que des marqueurs de capture de mouvement sur la main et les touches
Deuxième version de l'interface pour piano, avec des marqueurs de capture de mouvement.
Développer des interfaces musicales fonctionnelles sûres et fiables afin d'étudier l'activité cérébrale des musicien·nes pendant qu'ils·elles jouent à l'intérieur d'un scanner IRMf.

Chronologie

  • Clavier de piano compatible IRMf : 2005 - 2007
  • Violoncelle compatible IRMf : 2008 – 2014

Statut : Terminé.

Résultats et impact

Deux versions fonctionnelles du piano et une du violoncelle ont été construites, et plusieurs études IRM à part entière ont été menées à bien.

Les interfaces de type piano compatibles avec l'IRMf ont une gamme limitée (jusqu'à 2 octaves) en raison des contraintes physiques du scanner IRMf. Les données captées par les interfaces, par exemple le début et la fin des notes, ainsi que la vélocité des touches du piano, sont synchronisées avec le scanner, les stimuli auditifs et visuels, et le retour auditif.

Le violoncelle électroacoustique compatible avec l'IRM à détection optique, le premier jamais développé, permet aux neuroscientifiques qui étudient l'apprentissage moteur dans le cadre de tâches musicales d'effectuer des scanners cérébraux fonctionnels tout en capturant des informations détaillées sur les gestes instrumentaux du violoncelliste, tels que le doigté, la vitesse de l'archet et la pression exercée par celui-ci.

Toutes les interfaces ont été testées de manière approfondie sur des scanners IRM 3T, sans qu'aucun artefact d'image n'ait été observé.

Personnes impliquées

  • Partie gauche de l'image : Mélanie Segado jouant une interface du violoncelle, assise bien droite. Partie droite de l'image : sujet à l'intérieur d'un scanner IRM avec une interface de piano.
    À gauche : Mélanie Segado jouant sur l'interface pour violoncelle. À droite : un sujet à l'intérieur de l'appareil d'IRM, équipé de la première version de l'interface pour piano.
    Avrum Hollinger, Université McGill (Technologie Musicale)*
  • Melanie Segado, Université McGill (Neurosciences)*
  • Marcelo M. Wanderley, Université McGill*
  • Virginia Penhune, Université Concordia*
  • Christopher J. Steele, Université Concordia
  • Robert Zatorre, Université McGill & Institut Neurologique de Montréal*

* Membres régulier·ères, collaborateur·rices et étudiant·es du CIRMMT

Organismes subventionnaires / Partenaires financiers

Ressources

Enregistrements vidéo

Dans la presse

Publications sélectionnées

Développements techniques :

  • Avrum Hollinger, Virginia Penhune, Robert Zatorre, Christopher Steele, Marcelo M. Wanderley. "fMRI-Compatible Electronic Controllers." Dans Proceedings of the 2007 International Conference on New Interfaces for Musical Expression (NIME07), pp. 246-249.
  • Hollinger, A. (2008). "Design of fMRI-compatible electronic musical interfaces." M.A. thesis, Music Technology, Université McGill, Montréal
  • A. Hollinger and M. M. Wanderley. “Optoelectronic Acquisition and Control Board for Musical Applications.” Dans Proc. de la Conférence Internationale New Interfaces for Musical Expression (NIME12), 2012.
  • A. Hollinger and M. M. Wanderley. “MRI-Compatible Optically-Sensed Cello.” Dans Proceedings of IEEE SENSORS Conference, 2013.
  • A. Hollinger. Optical Sensing, Embedded Systems, and Musical Interfaces for Functional Neuroimaging. Ph.D. Thesis, Université McGill, 2014.
  • A. Hollinger and M. M. Wanderley. “The Design, Implementation, and Testing of a Sensorized MRI-Compatible Cello.” IEEE Sensors Journal, 15(11):6125-6134, 2015.

Expériences

  • R. Brown, J. Chen, A. Hollinger, V. Penhune, C. Palmer, and R. Zatorre, “Neurological and behavioral basis for auditory-motor transformations in music performance,” in Proceedings of the 11th International Conference on Music Perception and Cognition, Août 2010.
  • M. Segado, A. Hollinger, J. Thibodeau, V. Penhune, and R. Zatorre. “Partially Overlapping Brain Networks for Singing and Cello Playing.“ Front. Neurosci. 12:351 Sec. Auditory Cognitive Neuroscience, 27 Mai 2018.
  • I. Wollman, V. Penhune, M. Segado, T. Carpentier, and R.J. Zatorre. “Neural network retuning and neural predictors of learning success associated with cello training.“ Proc. Natl. Acad. Sci. U.S.A. 115(26):E6056-E6064, 2018.

Mots-clés

Recherche-création, Apprentissage moteur, Détection optique, Neurosciences musicales, Conception d'instruments compatibles avec l'IRM, Gestuelle et interprétation

En savoir plus

Site web de Cello compatible avec l'IRMf

Site web de Clavier de piano musical compatible avec l'IRMf