Description et inscription
Cet atelier s'adresse aux chercheur·e·s en art, aux artistes, aux concepteur·rice·s, aux créateur·rice·s de contenu et autres créatif·ve·s intéressé·e·s par la création d'espaces immersifs à l'aide d'outils développés par la recherche. Nous utiliserons du matériel prêt à l'emploi et des logiciels libres pour explorer les outils SAT/Metalab, en les connectant au flux de travail existant des chercheur·e·s et des artistes. Les participant·e·s découvriront les outils Metalab pour différentes tâches artistiques, notamment la spatialisation du son, le mapping vidéo et la vision par ordinateur. Les sujets abordés comprennent l'évaluation de l'espace disponible, la mise en place d'un système de projection, l'étalonnage des projecteurs vidéo et de l'équipement sonore, la mise en place de caméras pour le suivi et l'estimation de la pose en direct, et l'utilisation d'un pipeline logiciel pour tout mettre en correspondance.
Cinq participant·e·s actif·ve·s recevront une aide pour interagir avec les outils présentés, y compris le mappage de leur logiciel/équipement de choix dans les outils Metalab en utilisant des méthodes prédéfinies : connexion audio directe, JackTrip, OSC et NDI. Les informations nécessaires seront fournies aux participant·s actif·ve·s avant l'atelier. Nous disposons également de 20 places pour les auditeur·rice·s, avec une participation limitée. Un lunch sera fourni à tou·te·s les participant·e·s et auditeur·rice·s inscrit·e·s.
Les inscription sont maintenant complètes. Veuillez contacter emeneses [AROBAS] sat.qc.ca si vous avez des questions.
Informations sur le logiciel/matériel
Nous explorerons des pipelines de production pour illustrer l'utilisation des logiciels choisis en tandem avec des outils existants qui ont été plus largement adoptés ces dernières années. Pour plus de clarté, nous présentons l'ensemble des outils proposés en deux groupes : les logiciels développés par Metalab et les autres logiciels.
Les logiciels Metalab :
- LivePose : Un outil de vision par ordinateur pour le suivi de squelettes en temps réel à partir d'un flux vidéo RVB ou en niveaux de gris (en direct ou non). LivePose applique divers filtres (pour la détection, la sélection, l'amélioration des données, etc.) et envoie les résultats via le réseau (OSC et Websocket sont actuellement supportés).
- Splash : un logiciel de cartographie modulaire qui utilise des modèles 3D avec cartographie UV de la surface de projection pour calibrer plusieurs projecteurs vidéo (paramètres intrinsèques et extrinsèques, mélange et couleur) et les alimenter avec les sources vidéo d'entrée.
- SATIE : Un moteur de spatialisation audio développé pour le rendu en temps réel de scènes audio denses sur de grands systèmes de haut-parleurs multicanaux. SATIE est capable de restituer simultanément plusieurs formats sonores et configurations de haut-parleurs. Il n'y a pas de géométrie à proprement parler dans SATIE. SATIE maintient plutôt un graphe DSP de nœuds sources accumulés à un seul "auditeur", correspondant à la configuration de sortie du moteur de rendu (stéréo et/ou multicanal).
- Shmdata : Une bibliothèque pour partager des flux de trames de données entre processus via la mémoire partagée.
Autres logiciels et protocoles de transmission :
- libmapper/webmapper : Une bibliothèque logicielle pour déclarer des signaux de données sur un réseau partagé et permettre des connexions arbitraires entre eux. libmapper a été initialement développé à IDMIL/CIRMMT et est actuellement maintenu entre McGill, l'Université Dalhousie et des collaborateurs, dont Metalab.
- OSC : Une spécification de transport de données pour la messagerie réseau entre les applications et le matériel.
La plupart des logiciels ci-dessus peuvent fonctionner dans la plupart des systèmes basés sur Linux, y compris le matériel à faible coût et à faible consommation d'énergie comme les ordinateurs monocartes Raspberry Pi et NVIDIA Jetson. Les participants peuvent installer les outils Metalab dans leurs systèmes ou utiliser des systèmes embarqués (fournis par Metalab) contenant ces outils.
Programme
- 08h45 - Accueil
- 09h15 - Présentation des outils Metalab : intégration, interopérabilité, API, documentation, etc. - 09h30 - Introduction de l'atelier et présentation de chaque participant·e
- 10h30 - Pause café
- 11h00 - Période de travail 1 : paramétrage et connexion des outils
- 12h00 - Lunch
- 13h00 - Période de travail 2 : création collective dirigée d'un espace immersif
- 15h00 - Pause café
- 15h30 - Finalisation et déploiement de l'espace immersif
- 16h00 - Mot de la fin
Présentateurs
Edu Meneses est un technologue de la musique, luthier numérique, compositeur et interprète dans la meilleure des interdisciplinarités. Titulaire d'un doctorat en technologie musicale de l'Université McGill (IDMIL et CIRMMT), Edu est actuellement chercheur-développeur à la SAT. Il travaille sur les systèmes embarqués pour les outils artistiques et la spatialisation sonore.
Michał Seta est un compositeur, improvisateur et chercheur en arts numériques. Praticien de la magie transdisciplinaire, transcalaire et intégrative, il incante le logiciel Metalab dans une harmonie collective et improvisée. Il est l'un des principaux contributeurs au logiciel SATIE.
A propos de Metalab
Fondé en 2002, Metalab est le laboratoire de recherche de la Société des arts technologiques [SAT]. Les missions de Metalab sont de stimuler l'émergence d'expériences immersives innovantes et de rendre leur conception accessible aux artistes et créateurs d'art. Metalab accomplit ces missions à travers un écosystème de logiciels libres qui s'attaquent à des problèmes difficilement résolus par les outils existants. Les logiciels et le matériel développés au Metalab sont souvent utilisés avec d'autres technologies pour faciliter le mixage vidéo mapping, l'audio 3D, la téléprésence et l'interaction.