Projet de recherche
CoCAVS : « Concatenative Corpus-based Audio–Visual Synthesis »
Résumé du projet
La proposition vise à étendre le principe de la synthèse concaténative interactive basée sur le corpus au domaine visuel : Au lieu de créer de la musique en naviguant à travers des grains sonores dans un espace de descripteurs audio, nous construisons un corpus d’images fixes, calculons des descripteurs d’images (couleur, texture, luminosité, entropie, etc.), et de naviguer à travers ce corpus interactivement avec le contrôle gestuel via des capteurs de mouvement.
Cela évoquera une esthétique de collage visuel ou de découpage, juxtaposant des images similaires lorsque la navigation est locale, et des images contrastées opposées lorsque la navigation saute à différentes parties de l’espace descripteur de l’image.
La question artistique fascinante à explorer pendant la résidence est alors comment lier les descripteurs d’image aux descripteurs sonores afin de créer des performances et des installations AV multimodales. Ici, les questions de correspondances multi-sensorielles et de synesthésies à explorer dans la cartographie pourraient même conduire à de nouvelles orientations de recherche dans la perception multimodale.
Biographie
Diemo Schwarz est musicien improvisateur et compose pour des installations, la danse et la vidéo. Il est aussi chercheur en interactions musicales temps-réel à l’Ircam et développeur en arts numériques.
Il joue avec l’électronique des matières riches en timbres et textures, explorant différents corpus de sons à l’aide de contrôleurs gestuels, permettant ainsi à l’expressivité et au corps de dialoguer avec l’instrument numérique.
Son utilisation de la synthèse concaténative recompose l’espace des sons et interroge leurs qualités intrinsèques. Enfin il compose pour la danse, la vidéo et des installations.
Ses recherches scientifiques à l’Ircam portent sur l’interaction entre musicien et machine, et l’exploitation de grandes masses de sons pour la synthèse sonore temps-réel et interactive, en collaboration avec des compositeurs, ou pour des installations grand public avec des interfaces tangibles intuitifs.
