PROJETS

ProGest : Prolongement du geste pour la création musicale

Le gmem-CNCM-marseille, en collaboration avec le Laboratoire d’informatique fondamentale de Marseille et le Laboratoire Jacques-Louis Lions de Paris, poursuit ProGest, un projet de recherche sur le prolongement du geste sur surface tactile pour la création musicale et reçoit le soutien du GdR ISIS - CNRS, dans le cadre de son appel à projet exploratoire.

Nous travaillons depuis plusieurs années sur les interfaces tactiles multipoint (tablettes) pour la création d’interfaces de contrôle et de jeu en direct. Ces interfaces permettent un contrôle expressif de la spatialisation sonore, de la synthèse et du traitement sonore, et se rapprochent ainsi de l’idée d’instrument numérique. Dans ce champ, une des principales spécificités est d’avoir un contrôle direct et temps réel c’est-à-dire qu’un paramètre gestuel capté soit directement mis en lien avec un paramètre du modèle de synthèse ou de traitement. Par exemple, l’abscisse d’un contact sur une surface tactile contrôlant la fréquence d’un filtre résonnant. Un autre cas d’école est, par exemple, le contrôle de système de spatialisation sonore : une surface tactile représente la salle de diffusion vue de dessus où les points de contact vont être autant de sources sonores virtuelles.

Le contrôle direct est bien entendu intéressant mais l’ajout de fonctions permettant de contrôler les mouvements automatiquement devient vite essentiel (faire tourner une source sonore virtuelle à une certaine vitesse autour des auditeurs par exemple).

Des systèmes d’enregistrement de mouvements et relecture en boucle ont déjà été expérimentés et montrent un réel intérêt. Mais nous souhaiterions pousser le modèle plus loin. L'objectif est que la machine puisse produire des mouvements (ou automations) « à la manière de », que la machine puisse prolonger le geste, dans le même style.

Dans un scénario élémentaire, j’initie un geste circulaire avec ses caractéristiques spatiales et temporelles propres sur la surface tactile et lorsque je lève le doigt, la machine poursuit ce mouvement en reprenant ces mêmes caractéristiques.

Elle peut (voire doit) faire des variations par rapport au geste initial, nous ne sommes pas dans l’idée d’enregistrement/relecture mais bien dans l’idée de caractérisation du geste effectué par l’utilisateur et de la poursuite de sa réalisation par la machine.

Il peut y avoir dans le type de geste à reconnaître une idée de cycle, de recherche de périodicité, mais pas seulement. Par exemple, un « tapotement aléatoire » sur la surface devrait pouvoir se caractériser par ces propriétés aléatoires et non dans une idée de cycle.

videos

Exemples de gestes à prolonger :

Continuateur de geste pour la composition musicale from Valentin Emiya on Vimeo.

Premiers résultats oct 2015 :

Progest - First Results from gmem-CNCM-marseille on Vimeo.

Premiers résultats nov 2015 :

Progest - First Results #3+ from GMEM on Vimeo.