Représentation et interface

Un article de Enigmes.

La représentation sonore comme interface

Du son à la représentation

L’analyse sonore et musicale produit des données d’analyse chiffrées et temporelles. À partir de ces données, il est possible de créer un ensemble de représentations à partir d’un son ou d’une musique. Dans le cas où l’analyse serait faite en temps réel, la représentation peut être générée en temps réel pendant (une première) exécution de la musique. On pourra alors naviguer dans la représentation obtenue et la re-parcourir. C’est le cas dans le projet PHASE avec la métaphore de la tête de lecture qui relit avec un léger décalage temporel la musique préalablement inscrite par la tête d’écriture. Dans la plupart des cas, les représentations peuvent être réalisées hors temps d’exécution musical sous formes d’images fixes afin de devenir navigables. Cette mise en forme visuelle de la représentation musicale obéit à plusieurs déterminants : A - La représentation musicale : qu’est ce qu’on représente et comment ? B - La mise en forme de la représentation pour la navigation.

Ces deux aspects du travail : création de la représentation et construction de la navigabilité obéissent eux à un scénario d’usage et une métaphore d’interaction.

Scénario d’usage et métaphore d’interaction

Le scénario d’usage décrit la fonction et le fonctionnement du dispositif, pourquoi on l’utilise et les actions de l’utilisateur. La métaphore d’interaction s’appuie elle sur le scénario d’usage pour définir plus précisément les actions de l’utilisateur et les modalités d’utilisation. Le terme de métaphore désigne le fait qu’on définit les modalités d’interaction en s’inspirant d’actions connues dans d’autre cadre d’usage. Par exemple, la représentation a pour fonction de souligner pour les comparer des régions harmoniques dans une pièce musicale. La représentation s’inspire d’une carte avec des couleurs associées aux tonalités utilisées. La navigation consiste comparer visuellement et à faire entendre comparativement les différentes régions. On sélectionnera avec deux pointeurs les régions à comparer et le fait d’appuyer sur l’une ou l’autre des régions désignées jouera un son tant qu’on appuie sur la région. Dans cet exemple simple, la métaphore d’interaction s’inspire de la comparaison de deux objets, un dans chaque main pour le visuel et successivement en appuyant sur un bouton de sélection pour le son. Le scénario d’usage définit la fonction et les fonctionnalités du dispositif : ici comparer des régions harmoniques en les présentant graphiquement grâce à la métaphore de la carte colorée.

De la représentation à l’interface de navigation

Une représentation sonore n’est pas une interface de navigation, mais elle peut le devenir. Les questions auxquelles il faut impérativement répondre étant : qu’est ce qu’on représente, comment naviguer dans la représentation et quel est l’effet produit par la navigation. Les représentations des données d’analyse, quel que soient leur richesse et leur inventivité en terme de représentation, ne donnent aucune information de navigation. Il faut traiter la question de l’interface de navigation à part et la coordonner avec la représentation.

Plusieurs approches possibles :

1) L’analyse produit plusieurs représentations d’un même message sonore qui est simplement restitué dans un ordre différent lors de la navigation. Seul changera selon la représentation, le moment de la musique qui sera joué et les modalités d’interaction. 2) Dans une représentation issue de l’analyse, le son (pas seulement la position temporelle) est modifié en fonction de la navigation. Cela implique d’appliquer lors de la navigation un traitement sonore en fonction des données d’analyse représentées. Par exemple, on représente des chemins correspondant à des musiques différentes ou des variantes de la même musique, on passe d’un chemin à l’autre et on aimerait entendre les états intermédiaires. C’est possible pour certaines données mais beaucoup moins évident pour d’autres. Par exemple si l’on isole par analyse les hauteurs des notes de deux mélodies représentées sous forme de deux courbe (hauteur/temps) on pourra par transposition produire les hauteurs intermédiaires, à l’inverse si l’on représente un descripteur statistique et difficilement resynthétisable ou modifiable par traitement comme le centroïde spectral (la fréquence la plus forte dans spectre), on pourra difficilement modifier le son sans utiliser des effets destructeurs arbitraires. Ce problème est au centre des questions posées par l’outil de Diemo Shwarz cataRT 3) La représentation n’est pas le fruit d’une analyse, mais une mise en espace hors temps d’une architecture de génération sonore : réservoirs de motifs musicaux, interface de contrôle en temps réel, zones d’activation et de transformation d’un extrait musical…

Représenter le temps

Il est important de déterminer pour chaque projet la façon dont le temps est représenté ou si il ne l’est pas. Une interface de contrôle temps réel, un dispositif instrumental ne propose pas de représentation temporelle. Une partition au contraire représente le temps. On voit bien ici que la notion de partition-instrument peut apparaître comme une contradiction dans les termes. Toutefois, jouer la même partition consiste en quelque sorte à parcourir l’espace de la partition dans le temps de la musique. Le temps du jeu apparaît donc comme le ciment de la représentation temporelle et de l’interface instrument. Cela reste valable que l’interface soit un instrument séparé ou qu’elle soit la partition elle-même. Dans le cas où la partition est l’instrument, la chose qui change véritablement est que le temps est représenté sur l’interface instrument. Cette représentation du temps peut prendre divers aspects selon le scénario d’usage choisi : la représentation la plus simple serait de disposer le temps de la musique parallèlement à l’axe du temps de la partition elle-même, et à scroller ou à scratcher dans le temps de la musique. D’autres représentations du temps sont possibles et dépendent de la représentation musicale choisie. Le temps peut être représenté de façon non linéaire, fragmenté, interrompu, rétrograde…etc ce qui détermine des modalités de jeu particulières.

Outil de corrélation espace/temps

Pour pouvoir rejouer un son en se plaçant et en se déplaçant dans une image, il est important que le temps soit écrit dans les fichiers image et que n’importe quelle position de l’image restitue un temps correspondant. Dans le cas où le déroulement temporel est linéaire, il suffit de saisir la position sur un axe, ce que la plupart des outils de saisie d’interface gestuelles donnent par défaut. Dans les autres cas, il faut définir une carte des temps en 2 ou davantage de dimensions. Un temps peut être situé et/ou représenté par un point, une ligne, une zone, un volume, un objet, une fonction…etc Jean-Philippe Lambert suggère une option technique intéressante : il s’agirait de fabriquer des images au format .sdif (Sound Definition Interchange Format) ou d’associer un fichier .sdif à une image. L’avantage de ce format est d’associer un temps à n’importe quelle matrice de données. On pourrait ainsi attribuer à n’importe quelle position ou champs de l’espace de la partition un time stamp temporel. L’autre avantage de cette option est qu’il n’oblige pas à fixer la représentation graphique, mais seulement des positions ou des objets qui peuvent être ensuite réinterprétés graphiquement en temps réel. Enfin, ce format étant développé dans le domaine de l’analyse sonore, il existe déjà des outils qui l’utilisent dans ce domaine et il serait possible de réaliser des maquettes qui fonctionnent dans un délai réaisonnable. On aimerai réaliser un exemple à partir d’un extrait musical avec de multiples représentations en fonction des descripteurs sonores affichés et plusieurs modalités de navigation.

Roland Cahen (Juin 2006)