< Back to IRCAM Forum

Interaction between computer/recording and improvisator

bonjour,
j’ai un projet artistique d’interaction entre un musicien d’improvisation et un ordinateur. J’aimerais arriver à déterminer si c’est faisable théoriquement et techniquement, et si oui avec quels outils informatiques ou électroniques.
c’est un projet que j’ai pensé dans les années 1980, que je trouve encore intéressant. A l’époque, ce n’était pas possible de l’entreprendre avec des moyens individuels.
ce projet m’est venu à la suite de cours d’acoustique musicale que j’ai suivis à l’époque à la fac de Jussieu par un M. Emile Leipp.
Leipp nous faisait entendre que quand on fait résonner deux sons simples simultanés, deux autres composantes sont créées, dont on peut calculer la fréquence, l’une par addition, l’autre par soustraction. A l’époque je pratiquais beaucoup l’improvisation « free », avant-gardiste, et m’intéressais aussi aux débuts de la musique contemporaine avec ordinateur.

voici le projet que j’avais imaginé :
1-le musicien enregistre une première séquence S1 qui est le thème de l’improvisation. Cela peut aussi être une piste sonore quelconque, enregistrée au préalable. Durée de plusieurs minutes ou dizaines de minutes.
2-cette séquence S1 est enregistrée dans un ordi (cela, je sais faire)
3-le musicien joue ensuite un improvisation, captée par un micro relié à l’ordinateur. Je l’appelle séquence S2.
4-pendant l’improvisation, je voudrais obtenir et diffuser en « temps réel » (avec l’inévitable décalage technique) une séquence S3, telle que :
S3 + S2 = S1
ou S3 = S1 - S2
le but est de faire entendre une sorte de son « fantôme » de S1 qui reconstitue ou hérite virtuellement du son joué en S1 en interaction avec l’improvisation S2.
Le signe « + » signifie ici addition ou sommation et non pas mélange, au sens de la sommation d’ondes, qui produit de nouvelles résultantes.
C’est donc une forme de synthèse que je veux faire, à partir de la séquence S1 enregistrée et la séquence S2 jouée en temps réel, produisant une séquence S3 qui correspond à l’équation que j’ai décrite.
Le sens artistique de ce projet est que l’improvisation S2 soit en interaction avec le thème de départ S2, mais cela peut être avec d’autres sources, comme une ambiance, ou un texte lu en S2.

Mes questions sont les suivantes :
1-ceci semble-t-il réalisable dans l’absolu, c’est à dire théoriquement ?
2-quels seraient les outils techniques à mettre en oeuvre pour y parvenir ?
J’ai lu dans une forum que cela pourrait se faire avec un système de modulation d’amplitude d’une des sources par une autre ?
je ne suis pas sûr d’avoir bien compris. Si c’est le cas, qu’est-ce qui existe comme système qui le permettent. Tous les plugin de modulation d’amplitude que j’ai vu modulent à partir d’un schéma simple et court, et non à partir d’une source changeante.
3-est-ce que Max peut aider dans un tel projet ?

Je précise mon environnement informatique et musical :
Mac M1 et Mac Intel avec big Sur
logiciel cubase pro récent, divers plugin waves.
claviers midi, interface audio, micros, etc.
J’ai une toute petite expérience de MAX en version 4, il y a un certain nombre d’années. Je vais tester la version 8.

Je vous remercie bien de vos retours constructifs.

-avec le recul, je suppose que s’il n’y a aucune réaction, cela doit être parce que le projet n’est pas techniquement réaliste, et peut-être même complètement absurde au point de vue technique.
-sur le plan artistique, ce serait un joli rêve sans lendemain…
-le projet n’était peut-être pas sans rapport avec la discussion lue par ailleurs (ces forums) sur l’empreinte négative d’une séquence sonore.

Bonjour,

Votre projet pour être réaliste doit préciser la notion de “sommation”.

  • Agit-elle au niveau symbolique ? Dans ce cas, il vous faut un suivi de note de S2 et une transcription symbolique de S1. Puis comparer les deux et faire une simple opération symbolique.
  • Agit-elle au niveau signal ? Dans ce cas, vous pouvez bien utiliser un système de modulation d’amplitude et moduler S1 par “l’inverse de S2”. C’est à dire que S2 va venir atténuer voir rendre muet S1 le temps que S2 “parle”. Vous pouvez utiliser un patch max avec un suivi d’enveloppe sur S2 qui controlera le gain de S1. Autre solution plus simple dans un DAW, vous pouvez utiliser un compresseur en side-chain. Si les paramètres sont bien réglés, alors S2 agira comme une porte pour laisser passer S1 quand elle est muette.

Hope this helps.

Best

bonjour,

je vous remercie beaucoup d’avoir répondu, cela relance et nourrit pour moi la réflexion sur cette idée farfelue, mais qui semble me tenir à coeur…

vous avez raison, il faut que je clarifie le projet. J’espère qu’on sera indulgent pour mon ignorance certaine dans le domaine nous occupe.

Tout d’abord, je m’aperçois en me relisant qu’il y a une erreur évidente dans mon texte. La phrase :

« Le sens artistique de ce projet est que l’improvisation S2 soit en interaction avec le thème de départ S2, mais cela peut être avec d’autres sources, comme une ambiance, ou un texte lu en S2. »

doit être corrigée ainsi :

« Le sens artistique de ce projet est que l’improvisation S2 soit en interaction avec le thème de départ S1, mais cela peut être avec d’autres sources, comme une ambiance, ou un texte lu en S1. »

Je pense que vous l’aviez compris.

Je vais tenter de reformuler l’idée autrement.

Je pars de l’hypothèse de sons instrumentaux monodiques, pour simplifier le projet au départ.

J’imagine un saxophoniste qui joue en solo un thème, par exemple un « standard » de jazz, ou une mélodie connue quelconque. Cette séquence est enregistrée et nommée S1.

Ensuite il improvise à partir de ce thème S1, une séquence que j’appelle S2.

Pendant qu’il improvise, l’ordinateur diffuse une séquence S3 (« séquence fantôme ») qui est calculée en fonction de S1 qui déroule en boucle, et de ce qu’il est entrain de jouer (S2).

Tout le problème est donc la production de cette séquence S3.

Cette idée m’est venue du fait que lorsqu’on fait entendre deux sons de fréquences f1 et f2, on obtient si j’ai bien compris deux autres sons :

f3 = (f1+f2)/2

f4 = (f1 - f2) (appelée aussi « battement)

Mon idée est qu’à chaque instant la séquence sonore S3 soit composée uniquement de ces deux résultantes f3 et f4, débarrassées des sons d’origine f1 et f2.

De plus, je voudrais que S3 ne soit entendue que lorsque l’improvisateur joue (S2), pas pendant ses silences, d’où le besoin d’un « gate » comme vous l’avez compris.

Il s’agit donc bien du niveau signal et non du niveau symbolique, mais votre idée du niveau symbolique me semble aussi à creuser, je n’y avais pas pensé.

J’ai d’abord voulu tester le point de départ, dans cubase, avec deux sinusoïdes synthétiques pures que je mélange. J’obtiens bien la résultante f4 (battement) mélangée à f1 et f2. Je n’entends pas f3, sûrement du fait de son faible niveau.

Ensuite, voyant que la version 12 de cubase propose un nouveau plugin FX Modulator, qui permet des modulations par le side-chain, j’ai voulu tester cette version. J’ai lu en effet que la modulation d’amplitude serait une piste.

L’une des sinusoïdes est affectée par le modulateur, et l’autre intervient comme modulatrice par le side-chain.

Pour le moment, je parviens pas à un résultat avec cet outil de cubase :

-en choisissant « width » comme paramètre de modulation (modulation d’amplitude ?) , et en faisant varier les boutons du plugin, je n’obitiens que la sinusoïde f1, telle quelle.

-en choisissant « frequency » (modulation de fréquence), j’obtiens bien une hauteur différente de f1 et de f2, mais qui varie selon les réglages. Peut-être est-ce une piste ?

Dans votre réponse, il y a une expression qui m’intéresse beaucoup et que je ne comprends pas bien techniquement : « moduler S1 par “l’inverse de S2” ».

que serait cet « inverse de S2 » et comment l’obtenir ?

En résumé, je me demande comment isoler les sons f3 et f4, ensemble ou séparément, à partir de sons musicaux plus complexes que de simples sinusoïdes. Si ce n’est pas possible, peut-être que la solution que vous appelez « symbolique » serait la meilleure ? Il s’agirait de calculer la fréquence fondamentale des notes jouées en S1 et S2, ensuite calculer les résultantes f3 et f4, et ensuite synthétiser les sons musicaux de S3 avec ces fréquences fondamentales ?

Je précise que je ne pratique pas Max et n’en possède pas la licence. Est-ce que Open Music permet aussi le même genre de choses ? J’aurais certainement besoin d’une formation à ces logiciels qui me semblent pour le moment assez impénétrables.

bien cordialement.

bonjour,

je relis ce que j’ai écrit le 21/4/2022.

cela me semble un peu confus, j’ai l’impression que j’ai introduit un glissement dans la problématique de départ.

A) si je reviens au projet de départ, il reste les questions suivantes :

1-théorique : soient deux séquences sonores S1 et S2 - peut-on imaginer une séquence s3 qui serait une combinaison de S1 et S2, telle que S3 mélangée à S2 ferait virtuellement entendre S1 ?

autre formulation : s3 + s2 = s1

ou bien s3 = s1 - s2.

2-quelle signification peut-on donner à ces signes « + » et « - » ?

l’expression « l’inverse de s2 » peut-elle trouver un sens, et lequel ? je suppose qu’une simple opposition de phase ne suffira pas, et ne produira pas de résultat sur des séquences musicales, donc variables.

3-s’il existe une telle opération, quelle serait-elle, et comment l’obtenir pratiquement ?

la modulation par side-chain est-elle une piste ?

B) comment comprendre le glissement que j’ai opéré ensuite vers les fréquences résultantes des interférences de deux sons ? c’est probablement que, ne trouvant pas de réponse aux questions de A), je me suis dit que les produits d’interférences constituent des « traces » de la combinaison de deux séquences, sans en être le mélange. Ces traces pourraient « évoquer » une séquence absente : elles pourraient constituer la séquence s3, qui « rappellerait » s1 en constituant une intéraction entre s1 et s2 ?

toute réflexion serait bienvenue…

cordialement

état d’avancement du projet « piste fantôme »

1-clarification du projet

2-solution de calcul

3-application pratique

4-essais, problèmes

5-pistes envisagées

1-clarification du projet

Ces dernières semaines, j’ai bien clarifié le projet qui était confus dans mon post précédent.

ce que je veux obtenir :

soient :

s1 = un son enregistré

s2 = un son joué en temps réel

s3 = le son qu’on veut calculer pour le diffuser en temps réel en même temps que le son joué s2.

On veut obtenir un son s3 qui, combiné au son s2 (joué en temps réel), fasse idéalement « entendre » le son s1 (enregistré).

c’est à dire tel que s2 + s3 = s1

le signe « + » signifie ici une fonction, qui peut être la fonction Interférence :

I (s2,s3) = s1 signifie « l’interférence de s2 et s3 produit le son s1 ».

2-solution de calcul : loi des interférences

Deux sons a et b simultanés font entendre deux son résultants :

a) un son i1 dont la fréquence est

fi1 (fa, fb) = (fa+fb)/2

b) le son i1 est modulé en amplitude à la fréquence :

fi2 (fa, fb) = (fa-fb)/2

ce qui produit une deuxième vibration résultante.

Mais l’oreille humaine perçoit en fait (psycho acoustique) cette deuxième vibration à la fréquence :

fi3 = fa-fb

Traduction pour le calcul de notre objectif :

chaque son s1, s2, s3 vibre à une fréquence f1, f2, f3

nous cherchons à obtenir les deux fréquences f3a et f3b telles que

I(f2,f3)=f1

pour f3a :

(f2+f3)/2 = f1

f2+f3 = 2f1

f3a = 2f1 - f2

pour f3b, deux possibilités :

soit la formule théorique =

(f2-f3)/2 = f1

I f2 - f3 I = 2f1

I f3 - f2 I = 2f1

si f2<f3 : f3bt = 2f1 + f2

si f2>f3 : f3bt = abs(f2 - 2f1) ou abs(2f1-f2) (comme f3a)

soit la formule psychoacoustique :

I f2 - f3 I = f1

f3bp = f1 + f2

En résumé, si on obtient 2f1+f2 et 2f1-f2, on a bien un des résultats qui donne :

I(f2,f3) = f1

en effet, parmi les 4 fréquences issues de cette fonction, 2 sont égales à f1.

3-application pratique

-l’outil technique pour obtenir l’addition et la soustraction de 2 fréquences est le modulateur en anneau (ring modulator) qui opère une « multiplication » des fréquences (qui donne en fait fc=fa+fb et fa-fb). Il doit ici accepter le side-chain comme source de modulation.

-pour doubler une fréquence ou la diviser par 2, donc en changer l’octave, un outil de pitch ou octaveur.

-ne maîtrisant pas encore Max, j’ai fait des essais avec Bitwig studio en version d’essai, qui permet le ring modulator avec side-chain, pitch, et comprend spectrographe et oscilloscope.

-j’ai donc d’abord doublé la fréquence f1 avec un pitcher, et ensuite j’ai modulé le résultat avec f2 pour obtenir f3.

4-essais, problèmes

Pour contrôler le résultat facilement, j’ai d’abord employé des fréquences sinusoïdales simples, générées par un oscillateur. Une fréquence f1 fixe à 440Hz, et une fréquence f2 qui varie.
Les essais avec ces sinusoïdes sont concluants :

-on obtient bien les fréquences f3 prévues par le calcul.

-j’ai recomposé f1, pour contrôle, avec la même technique :

j’obtiens f1 = f2+f3/2 et f2-f3/2

le résultat donne bien la fréquence 440Hz, mais parmi d’autres fréquences, ce qui est prévu.

Le dispositif est donc assez efficace avec des sinusoïdes simples.

Je remarque qu’il n’y a pas besoin de gate, car le son s3 n’est produit que quand s2 joue, comme prévu.

Sur le plan esthétique, le résultat s3 me semble intéressant et audible.

Ensuite j’ai appliqué le même dispositif à des sons musicaux :

a) des sons de saxophone ténor enregistrés. Le résultat en s3 est une sorte de bruit absolument inaudible, difficile à supporter.

b) avec des voix, c’est un peu moins confus, mais tout de même pas exploitable esthétiquement.

Il semble évident que ces résultats inexploitables viennent de la multiplicité des harmoniques des sons musicaux réels.

5-pistes envisagées

pour résoudre le problème que je viens de décrire, tout en conservant le calcul au niveau du signal et non au niveau symbolique, il faudrait sacrifier les harmoniques des sons de départ dans le processus de modulation, ne garder que les fondamentales. Le projet perd de son idéalité, mais conserve peut-être ainsi son sens de départ :

a) soit convertir les sons s1 et s2 en midi par un suiveur midi, et ensuite les synthétiser en sons simples, sans harmoniques (sinusoïdes ou autres formes). Ces sons simples seront employés pour le processus décrit plus haut. On devrait obtenir un résultat comparable aux premiers essais, donc « audible ».

b) soit filtrer les sons musicaux pour atténuer ou supprimer leurs harmoniques, avant de les injecter dans le processus. Cela suppose des tessitures assez étroites, pour ne pas couper les fondamentales.

voici les deux références qui m’ont aidé à clarifier le projet

et

je propose maintenant d’écouter les résultats de mes essais :

1-essai avec des sons sinus purs : s1=440Hz, s2 successivement 784 - 988 - 262 Hz

2-essais avec deux enregistrements de la même voix

3-essai avec voix comme le 2, mais où j’ai equalisé les sources pour réduire leurs harmoniques

1 Like

essai 1 avec sinus :


1 Like

essai 2 avec voix non filtrées puis filtrées :



1 Like