Art science technologie

I. Recherches sur les outils conceptuels et matŽriels

Claude Cadoz

I.1. Outils conceptuels

I.1.1. ModŽliser

L'informatique introduit un ordre supplŽmentaire dans le processus d'Žlaboration des reprŽsentations. Moyen de reprŽsentation "au second degrŽ", elle implique une double dŽmarche de crŽation de "modles de modŽlisation". Ce concept peut tre attachŽ ˆ la notion "d'outil de crŽation" dans le contexte des nouvelles technologies pour la crŽation artistique.

Les langages et les modles permettant de crŽer les reprŽsentations informatiques sont objets de recherche en eux-mmes.

I.1.2. L'articulation microstructure / macrostructure

Ce degrŽ de reprŽsentation supplŽmentaire fait dispara”tre la hiŽrarchie entre les formes microstructurelles et les formes macrostructurelles (par exemple il est possible de composer, dans un mme logiciel de synthse sonore, la structure intime du son et l'articulation des sons entre eux ; dans un mme logiciel de synthse d'images animŽes, il est possible de crŽer le mouvement avant la forme). De nouvelles problŽmatiques "interstructurelles" ou "trans-structurelles" doivent tre alors envisagŽes.

I.1.3. CrŽation - diffusion - rŽception

La prise de connaissance des Ïuvres artistiques change elle aussi de statut et d'Žchelle. L'Ïuvre n'est plus nŽcessairement monolithique, dŽfinie de manire fixe en temps et en lieu, monomodale ou monosensorielle. Elle n'est pas obligatoirement "monoculturelle" non plus. Les processus pour sa diffusion et sa prise de connaissance se dŽcatŽgorisent et se diversifient en consŽquence. Il convient de dŽgager les nouvelles dimensions selon lesquelles ils peuvent se structurer.

De la mme manire, le processus de crŽation lui-mme se transforme : tout en continuant d'exiger des compŽtences d'excellence et le statut d'exception sociale du crŽateur, l'Žvolution technologique permet d'installer entre la crŽation et la rŽception un quasi-continuum de processus actifs-rŽceptifs. Elle permet d'exploiter les fonctions de la crŽativitŽ quel que soit leur niveau, y compris pour une comprŽhension plus large des Ïuvres savantes.
Sur ce plan, le dŽveloppement des outils pŽdagogiques a un r™le majeur. De lui dŽpendent ˆ la fois l'ŽlŽvation du niveau gŽnŽral de la crŽativitŽ et celle du niveau gŽnŽral de comprŽhension des Ïuvres.

I.1.4. PŽdagogies

On conna”t mal la faon dont l'interactivitŽ peut aider ˆ la pŽdagogie et dŽvelopper l'imagination. Les recherches ˆ ce sujet doivent permettre de prŽciser l'apport des nouvelles technologies en fonction des contenus ˆ transmettre, d'apprŽcier leurs limites et d'Žviter les Žcueils du tout technologique. Mais il est clair que les recherches AST concernant les outils de crŽation ou de conception permettent, par exemple, un contr™le dŽliŽ sur les matŽriaux qui devrait conduire ˆ des innovations pŽdagogiques profondes, qu'il s'agisse de reprŽsentations visuelles, de couleur ou de timbre. Michel Decoust insiste sur l'importance de renouveler la pŽdagogie musicale ˆ partir des recherches - passŽes ou ˆ venir - concernant l'analyse, la synthse et le traitement du son, ou bien le geste instrumental.

I.2. Outils matŽriels et logiciels

Des recherches et dŽveloppements technologiques sont nŽcessaires en symbiose avec ces directions d'investigation.

I.2.1. Les transducteurs

Le dŽveloppement des moyens d'interaction suppose des recherches sur les interfaces matŽrielles (transducteurs) nŽcessaires ˆ chaque modalitŽ d'interaction : transducteurs visuels, acoustiques, tactiles, gestuels. Au moment o l'espace matŽriel individuel se transforme, il est spŽcialement important de s'attacher ˆ la modalitŽ d'interaction la plus intimement liŽe ˆ l'espace du corps : la modalitŽ gestuelle instrumentale.

I.2.2. Les architectures matŽrielles

La logique de dŽveloppement matŽriel (hardware) suivie par les grands constructeurs et rŽpondant aux lois du marchŽ et de la concurrence ne permet pas toujours de donner les rŽponses appropriŽes, pourtant techniquement possibles, aux fonctionnalitŽs requises pour les usages de la crŽation artistique (en particulier pour ce qui concerne le temps rŽel et l'interactivitŽ multisensorielle de haute qualitŽ). Le domaine AST doit privilŽgier l'Žtude et la rŽalisation techniques de certains dispositifs ou systmes de traitement numŽrique de pointe.

I.2.3. Outils logiciels

Le mme raisonnement vaut Žvidemment pour les outils logiciels. Plus fondamentalement, l'Žtude et le dŽveloppement d'outils logiciels, de formalismes, de langages cohŽrents et gŽnŽriques pour la modŽlisation selon chaque modalitŽ, pour la modŽlisation multisensorielle, pour la reprŽsentation et le traitement symboliques, pour la mise en Ïuvre du processus de crŽation, pour l'analyse, etc., sont des constituants essentiels de l'activitŽ scientifique et technologique AST ˆ dŽvelopper.

I.2.4. AmŽlioration de la portabilitŽ des objets artistiques faisant appel aux nouvelles technologies

Pour que l'obsolescence des outils technologiques ne rende pas les Ïuvres caduques, la recherche de l’invention doit trouver un indispensable prolongement dans la recherche de procŽdŽs intŽgrant la considŽration du long terme et satisfaisant aux critres de la reproductibilitŽ technique.

Nombre d'Ïuvres musicales faisant appel ˆ des dispositifs technologiques pour leur reprŽsentation ne peuvent plus tre jouŽes, et d'autres (comme RŽpons de Pierre Boulez) ont nŽcessitŽ un effort de jouvence considŽrable et cožteux simplement pour survivre, les dispositifs technologiques initiaux n'Žtant plus disponibles en raison de l'Žvolution technologique. Ce problme, qui commence ˆ tre bien pris en compte en musique, se rencontre dans tous les secteurs artistiques. L'obsolescence technologique ne doit pas rendre l'Ïuvre pŽrissable !

II. Connaissance des propriŽtŽs humaines

L'activitŽ de crŽation implique une interaction entre l'homme et ses outils. Mais si les outils matŽriels et conceptuels sont dŽterminants dans cette relation, les facultŽs humaines, anatomiques, sensori-motrices, cognitives, "pŽriphŽriques" ˆ la pensŽe qui se crŽŽ et se concrŽtise dans l'activitŽ artistique, le sont Žgalement. Leur connaissance est une condition indispensable au dŽveloppement des sciences et des technologies pour l'art.

II.1. Psychophysique (acoustique, visuelle)

Chaque modalitŽ sensorielle est un champ d'Žtude en soi. La perception auditive appelle la psychoacoustique dont on conna”t aujourd'hui la nŽcessitŽ et les apports fondamentaux. La perception visuelle exige la mme approche permettant d'expliciter les relations entre les paramtres objectifs des phŽnomnes visibles et les perceptions que le systme visuel produit. Mais ces relations doivent tre ŽtudiŽes avec des objets visuels ou sonores suffisamment complexes pour prŽsenter un intŽrt artistique, et non pas dans un isolement sensoriel "de laboratoire", mais dans le cadre d'un contexte complexe, comme c'est le cas pour une Ïuvre d'art - et aussi d'ailleurs dans les conditions de la vie quotidienne.

II.2. Canal gestuel, multisensorialitŽ, sensori-motricitŽ

Trois champs fondamentaux d'Žtude Žmergent :

- Celui des modalitŽs haptiques et ergotiques, liŽes au canal gestuel (la premire correspond aux perceptions relatives au toucher, la seconde ˆ celles des efforts physiques et musculaires dŽveloppŽs dans l'interaction physique avec les objets instrumentaux).

Il convient de pousser la connaissance des fonctions du toucher et de la motricitŽ, en jeu en particulier dans les interactions instrumentales (o l'homme interagit avec un objet matŽriel dotŽ de propriŽtŽs physiques).

- Celui de l'intersensorialitŽ, qui combine l'ensemble des modalitŽs en un tout qui est plus que leur somme.

L'intersensorialitŽ comporte plusieurs catŽgories de problmes spŽcifiques ˆ chaque couplage : synergies vision-audition, vision-toucher, audition-toucher ainsi qu'ˆ la conjonction des trois sensorialitŽs.

Ce point sera repris plus bas.
- Celui de la "perception active", ou sensori-motricitŽ multisensorielle.

Cette dernire est le "grain fin" de l'interactivitŽ. La technologie offrant des circonstances d'expŽrimentation radicalement nouvelles dans ce champ, il convient en effet d'Žtudier les processus de formation des reprŽsentations mentales en jeu lorsque l'action et la perception sont intimement liŽes.

Au dessus de ces aspects cognitifs relatifs ˆ ce que l'on a appelŽ la reprŽsentation iconique, se pose le problme de l'articulation (de la cohabitation) de ces formes de reprŽsentation avec les reprŽsentations symboliques ou les autres formes de reprŽsentation en gŽnŽral, qui restent non seulement nŽcessaires, mais complŽmentaires.
On sait par exemple que la notation musicale proportionnelle et la notation symbolique habituelle ne cohabitent pas toujours facilement.

On constate une Žvolution (encore difficile ˆ interprŽter) du comportement de lecture et vis-ˆ-vis de l'Žcrit en gŽnŽral chez les gŽnŽrations nŽes avec la tŽlŽvision.

III. Questions spŽcifiques au rŽseau

Le dŽveloppement du rŽseau de communication numŽrique ˆ grande Žchelle produit une dŽlocalisation des objets, non seulement par rapport ˆ l'information qu'ils contiennent, mais Žgalement par rapport ˆ leurs modes d'accs et mme ˆ leur mode de manifestation : une mme entitŽ peut par exemple tre vue, entendue, touchŽe et manipulŽe dans plusieurs lieux en mme temps, vue et entendue en un lieu tandis qu'elle est touchŽe et manipulŽe en un autre, etc.

Techniquement, quelles fonctionnalitŽs et performances les dispositifs technologiques doivent-ils et peuvent-ils supporter, et comment doivent-ils ou peuvent-ils eux mmes tre distribuŽs, rŽpartis ?
Comment, par ailleurs, la perception, l'action, les composants de l'interactivitŽ en gŽnŽral peuvent-ils se dissocier, se dŽlocaliser, se rŽassocier ?
A un niveau plus global, comment le processus de crŽation, d'action et de perception peut-il se dŽvelopper dans cette "distribution"? Ce point touche Žgalement l'aspect complexe de l'articulation entre la crŽativitŽ individuelle et la crŽativitŽ collective.

IV. CrŽation musicale

IV.1. Outils et environnements de crŽation musicale

La crŽation d'objets musicaux avec l'ordinateur fait intervenir trois catŽgories d'activitŽs et de fonctionnalitŽs : la crŽation de modles de production sonore, la production proprement dite de signaux sonores, la construction macrostructurelle du flux sonore.

Ces trois catŽgories d'activitŽs rŽsultent de la polarisation que l'on peut maintenir dans une certaine mesure entre d'un c™tŽ le matŽriau sonore, dont la production doit tre techniquement possible, et de l'autre la construction en structures complexes du flux sonore. Bien qu'elles puissent tre intimement imbriquŽes, chacune d'elle pose ses problmes spŽcifiques.

IV.1.1. Modles de production sonore

La production du matŽriau sonore rŽpond ˆ des contraintes gŽnŽrales indŽpendantes de tout choix de dŽmarche ou d'esthŽtique. Il faut tout d'abord disposer d'un "modle de production" du signal numŽrique.

Une grande part des recherches en informatique musicale pendant ses vingt premires annŽes a ŽtŽ consacrŽe ˆ la crŽation de modles de production : synthse additive, soustractive, par distorsion non-linŽaire, par fonctions d'ondes formantiques, par modulation de frŽquence, par modle physique, etc. Cet axe de recherche n'est pas clos, en particulier pour ce qui concerne les modles physiques qui ont ouvert la voie ˆ de nouveaux timbres difficiles ˆ obtenir avec les procŽdŽs antŽrieurs.
La crŽation d'un modle de production n'est pas un simple problme technique. Elle sous-tend des choix de dŽmarche et d'esthŽtique. En effet les modles de production se caractŽrisent plus ou moins explicitement par la mŽtaphore qu'ils mettent en jeu. Dans l'histoire de l'informatique musicale, on peut ainsi identifier deux mŽtaphores distinctes et complŽmentaires correspondant respectivement ˆ la synthse dite par "modles de signal" et la synthse dite par "modles physiques".
La confrontation de ces dŽmarches, la comprŽhension de leurs spŽcificitŽs respectives et leur coordination dans un mme environnement de crŽation pose encore des questions fondamentales.

IV.1.2. Contr™le de la synthse et du traitement des sons musicaux

Quel que soit le modle de production adoptŽ, il partage les informations ˆ fournir par l'artiste en deux catŽgories : celles qui dŽterminent le modle et celles qui constituent la "commande" ou le "contr™le" du modle. Une polarisation trs forte appara”t ici autour de la relation temporelle entre les actions effectuŽes pour la commande et l'obtention du phŽnomne sonore. Lorsque cette relation est immŽdiate (temps-rŽel), la mŽtaphore instrumentale est prŽdominante. On peut alors aborder cette question du contr™le selon deux angles diffŽrents : d'un premier point de vue, toutes mŽtaphores confondues, en termes de contr™le de la synthse et du traitement des sons musicaux, d'un second point de vue en fonction des catŽgories d'actions physiquement effectuŽes par l'artiste : geste direct sur dispositif instrumental, geste de commande abstrait, etc.

Il convient de dŽvelopper la comprŽhension du contr™le des processus sonores et musicaux. Comme l'ont remarquŽ Patrick Greussay et Daniel Arfib, la recherche a portŽ plut™t sur le dŽveloppement de processus nouveaux que sur la faon dont ils sont commandŽs dans une utilisation musicale expressive. Les outils de rŽalisation sonore informatiques se prtent bien ˆ l'Žtude des pratiques du crŽateur, puisque les protocoles qu'il met en Ïuvre lors d'une session de travail peuvent tre enregistrŽs.
Ce contr™le ne doit pas se satisfaire des performances techniques mais intŽgrer la dimension expressive. Le contr™le dans la synthse et le traitement des sons musicaux doit tre soumis ˆ des contraintes supplŽmentaires de sŽlection et viser l’optimum artistique. Il doit en outre tre conu pour des finalitŽs productives et dŽboucher sur la crŽation. Ce qui est thŽoriquement ou techniquement possible n'est pas nŽcessairement viable musicalement. Le contr™le de la synthse et du traitement des sons musicaux vise trop la performance d’ingŽnierie et a tendance ˆ relŽguer au second plan l’objectif proprement musical, qui est considŽrŽ comme une retombŽe ou une sorte d’application pratique. En se prenant lui-mme pour fin et en se fixant des objectifs exclusivement techniques et scientifiques, le contr™le dans la synthse et le traitement des sons musicaux se coupe de la crŽation musicale, ne se soucie pas de la finalitŽ artistique productive et devient subrepticement un obstacle ˆ la crŽation.

IV.1.3. Le canal gestuel - le geste instrumental, sa capture, son traitement et sa reprŽsentation

Selon ce point de vue, c'est toute une modalitŽ d'interaction qui est prise en considŽration et mise en jeu. Toute action de contr™le par le musicien est envisagŽe en fonction de l'implication gestuelle qu'elle nŽcessite obligatoirement, du simple signe effectuŽ avec un marqueur ou captŽ par un dispositif distant au geste physique engageant la corporalitŽ, comme dans le jeu instrumental. Les informations dŽlivrŽes ont une "morphologie" dŽpendant de cet engagement corporel. Le problme du contr™le du son ou de son traitement appara”t alors comme la conjonction de deux aspects : celui des possibilitŽs offertes par le modle de production et celui des conditions d'exercice du jeu gestuel. Ces dernires constituent un domaine de recherche qui porte sur les dispositifs techniques permettant l'exercice et la capture du jeu instrumental et sur les propriŽtŽs anatomiques et sensori-motrices du systme gestuel humain.

En ce qui concerne les dispositifs techniques, l'ordinateur permet l'ouverture d'une voie sans antŽcŽdents : le contr™le par modle numŽrique du comportement physique du dispositif manipulŽ. Cette branche de recherche, qui a ŽtŽ introduite en particulier par l'ACROE⁰ ˆ Grenoble, concerne la thŽorie et la technologie des systmes dits "ˆ retour d'effort". Elle constitue un domaine en fort dŽveloppement aujourd'hui, en particulier aux Etats-Unis et au Canada, o les premiers travaux significatifs sont postŽrieurs ˆ ceux de l'ACROE. C'est un domaine qui appelle de nombreuses Žtudes et expŽrimentations. Constituant une technologie Žmergente, il se prte aujourd'hui ˆ la valorisation et ˆ l'industrialisation, du fait de ses nombreuses applications artistiques et scientifiques.
Enfin, le phŽnomne gestuel Žtant ainsi captŽ acquiert le statut d'objet et peut alors se prter ˆ l'enregistrement, ˆ la reprŽsentation et au traitement, de la mme faon que les phŽnomnes sonores ou visuels.

IV.1.4. Construction et structuration du flux sonore

La troisime fonctionnalitŽ correspond ˆ la structuration du flux sonore ˆ l'Žchelle macroscopique. La mme problŽmatique se pose ˆ une autre Žchelle : l'ordinateur peut tre considŽrŽ comme un moyen de reprŽsentation dont la premire fonction est de porter des modles de structuration. L'invention de ces modles et leur confrontation avec des systmes de rŽfŽrence de divers ordres constitue un axe de recherche.

IV.2. La recherche musicale, la musicologie et la modŽlisation

Hugues Dufourt

Les directions de recherche indiquŽes dans la suite sont essentielles ˆ la dŽfinition des objectifs de recherche, de l’organisation du travail et des t‰ches de formation ˆ la recherche des futurs laboratoires de recherche musicale. Elles indiquent les Žvolutions nŽcessaires et les secteurs que doit investir la recherche musicale. Elles prŽconisent la refonte des structures actuellement existantes de la recherche musicale qui, de plus en plus prŽoccupŽes de la scientificitŽ et de la technicitŽ des rŽsultats, tend ˆ perdre de vue l’objectif fondamental pour lequel elle a ŽtŽ crŽŽe : la mise au point de langages et de techniques de l’art, la conversion des ressources de la technologie en moyens de recherche pour l’art, le transfert et l’accommodation des connaissances scientifiques aux axes, notions et catŽgories de la recherche artistique. On notera ˆ ce propos un dŽficit de la thŽorie musicale qui ne sait pas traduire les notions, les acquis et les attendus de la science en des termes thŽoriques et des contraintes techniques spŽcifiquement musicales et s’exprime dans le langage de la technologie, de la modŽlisation, des logiciels ou de la psychologie cognitive. Ce dŽficit de la thŽorie musicale et cet usage impropre de catŽgories d’emprunt crŽe un cercle vicieux qui ne permet pas ˆ la recherche musicale de se constituer en tant que telle et de dŽfinir ses axes propres d’investigation. Ce dŽficit est la cause profonde d’une improductivitŽ, en matire artistique, des unitŽs vouŽes ˆ la recherche musicale et oublieuses des finalitŽs productives de leur mission.

IV.2.1. Analyse gŽnŽtique et analyse formalisŽe : l'accs multimŽdia aux archives de la crŽation musicale contemporaine

Objectifs

Au delˆ de l'analyse critique et historique, la musicologie doit tirer toutes les consŽquences thŽoriques et pratiques de l'originalitŽ et de la puissance de connexion des rŽseaux proposŽs dans une mŽdiathque comme celle de l'Ircam. Notamment :

- de l'impact de la mise en rŽseau, de l'introduction de liens hypermŽdia dans l'accs aux documents musicaux ;

- de l'utilisation d'outils de crŽation musicale pour la consultation et l'analyse des matŽriaux musicaux (sonores ou symboliques) ;

- des travaux musicologiques inspirŽs par la gŽnŽtique textuelle.

Exploitation de la mise en rŽseau

Il convient d'organiser l'accs en rŽseau aux archives de la crŽation musicale contemporaine avec des liens hypermedia appropriŽs.