Art science technologie

Critres structurants pour le dŽveloppement actuel des arts visuels liŽs ˆ la science et ˆ la technologie

Critre 1 - HŽtŽrogŽnŽitŽ

(mots-connexes : variŽtŽ, environnements de grande taille)
L'informatique graphique et le traitement d'images ma”trisent assez bien la modŽlisation, le traitement et l'archivage de scnes et objets relativement homognes (cela ne signifie pas qu'elle les ma”trise totalement). Une des spŽcificitŽs fortes lorsqu'il s'agit d'art visuel est d'emblŽe les hŽtŽrogŽnŽitŽs des scnes et objets. Le pendant de cette hŽtŽrogŽnŽitŽ est la diversitŽ (champ exploratoire vaste par rapport aux champs exploratoires des disciplines scientifiques ou technologiques non artistiques) et la dimensionnalitŽ des scnes et objets traitŽs (scnes de grandes tailles spatiales et/ou temporelles). Ceci n'est pas une spŽcificitŽ du domaine artistique mais elle en est d'emblŽe une nŽcessitŽ premire : on peut pas imposer un art minimaliste ˆ tous les artistes.

Critre 2 - Macromodles

(mots-connexes : multiŽchelle, gŽnŽricitŽ, universalitŽ)
Le processus artistique met d'emblŽe en jeu des processus que nous qualifions de multi-Žchelle : Par exemple, il n'est pas suffisant de fabriquer un avatar virtuel humain. Nous devons concevoir dans le mme temps l'animation qu'il va suivre et la composition dans laquel il s'inclut. Il n'y a d'ailleurs pas d'ordre de parcours standardisable dans le processus artistique. C'est le plus souvent un processus incompltement dŽfini ˆ issues multiples. Ainsi, la musique traite autant du son et de la composition que du rapport du son ˆ la composition. Longtemps encapsulŽ sous le terme de "globalitŽ du processus de crŽation", l'Žvolution des concepts et techniques nous demande d'entrer plus en avant dans ce type de complexitŽ.
Exemple : si le comportement spŽcifique d'un tas de sable rŽel importe peut tre plus au physicien qu'ˆ l'artiste, que ce phŽnomne soit applicable ˆ des macrophŽnomnes dynamiques visibles (ou audibles), est par contre de la plus grande importance pour certains modles artistiques contemporains, car il rŽfre ˆ des thŽories et modles essentiels aujourd'hui tels que les thŽories des effets, le non dŽterminisme, l'ŽvolutivitŽ propre, la notion d' Žmergence...

Critre 3 - InteractivitŽ

(mots-connexes : perception, rŽactivitŽ des systmes et reprŽsentations, intersensorialitŽ)
Compte-tenu de la diversitŽ des objets traitŽs par l'art et compte tenu de la place essentielle de l'homme dans la production, le traitement ou l'interprŽtation des produits et processus artistiques, l'interactivitŽ et la rŽactivitŽ des systmes et objets aux interventions humaines est une nŽcessitŽ qui intervient ˆ tous les niveaux du processus artistique.

Du point de vue des tendances artistiques, l're du "tout conceptuel" est en perte de vitesse et l're du "corporel" appara”t. Cela a une incidence importante sur les procŽdŽs technologiques rŽclamŽs par l'activitŽ artistique : la capture, l'analyse, la transmission des actions et commandes humaines deviennent des thmes structurants des systmes de production et de communication.

Quelques thmes de recherche dans le domaine des arts visuels liŽs ˆ la science et ˆ la technologie

1. Analyse et traitement d'images

• Imagerie pour objets musŽographiques existants

- Transmission

- Stockage, archivage

- Consultation, indexation

- TŽlŽconsultation : Žchanges entre musŽes, consultation privŽe

- Compression de qualitŽ

- SŽcuritŽ

-> Cf grands projets europŽens sur les archivages, base de donnŽes, Žchange entre musŽes, consultation privŽe...

-> Vers le musŽe virtuel

• Traitement d'images pour objets musŽolographiques existants

Connaissances des objets d'art : en quoi les nouvelles technologies et la science aident ˆ mieux conna”tre, conserver, diffuser, protŽger, les Ïuvres d'art ou leurs images.

- Authentification, certification

- Connaissance historique

- Contribution ˆ l'histoire de l'art : mŽthodes des peintres, palettes, matŽriaux...

- Outils scientifiques et techniques d'aide virtuelle ˆ la restauration (exemple en peinture : traitement des lacunes, des fractures, allŽgement des vernis, dŽcrassage, vernissage/devernissage, prŽsentation et Žchange par rŽseau de stratŽgies de restauration...)

- Couplage analyse-synthse d'images pour la reprŽsentation d'Ïuvres "insaisissables" comme les peintures monopigmentaires trs sombres (Noirs de Soulages...), reconstrauction 3D de la surface de la couche picturale pour mise en lumire et en observation virtuelles

• Produits dŽrivŽs

Valorisation des analyses - archivages et traitement par l'industries des rŽpliques

- CD-ROM,

- bibeloterie... produits dŽrivŽs

Constat :

C'est lˆ que se trouvent les plus grandes masses financires. On pense qu'il peut y avoir un Žquilibre financier (autofinancement de cette rubrique)

Recommandations : dŽvelopper une industrie de la rŽplique

Rapatriement de l'industrie de la reproduction d'art :

- imprimerie d'art - (monopole italien en Europe)

- moulage...

- Veiller ˆ ne pas brader les bases de donnŽes

• Veilles et recherche spŽcifiques

- Problme du non - moulable,

- Problme du non captable (nacres, matŽriaux fibreux...)

-....

2. Synthse de l'image : modŽlisation - simulation - visualisation

Pousser au dŽveloppement de procŽdŽs, modles et mŽthodes de synthse numŽriques d'effets visuels qui correspondent aux centres d'intŽrts directs de l'activitŽ artistique et qui prennent en compte les expressions immŽdiates des besoins, mme lorsqu'elles nŽcessitent des recherches ˆ long terme.

• ModŽlisation de formes spatiales complexes (volumes et/ou surfaces) :

- Formes naturelles,

- Processus de morphogense,

- Formes modifiŽes naturellement ou par action manuelle

-> Žrosion, corrosion, sculpture, vieillissement...

- Formes organiques

• ModŽlisation de l'Žvolution temporelle de formes complexes

- DŽplacements, dŽformations, transformations, mŽtamorphoses

- Changements d'Žtat :

-> flammes, Žtincelles, sŽdimentation, cristallisation

- ƒvolutions naturelles complexes et Žmergence de formes spatio-temporelles perceptuelles pertinentes

-> turbulences, avalanches, nuages, matire molle, tissus, matŽriaux ˆ mŽmoire de forme, composites...

- ƒvolutions organiques et mŽtaboliques :

-> croissances et locomotion cellulaires...

- ƒvolutions autonomes, comportement vivants individuels et collectifs...
• ComplexitŽ structurelle intrinsque :

- modŽlisation des phŽnomnes naturels, pour la perception et l'action artistique

- modŽlisation des comportements vivants : notion d'avatars virtuels
• HŽtŽrogŽnŽitŽ :

Collaboration et interaction entre :

- diffŽrents types de modles, d'effets, d'objets

-> avatars - phŽnomnes naturels - objets manufacturŽs...

• PhŽnomnes ˆ Žchelles temporelles multiples

- Processus de morphogense

- Changements d'Žtats,

- Bio-effets, Modles de croissance

- PhŽnomnes collectifs, chaotiques...
• PhŽnomnes ˆ Žchelles spatiales multiples

- Formes-substrat / formes-contour :

-> peau, fourrure, hŽrisson...

- ƒtats de surfaces de matŽriaux :

-> matŽriaux fibreux, ˆ Žcailles...

- Processus de morphogense :

-> arborescences, empilements spiralŽs & translatŽs...

- Fractalisation

• ModŽlisation des causes pertinentes d'effets sensibles complexes

- Interactions entre corps

- Notion d'Žmergence des effets visuels, macro-effets

-> phŽnomnes de foule

• ModŽlisation de la couleur et de l'interaction physique lumire-matire

- Modles de matŽriaux (au delˆ du spŽculaire et du diffus) :

-> nacre, pigments, alliages, verres, films, glaures, fibreux, brossŽs...

- Interactions lumire - couches minces

-> films, bas-reliefs, mosa•ques...

- Interactions lumire - milieu participatifs

-> vitraux, buŽes, matŽriaux et milieux fluorescents...

3. Saisie analyse et traitement des informations de formes, de couleurs et de mouvements :

Pousser au dŽcloisonnement des procŽdŽs de capture et au dŽveloppement de capteurs et de procŽdŽs d'analyse adaptŽs ˆ la captation de formes et matires complexes, de grande taille ou multisensorielles.

• Nouveaux types de capteurs de couleur ou de phŽnomnes d'interaction lumire - matire

Ces capteurs doivent tre lŽgers, inoffensifs et rapides afin de pouvoir intervenir dans les lieux o sont les Ïuvres d'art (musŽes, espaces publics, intŽrieurs ou extŽrieurs, espaces historiques protŽgŽs)

- DŽpassement de la conception anthropomorphique o l'on capte ce que l'on voit et qui conduit ˆ une limitation de la reprŽsentation par la rŽduction trichromatique des phŽnomnes optiques (vers une description spectrale et/ou ŽlectromagnŽtique)

- SpectrophotomŽtrie, capteurs multispectraux, hyperspectraux...)

- Cas des matŽriaux incaptables :

-> fumŽes, Žtincelles, nacres, matŽriaux fibreux, Žcailles,

ailes de papillons, camail et plumage, minŽraux...

- AmŽliorer la gamme et l'Žtendue des capteurs

- Nouveaux procŽdŽs optiques exploitant les propriŽtŽs du rayonnement

- Nouvelles mŽthodes de reconstruction de donnŽes et de compression

• Capture du mouvement cinŽmatique et dynamique :

Le geste artistique, le geste instrumental, geste d'excellence contient toutes les questions sur la perception et le contr™le du mouvement.

- Capture des dŽformations (mimiques, clones, personnages...)

- Captures de forces et de dŽformations

- Capture des gestes digitaux, manuels, corporels
• Analyse du mouvement

- Analyse multicapteurs

- Analyse du geste digital, manuel, corporel

- Analyse, codage, reprŽsentation, traitement du geste instrumental

- Introduction de l'instrumentalitŽ dans les arts visuels
• Acquisition de formes complexes volumiques ou surfaciques

Arborescences naturelles...

• Acquisition de formes complexes multiŽchelles (hŽrisson...)
• Collecte et fusion de donnŽes multisensorielles :

- Multicapteurs, multisources, de grande taille, analyse multicritres...

- Capture de la parole, des dŽformations labiales, des expressions faciales

- Capture de gestes manuels d'accompagnement de la parole

4. Contr™le, RŽactivitŽ, InstrumentalitŽ

Pousser au plus profond niveau des outils de crŽation l'intervention sensible de l'artiste. Augmenter la sensorialitŽ de outils de conception et de production en dŽveloppant l'interaction multisensorielle et la transmission des informations sensitives et sensibles.

- Contr™le et crŽation sensibles de formes

- Contr™le et crŽation sensibles de mouvements

- InteractivitŽ sur rŽseau

- CrŽation d'une forme par travail coopŽratif

- ƒvolution d'une forme par action collective, dŽlocalisŽe, multi-acteurs

- Communication via des mondes virtuels

- Relation entre le monde rŽel et le monde virtuel

- Intervention de la technologie sur le monde rŽel (mieux voir un objet rŽel inaccessible directement, dans le temps comme dans l'espace)

- TŽlŽgeste sur rŽseau ( geste dansŽ, geste pictural, geste thŽ‰tral...)

5. Algorithmes et mŽthodes

Pousser ˆ la collaboration Žtroite avec les chercheurs et ingŽnieurs des sciences pour l'ingŽnieur pour l'analyse et la prise en compte des complexitŽs logicielles et matŽrielles liŽes aux traitements et ˆ la production des objets artistiques.

- ComplexitŽ algorithmique

- Gestion d'informations - reprŽsentations de donnŽes

- Bases de donnŽes

- Calcul intensif, parallŽlisation

- Temps rŽel

- Veille technologique sur les machines, les architectures matŽrielles et logicielles, les algorithmes (industries des jeux vidŽo)

- EvolutivitŽ des scnes et objets (exemple : le jeu "Simcity")

6. Conception d'outils de crŽation nouveaux ƒvolution des outils matŽriels et logiciels

Proposer des architectures et concepts d'outils adaptŽs ˆ l'activitŽ artistique. Pousser ˆ l'analyse des besoins et des processus de crŽation. Permettre l'Žmergence d'idŽes nouvelles en matire d'outils matŽriels et logiciels de crŽation.

• ƒvolution des logiciels d'animation :

Capture du mouvement, 3D en ligne, 3D temps rŽel

-> CorrŽlation scŽnario/imagerie temps rŽel/contr™le gestuel /observation du comportement (Modle du jeu vidŽo)
• ƒvolution des palettes graphiques, aujourd'hui adaptŽe ˆ la Publication AssistŽe par Ordinateur (PAO) :

-> palettes et modeleurs adaptŽs ˆ la conception graphique

• Systmes ˆ retour d'effort
• Machines ˆ peindre, ˆ sculpter, ˆ graver, imprimer ˆ distance,

Il faut distinguer la tŽlŽtranscription du geste et du rŽsultat.

7. Standards de stockage et d'Žchange

Anticiper sur les nouveaux types d'informations ˆ analyser, ˆ stocker et ˆ transmettre (informations de tailles variables, ˆ structures reconfigurables, multisensorielles). Collaborer avec les scientifiques et techniciens sur la quantification des canaux de communications et de stockage pour la prise en compte des caractŽristiques qualitatives et quantitatives des objets d'arts

• ReprŽsentation de scnes stockŽes

- Multiformats, environnements de grande taille, avatars virtuels

• ReprŽsentation d'informations ˆ stocker

- Faut il stocker les images ou les AVO (Abstract Virtual Objects)?

• Format des informations ˆ Žchanger

- ThŽ‰tre, danse, animation d'images...

-> Un nouveau type d'informations : les informations de commandes (mouvement du corps, gestes)

- ThŽorie de la tŽlŽcommunication des gestes :

-> variables, discrŽtisation, compression...

8. Macrostructures de formes et de mouvements - Modles compositionnels

DŽvelopper une recherche en profondeur sur l'analyse et la production de macro-structures artistiques (formes spatiales, formes temporelles...) en liaison avec l'analyse des formes artistiques, les procŽdŽs de conception et d'Žcriture et les mŽthodes de production des constituants visuels de ces formes.

Valider les recherches et les analyses par la production d'Ïuvres et l'intŽgration des procŽdŽs de composition dans les outils de synthse et de traitement d'images.
• Modles de gŽnŽrations de formes macroscopiques et compositionnelles

- Formes macroscopiques autosimilaires et leurs variantes

- Dynamique des formes macroscopiques :

-> chaos, Žvolutions mŽtaboliques, Žvolutions autosimilaires,

• ModalitŽs de maintien ou d'ŽvolutivitŽ d'une forme

- Maintien d'une forme par destruction/ reconstruction de son contour

- Maintien d'une forme par ŽvolutivitŽ interne de sous-formes...)
• ƒvolution des processus d'Žlaboration de structures narratives

- CoopŽrations de scŽnaristes spŽcialisŽs :

-> narratifs, effets spŽciaux, dynamiques,...

- ƒvolution des structures de production et des architectures des outils logiciels

• DŽveloppement d'outils intŽgrŽs ƒcriture - ModŽlisation - Simulation

- Interaction ƒcriture <-> Layout

- Notion d'esquisse

9. Psychophysique artistique - Perception esthŽtique

DŽvelopper une psychophysique artistique (formes, lumire, couleurs, mouvements) liŽe ˆ la perception de phŽnomnes sensibles et sensŽs, ˆ priori diffŽrente d'une psychophysique de base s'attachant ˆ l'Žtude de phŽnomnes bioperceptifs ou biomŽcaniques ŽlŽmentaires (cf. la psychoacoustique musicale, la biomŽanique des gestes musicaux, la biomŽcanique des gestes dansŽs)

• Notion de rŽalisme et/ou de conviction de la rŽalitŽ

- RŽalisme pour voir, pour agir, pour conna”treÉ

• Relation avec l'individu percevant - Critres de qualitŽ

- QualitŽ des restitutions des formes tridimensionnelles

- QualitŽ des restitutions des couleurs

- QualitŽ des restitutions de mouvements

• Relation avec l'individu percevant - Critres de confort du spectateur
• Recherche de critres d'esthŽtique

(Exemple au Japon 1,4 million de $ par an sur 5 ans)

- Critres objectifs dŽterminants (nombre de bits pour la couleur...)

- Aspects sociologiques, culturels, psychophysiques É

10. Nouvelles formes artistiques Passerelles avec d'autres domaines artistiques

Un mot clŽ pour les projets artistiques ˆ venir :

la transdisciplinaritŽ artistique
En symbiose avec les modles contemporains qui traversent les champs scientifiques et sociologiques, l'activitŽ artistique se doit d'intŽgrer la nouvelle gŽnŽricitŽ des concepts de temps et d'espace, de corps et d'ubiquitŽ, de matŽrialitŽ et de virtualitŽ, de stabilitŽ et de chaos, d'Žquilibre et d'irrŽversibilitŽ....

Ces concepts sont transversaux aux champs scientifiques, philosophiques et Žgalement artistiques qui ont participŽ ˆ leur Žmergence. Ils sont Žgalement transversaux aux disciplines artistiques constituŽes (musique, arts plastiques, cinŽma, danse, thŽ‰tre, littŽrature...).

Les outils et concepts contemporains conduisent au dŽcloisonnement des disciplines artistiques dont les jeux informatiques multimŽdia ne sont qu'un petit prŽambule. Il s'agit d'anticiper et d'aider ˆ ce dŽcloisonnement sur ces deux dimensions principales :

- la dimension sensible via le dŽveloppement des produits artistiques hybrides et plus gŽnŽralement multisensoriels,

- et la dimension communicationnelle par l'Žlargissement des lieux d'accs et d'Žchange via les rŽseaux

- MultimŽdia - multisensoriel

- Synchronisation

- Nouvelles formes artistiques (opŽra multimŽdia)

- Arts en rŽseaux

- Relation entre avatars et personnages.

- Parole - vocal

- Traits pertinents dans le multisensoriel