Unité mixte de recherche Ircam-cnrs
Yüklə 1,72 Mb.
|
- Bu səhifədəki naviqasiya:
- 4.8.5.5.6IAE
- 4.8.5.5.7SuperVP pour Max/MSP
- 4.8.5.5.8MAX
- 4.8.5.5.9CataRT
| Descriptif
L’objet gf (pour gesture follower) permet de reconnaître et de suivre l’évolution temporelle de morphologies gestuelles et/ou sonores. L’objet compare en temps réel un flux de données avec un ensemble de «phrases» pré-enregistrées. Deux types d’information en sortie sont continuellement mises à jour : « likelihood » = « similarité » entre le flux de données entrant et les phrases enregistrées « Time index » = index indiquant la progression temporelle d’une phrase L’objet gf fonctionne avec tout type de données multidimensionnelles, régulièrement échantillonnées dans le temps comme des données de capteurs, des descripteurs sonores, des descripteurs d'images, etc. La méthode repose sur une modélisation des courbes temporelles multidimensionnelles basée sur des modèles de Markov. Principales fonctions réalisées Un module complet est réalisé en se basant sur la libraire MuBu, ce qui permet entre autres d’utiliser l’objet d’édition et visualisation de données iMuBu. Parmi les nouvelles fonctionnalités notons : Sauvegarde et chargement des données et configuration en format mubu et text. Track « Settings » pour l’affichage et l’édition de la configuration du gf. Fonctionnalité de batch processing, qui permet l’utilisation du gf en mode offline sur des données pré chargées. Track « Probability » pour la visualisation de la fonction de probabilité qui est utilisée pour l’estimation de l’index temporel.
La IMTR Audio Engine (IAE) est un moteur de synthèse sonore par descripteurs. Permettant des fonctionnalités similaires à MuBu pour Max/MSP, le moteur intègre les mêmes bibliothèques développées par l’équipe dans une classe C++ portable et optimisée : MuBu, container de données temporelles ZsaZsa, moteur de synthèse granulaire et concatenative RTA, analyse et modélisation de données
Première version complète du moteur Extension du moteur pour pouvoir traiter multiples voix de synthèse Intégration dans un plugin Unity Mac OS X et iOS Intégration expérimentale dans Max/MSP
SuperVP pour Max/MSP est un ensemble de modules Max/MSP qui intègre le moteur d’analyse/synthèse sonore SuperVP. L’ensemble comprend six modules Max/MSP qui permettent la transformation en temps-réel des flux sonores et de sons préalablement enregistrés : supervp.play~ et supervp.scrub~ … transformation de sons préalablement enregistrés supervp.ring~ … transformation d’un flux temps-réel dans un tampon circulaire supervp.trans~ … transformation d’un flux sonore entrant en temps-réel supervp.cross~ et supervp.sourcefilter~ … synthèse croisée Les fonctionnalités fournies par les modules comprennent Dilatation temporelle avec préservation des transitoires Transposition de la hauteur avec préservation de l’enveloppe spectrale (timbre) Déformation séparée de l’enveloppe spectrale (timbre) Remixages des composants sinusoïdales, bruitées et transitoires du signal Synthèse croisée généralisée Synthèse croisé source-filtre Principales fonctions réalisées L’ensemble des six modules a été maintenu en suivant l’évolution des différentes versions du moteur SuperVP intégrant diverses améliorations et optimisations.
http://cycling74.com/products/max/ Max (anciennement Max/MSP) est un environnement visuel pour la programmation d’applications interactives temps réel. C’est actuellement la référence mondiale pour la création d’installations sonores interactives. Max est la combinaison du logiciel Max (Ircam/Cycling’74) pour le contrôle temps réel d’applications musicales et multimédia interactives par MIDI, de MSP, une bibliothèque d'objets pour l'analyse, la synthèse et le traitement du signal audio en temps réel et de Jitter qui est un ensemble d’objets vidéo, matriciels et graphiques 3D pour l'environnement. Max est conçu pour les musiciens, les designers sonores, les enseignants et les chercheurs qui souhaitent développer des programmes interactifs temps réel. Max/ MSP est développé et édité par la société Cycling’74 (USA) sous licence exclusive de l’Ircam.
Génération de structures musicales au moyen de modèles mathématiques et aléatoires. Accompagnement Live Production d’œuvres mixtes où la partie électronique réagit au jeu de l’instrumentiste (par captation du jeu instrumental par microphone ou par MIDI) ou bien par modification directe du son de l’instrument. Max se comporte comme un séquenceur en contrôlant la diffusion de sons ou de fichiers audio dans le temps. Le contrôle dynamique de programmes complexes pilotant de la musique, de la vidéo ou des effets de lumière est aussi possible. Postproduction audio et pilotage de périphériques Contrôle possible de périphériques extérieurs tels que tables de mixage, systèmes «direct-to-disk», synthétiseurs, etc. Traitement vidéo temps réel Une bibliothèque d’objets pour le traitement vidéo (Jitter) est incluse avec le logiciel. Elle permet un contrôle de très bas niveau et la programmation de nombreuses applications. Enseignement Max/MSP est un outil pédagogique largement répandu dans les universités, les écoles de musique et les conservatoires. La documentation intégrée directement dans le logiciel comprend de nombreux tutoriels interactifs pour la compréhension du signal audio, du système MIDI ou encore de la vidéo. Recherche Max/MSP est utilisé en recherche pour prototyper des algorithmes de synthèse ou de traitement du signal en temps réel. De nouveaux objets externes peuvent être programmés en langage JavaScript, Java et C.. Caractéristiques techniques Plusieurs centaines d’objets pour la synthèse, le contrôle, le traitement, l’échantillonnage ou l’analyse. Le moteur audio de Max 6 offre le support du multiprocessing, du calcul en 64 bits et apporte de nombreuses améliorations du rendu sonore. Max 6 intègre un système de génération de code et compilation à la volée à partir de patches, permettant la création rapide de nouveaux traitements performant directement dans l’environnement Max. GEN est utilisé pour les différents domaines de l’application : audio (gen~), matrices Jitter (jit.gen, jit.pix) et OpenGL (jit.gl.pix)
La synthèse concaténative par corpus utilise une base de données de sons enregistrés, et un algorithme de sélection d'unités qui permet de choisir les segments de la base de données, afin de synthétiser par concaténation une séquence musicale. La sélection est fondée sur les caractéristiques de l'enregistrement, qui sont obtenues par analyse du signal et correspondent par exemple à la hauteur, à l'énergie ou au spectre. La mise en œuvre en temps réel de cette nouvelle approche de la synthèse sonore par le système CataRT permet une exploration interactive et en temps réel d’une base sonore et une composition granulaire ciblée par des caractéristiques sonores précises, et permet aux compositeurs et musiciens d'atteindre de nouvelles sonorités, et aux designers sonores de rapidement explorer un corpus sonore constitué par un grand nombre d´enregistrements. CataRT existe en application standalone ou en système modulaire implémenté dans Max/MSP avec les extensions FTM, Gabor et MnM. L'interaction repose sur une interface simple consistant en l'affichage d'une projection 2D de l'espace de descripteurs, et une navigation avec la souris, où les grains sont sélectionnés et joués par proximité géométrique. Applications: œuvres musicales et multimédia interactives, recherche dans les bases de données sonores Fonctions principales
Configuration:
Formats de fichiers audio : • jusqu'à 32-bit/192 kHz entier et flottant : AIFF, AIFC, Wav, FLAC. • fichiers SDIF pour l’importations de marqueurs de segmentation de AudioSculpt • fichiers MIDI pour l’importations de segmentation et annotation de pitch • fichiers Text pour l’importations de segmentation et annotation de labels, p.ex. de Audacity
Yüklə 1,72 Mb. Dostları ilə paylaş:
|