Global Illumination for Fun and Profit
PERF-RV : principaux résultats
Yüklə 0,6 Mb.
|
- Bu səhifədəki naviqasiya:
- 5.1 Sous-projet 1 : Interfaces haptiques et visualisation immersive Action A1 - Groupe de Travail
- Action A3 - couplage haptique-visuel
- Action A4 - Conception et revue de projet immersives dans un Move
- Action A5 - Retour d’effort pour les études d’ergonomie
- Action A6 - Intégration des techniques de RV dans le processus de conception et de développement de produits
- 5.2 Sous-projet 2 : Interface multimodale et coopérative Action A1 - Groupe de Travail
- Action A3 - Interactions coopératives locales et distantes
- 5.3 Sous-projet 3 : Simulation d’assemblage et de montage Action A1 - Groupe de Travail
- Action A3 - Extraction d’éléments issus de simulation d’assemblage et de montage
- Action A4 - Simulation réalité virtuelle d’un assemblage aéronautique
- Action A5 - Revue dapplication montage virtuel dans le domaine automobile
- 5.4 Sous-projet 4 : Formation au geste technique Action A1 - Groupe de Travail
5 PERF-RV : principaux résultatsDepuis son lancement la plate-forme PERF-RV a produit de nombreux résultats, tant par l’organisation de réunions régulières des groupes de travail que par l’activité de chacune de ses actions. En particulier, les groupes de travail des quatre sous-projets ont contribués :
De plus, l’expression du besoin et des contraintes, matérialisé par un volumineux rapport sur l’analyse des besoins et l’état de l’art a mis en exergue :
5.1 Sous-projet 1 : Interfaces haptiques et visualisation immersive Action A1 - Groupe de Travail : (cf. début section 5). Action A2 - Démonstrateur interface haptique et visualisation immersive : Le développement de cette action a suivi une phase de formalisation et de spécification dans un premier temps et une phase de prototypage dans un deuxième temps. Nous avons renforcé et synthétisé les acquis des partenaires Inria et Cea dans le domaine des systèmes haptiques. A ce titre, les activités principales ont porté sur la préparation d’un état de l’art et la coordination avec la revue des applications. Ce rapport, conçu comme un état de l’existant et une synthèse comparative, est basé sur une documentation très étendue. Les systèmes haptiques sont abordés dans leur globalité, à la fois sous l’aspect matériel et logiciel. L’état de l’art présente le panorama complet et détaillé des périphériques de commande à retour d’effort, leur principe, leur architecture, leur classification, leurs caractéristiques. Les interactions haptiques quant à elles, orientent vers un état de l’art de modules logiciels tels que : logiciels de détection de collision et de simulation physique, adaptés pour les calculs en temps réel. 
Figure 12: Simulation de montage sur la plate-forme du CEA/LIST Les activités de spécification ont été menées sous forme d’identification des besoins et de vérification de faisabilité, devant conduirent à la préparation des spécifications d’un prototype de périphérique haptique à retour d’effort, destiné aux salles immersives. Ces travaux intègrent les analyses menées en commun avec l’action SP3/A5 sur le thème montage virtuel dans le domaine automobile, comprenant : sélection de cas dimensionnants, identification des exigences fonctionnelles, estimation des performances, prise en compte des contraintes. Parallèlement, nous avons établi les spécifications de l’architecture logicielle, modulaire et distribuée nécessaire à l’intégration du dispositif haptique dans les applications évoluées de Réalité Virtuelle liées aux objectifs de PERF-RV. L’IRISA développe le logiciel OpenMASK qui sera le support des nos applications car il favorise la modularité et dispose des couches nécessaires au calcul distribué pour la Réalité Virtuelle. Sur ce support nous avons implémenté plusieurs prototypes des modules indispensables au aux applications « haptiques ». Ainsi, nous disposons des algorithmes de détection de collision et de modélisation du contact, nous disposons aussi des modules de calcul de trajectoires des mécanismes articulés complexes. Action A3 - couplage haptique-visuel : Le CEA/LIST a mis en place une plate-forme logicielle et matérielle permettant de simuler le scénario de montage fourni par EADS CCR. Cette plate-forme utilise le bras à retour d’effort Virtuose 6D (voir Figure 12) commercialisé par la société HAPTION (http://www.haption.com/). Ce bras fournit des retours d’effort en translation (forces) et/ou en rotation (couples). Des développements logiciels ont été réalisés par le CEA/LIST pour intégrer le bras et pour simuler le montage de manière réaliste. Les travaux d’intégration et de couplage au Virtuose ont été fortement factorisés avec ceux de l’action SP3A2 et SP3A4. Des ajustements ont été ensuite réalisés pour adapter le retour haptique au scénario de montage complexe proposé (réglage de la profondeur de pénétration tolérée, ajustement des gains en effort, valeurs min et max des couples, etc). Au final la simulation propose des fonctionnalités telles que : détection de collision temps réel, simulation dynamique réaliste, sélection de pièce par critère de proximité, possibilité de manipulation avec décalage, recalage du bras, manipulation d’une pièce de géométrie quelconque avec retour d’effort 6 axes, blocage de degrés de liberté, etc. F Les activités de formalisation concernent la modélisation de scènes graphiques pour la perception de tâches de manipulation virtuelle. Cette perception s’accompagne d’un retour d’effort sur les bouts des doigts. Le poids et de l’inertie des pièces sont aussi simulées et permettent une sensation plus complète des objets manipulés. L’opérateur immergé dans les scènes graphiques doit avoir la possibilité de reconnaître les formes géométriques des pièces par simple retour d’effort, sans faire appel aux autres sens. Mais la reconnaissance des objets manipulés peut aussi se faire par combinaison du retour d’efforts et de la sensation du poids, ou par combinaison du retour haptique et du retour visuel (cf. Figure 13). Les activités de spécification ont consisté à évaluer l’exosquelette CyberGrasp et le bras à retour d’effort CyberForce. Cette évaluation a été faite sur la base de la restitution du retour sensoriel lors de l’exécution d’une tâche d’assemblage. La participation aux expériences de manipulation et de perception de formes géométriques et de pièces mécaniques avec retour d’effort ont permis d’apprécier l’ergonomie du matériel, de recueillir les impressions des utilisateurs et de faire connaître les nouvelles technologies en matière d’interaction homme-machine. Action A4 - Conception et revue de projet immersives dans un Move : les activités de cette action, concernant la réalisation d’un nouveau dispositif de visualisation immersive, ont conduit à effectuer plusieurs étapes de travail :
F  igure 14 : Move en position de L
Figure 15 : Application dans le Move Action A5 - Retour d’effort pour les études d’ergonomie : Deux principaux travaux de spécification ont été menés : le simulateur d’effort d’un bouton de commande (cf. Figure 16) et l’interface haptique anthropomorphique. Simulateur d’effort d’un bouton de commande PSA a fourni 6 types de boutons de commande de la planche de bord que le futur démonstrateur devra pouvoir simuler. Ce travail est en cours de réalisation durant la période, le matériel étant commandé. Les tests se dérouleront alors et les résultats seront analysés et discutés entre les trois partenaires durant la deuxième année. Voici quelques ordres de grandeur concernant la physiologie des doigts humains : Force maximale applicable avec l’index
Les paramètres déterminants pour le dimensionnement de l’interface haptique ont déjà été évalués. Et on a déduit de l’étude précédente les spécifications de l’interface haptique à retour d’effort, qui détermine principalement le choix du moteur linéaire : idéalement, l’actionneur doit être tel qu’il n’oppose aucune résistance au déplacement lorsqu’il est à l’arrêt (transparence). Pour atteindre cet objectif, il faut minimiser les frottements secs du moteur et l’inertie de sa masse mobile. Considérant notre application, il semble plus adapté de choisir un moteur linéaire, qui offre une meilleure précision et répétabilité à basse vitesse.. 
Figure 16 : Simulation d’un bouton virtuel avec une interface à retour d’effort Interface haptique anthropomorphique Parallèlement aux travaux sur le « simulateur d’effort d’un bouton de commande », nous nous sommes intéressés à la réalisation d’une interface haptique anthropomorphique. Cette interface doit permettre les études ergonomiques de boutons, mis en situation avec visualisation du modèle virtuel de la planche de bord. Elle sera réalisée au cours de la deuxième année du projet PERF-RV et testée au cours de la troisième année. L'organe haptique doit pouvoir être exploité pour la manipulation d’une commande ou d’un accessoire avec trois conditions :
Deux solutions ont été proposées pour l’interface haptique anthropomorphique:
Action A6 - Intégration des techniques de RV dans le processus de conception et de développement de produits : les travaux entrepris dans cette action ont conduit à proposer la démarche suivante :
5.2 Sous-projet 2 : Interface multimodale et coopérative Action A1 - Groupe de Travail : (cf. début section 5). Action A2 - Serveur distribué d'événements pour dispositifs de RV : La version initiale de l’EVserveur n’offrant pas une distribution robuste, une grande partie des travaux de formalisation menés par le LIMSI-CNRS portèrent sur ces problèmes. L’un des axes prometteurs des recherches dans le domaine des IHM pour la RV, est de pouvoir disposer de traitements avancés sur les différentes modalités interactives (reconnaissance vocale, reconnaissance gestuelle, fusion ou fission de modalités,…). De tels traitements s’appuient sur une vision événementielle de l’IHM. Au demeurant, les ressources calculatoires qu’impliquent ces traitements (tels que ceux à base de processus de reconnaissance), mais aussi les limitations des ports des machines (quantité insuffisante, connectivité non standard), ou encore les incompatibilités des pilotes (drivers) avec les versions de certains systèmes d’exploitation (OS), sont autant de facteurs qui imposent une architecture logicielle distribuée. Cependant, la gestion multimodale de l’interaction suppose une datation fiable des événements. Cette précision est d’autant plus nécessaire que certains de ces événements ont une latence propre qui résulte des processus de reconnaissance qui les génèrent. De fait, pour que des événements issus de ressources distribuées possèdent une telle fiabilité temporelle, l’EVserveur doit lui-même être distribué sur le réseau des machines impliquées par un dispositif de RV (pour que les datations se fassent localement sans délai), tandis que les modules qui composent l’EVserveur doivent être synchronisés (pour avoir une datation homogène des événements) et multi OS (pour décharger le programmeur d’application du portage des drivers sous tel ou tel système d’exploitation). En conséquence, l’activité de spécification du LIMSI-CNRS a tout d’abord porté :
Elle a porté ensuite :
En parallèle, le LIMSI-CNRS a bien entendu mené un travail de spécification sur l’extension de la hiérarchie des événements gérés par l’EVserveur en fonction de l’adjonction de ces différents périphériques. Enfin, dans le contexte de l’action VENISE (Virtualité et Environnement Immersif pour la Simulation et l’Expérimentation) transversale à l’ensemble du LIMSI-CNRS, ce laboratoire a spécifié le dispositif mse (multi-user stereoscopic environment), composé de deux plans verticaux rétro-projetés de 2 mètres de côté. Le LIMSI-CNRS a donc développé sous Windows, Linux et IRIX :
Enfin, divers modules ont été développés à des fins de tests ou d’évaluations de cette version distribuée multi OS de l’EVserveur. Action A3 - Interactions coopératives locales et distantes : Dans le cadre de l’établissement d’un état de l’art relatif au sous-projet 2 :
EDF a fourni un document présentant ses attentes vis à vis de cette action, en présentant 2 exemples d’applications pouvant mettre en œuvre des techniques d’interaction coopératives en environnements virtuels 3D. Renault a également fourni un document présentant ses attentes vis à vis de la coopération dans le cadre de la simulation de montage et de vérification de la compatibilité d’un poste de montage avec un nouveau véhicule. L’INRIA Rennes a exploré les métaphores de navigation 3D adaptées à des dispositifs “ semi ” immersifs (comme les Reality Center et Workbench, par opposition à des dispositifs totalement immersifs comme des visiocasques), permettant d’embarquer des outils d’interaction 3D. L’INRIA Rennes a également étudié les possibilités de contraindre de façon générique des objets interactifs à respecter des mécanismes de type liaisons mécaniques, ou encore à éviter les inter-pénétrations suite à des détections de collisions. F Figure 18 : Manipulation a distance, le curseur est a distance de la main. Partant de la constatation que les systèmes basés sur des grands écrans permettent à plusieurs utilisateurs d'être immergés dans un environnement virtuel, mais qu’il n'existe pas d'interacteur spécialement conçus pour que plusieurs utilisateurs puissent interagir dans un environnement virtuel généré à partir de projections sur grands écrans, le LaBRI a décidé, pour combler ce manque, d’étudier le développement d’un nouvel interacteur : la table d’interaction. Ce périphérique sera un outil de collaboration, non contraignant et simple d'utilisation. Il permettra de réaliser de nombreuses tâches d'interaction 3D. Ainsi, la spécification de ce périphérique est achevée et la fabrication d’un prototype a débuté en collaboration avec le laboratoire LMP de l’Université Bordeaux I. Le développement d’applications de réalité virtuelle coopératives supposent une bonne connaissance des configurations et périphériques employés et de la façon de les employer pour un résultat optimal. Dans le cadre des travaux sur les paradigmes d’interaction autour de la métaphore du rayon virtuel, de nombreux tests, sur le Plan de Travail Virtuel, avec des utilisateurs novices ont montré une tendance quasiment systématique à interagir à distance (avec la main à environ 1 mètre du modèle à manipuler) alors qu’une interaction en direct (avec la main très proche du modèle utilisé), voir Figure 17 et Figure 18, semble plus aisée. I3D a réalisé des tests psychophysiques pour évaluer l’influence de la distance de manipulation sur les performances en terme de temps et de précision. Les résultats vont à l’encontre des tendances des utilisateurs. Ils ont montré que les performances sont meilleures si la distance de manipulation est inférieure à 20cm. Ils ont aussi montré qu’elles sont meilleures s’il n’y a pas de facteur d’échelle introduit lors de la manipulation.
Figure 19 : Travail coopératif sur la Scenic Le LaBRI a prototypé des techniques d'interaction reposant sur l'utilisation de pointeurs laser. De tels pointeurs offrent de nouvelles perspectives au travers des optimisations induites (pointage 2D, plusieurs utilisateurs simultanés) et par le traitement vidéo nécessaire (optimisation dans l'utilisation des informations, déplacements possibles). Actuellement, plusieurs pointeurs sont utilisables par plusieurs personnes de manière alternative et la fonctionnalité « clic » est réalisée à l’aide d’une souris sans fil. Le LaBRI a développé une application de démonstration permettant de manipuler un modèle 3D fourni par Renault (le véhicule Scenic) à l’aide de pointeurs laser (cf. Figure 20). Dans ce démonstrateur, les utilisateurs ont la possibilité de changer de point de vue, pointer/sélectionner, déplacer des objets, placer des curseurs 3D, prendre des mesures entre ces curseurs… Ces fonctionnalités sont disponibles de manière coopérative par alternance. Une vidéo d’une dizaine de minutes présente ce type d’utilisation. F De son côté, le LIMSI-CNRS à développé sous l’EVserveur (cf. action SP2.A2) un démonstrateur du HCnav, son système de contrôle des navigations virtuelles. Basé sur l’association d’un paradigme de « volant 6 DoF » avec une métaphore de « véhicule », ce système est utilisable par tout dispositif matériel de RV (HMD, Bench, Reality Center, …). 5.3 Sous-projet 3 : Simulation d’assemblage et de montage Action A1 - Groupe de Travail : (cf. début section 5). Action A2 - simulation d’assemblage et montage : Le CEA/LIST a mis à disposition une plate-forme logicielle et matérielle permettant de simuler le scénario de « casse-tête » de l’évaluation (cf Figure 20). Cette plate-forme propose de pouvoir choisir différentes pièces du casse-tête à assembler et de les manipuler avec retour d’effort sur 1 ou 2 mains. Elle utilise pour cela les 2 bras à retour d’effort Virtuose 6D-RV (main dominante) et Virtuose 3D-RV (main non dominante) commercialisés par la société HAPTION (http://www.haption.com/). F  igure 21 : manipulation de l’environnement virtuel
L Figure 22 : Exécution de tâche d’assemblage en utilisant une souris 3D et retour haptique par la manipulation de modèles des pièces réelles Les activités de spécification visent à déterminer les effets des facteurs inhérents à la simulation de la tâche d’assemblage sur la durée de l’exécution et la planification de la tâche. La démonstration mise en oeuvre dans ce cadre consiste en l’assemblage d’un système de transmission mécanique (cf. Figure 22 et ). Le périphérique d’interaction utilisé est une souris 2D puis une souris 3D. Cette action a nécessité la définition d’un exemple significatif en terme de dimensionnement du problème : définition d'un modèle de données (Unité de Puissance Auxiliaire sur avion d'affaire (APU)), assemblage de modèles CATIA fournis par DASSAULT AVIATION. Ce modèle a été fourni au CEA, à l'INRIA Rocquencourt et CLARTÉ. Une analyse des besoins de DASSAULT AVIATION dans le domaine du montage/démontage a été réalisée dans le cadre de l’état de l’art. Les scénarios mentionnés ci-après s'inscrivent dans ce cadre.
Scénario 1 - remplacement du filtre à carburant : ce scénario est effectué à travers une porte d'inspection. Il s'agit d'une action de montage/démontage du filtre avec évitements d'obstacles. La phase de montage/démontage est précédée du placement d’un réceptacle de récupération de carburant sous le filtre. La simulation de cette opération de montage/démontage tiendra compte en particulier des contraintes liées au placement des opérateurs par rapport à l’APU, du fait des contraintes opérationnelles. F
Ces différentes phases permettent de prévoir une évaluation plus exhaustive des outils de simulation de par les degrés de complexité variables qui leur sont attachées. On tiendra également compte des contraintes de positionnement des opérateurs par rapport à l’APU. On visera avec l'apport des interfaces à retour d'effort VIRTUOSE et des mannequins numériques à simuler le maximum de phases de ces scénarios. F Le CEA/LIST a prototypé différents modules d’une plate-forme logicielle permettant de simuler et d’animer un mannequin virtuel réaliste dans un environnement immersif de type I-Space de la société BARCO. Le système global doit permettre d’acquérir puis de suivre les mouvements de l’utilisateur grâce au dispositif de suivi optique ACTIRIS de la société ActiCM qui utilise 16 caméras et 32 points de mesure sur le corps (cf. Figure 25). Le système doit ensuite animer un avatar virtuel de l’utilisateur dans la simulation (le mannequin) dans un environnement doté d’un comportement physique réaliste. L'analyse des scénarios d'étude (en commun avec l'action A4, voir ci-après) au Virtual Reality Center de Dassault Aviation est également à l'étude.
Les travaux menés dans cette action ont menés à :
Figure 26 : Démonstrateur INRIA/i3D : démontage d’une pièce d’un mât de réacteur d’A340 d’Airbus.
Action A5 - Revue d'application montage virtuel dans le domaine automobile : Dans cette action, les activités de formalisation ont mené à préciser :
Les activités de spécifications ont porté :
Suite aux différentes réflexions sur les revues de montage virtuel dans le domaine automobile les besoins sont :
Figure 27 : Scénario Renault sur la plate-forme PHARE du CEA/LIST Les activités de prototypage de cette action ont concerné :
Le CEA/LIST et l’INRIA ont testé plusieurs logiciels permettant de convertir les données CAO fournies par Renault (format IGES) en données utilisables pour le rendu visuel et l’haptique. Le CEA/LIST a réalisé les 3 scénarios spécifiés par Renault Ce logiciel a pour but de visualiser en stéréoscopie et de manipuler avec rendu haptique les données fournies par Renault (cf. Figure 27). 5.4 Sous-projet 4 : Formation au geste technique Action A1 - Groupe de Travail : (cf. début section 5). A ction A2 - Forum des métiers : Présenté dans le cadre du document général sur l’état de l’art établi par l’ensemble des partenaires PERF-RV (chapitre formation et RV), ce travail de balayage méthodologique a été décomposé en deux parties complémentaires : La première propose de décrire l’intérêt pédagogique de la réalité virtuelle, ainsi que les concepts spécifiques associés à la notion de formation. L’impact structurant des objectifs pédagogiques dans une application basée sur la réalité virtuelle y est fortement développé. La seconde propose une amorce de typologie permettant de classer dans le contexte spécifique de la réalité virtuelle les différents concepts pédagogiques mis en œuvre, ceci afin d’identifier et de situer une application par rapport à ces référents. Cette phase indispensable d’état de l’art nous a permis de situer les objectifs définis dans notre projet par rapport aux développements existants et d’affiner les objectifs de cette action en fonction d’un cadre référentiel pertinent dans ce domaine d’application de la réalité virtuelle. F
Le secteur de l’usinage est un secteur clé au niveau des métiers de la production industrielle. Par ailleurs, il s'agit aussi d'un pré requis dans divers domaines de formation et en particulier pour les techniciens ayant en charge la conception de moules dans le domaine de la plasturgie. Or un nombre non négligeable de stagiaires ne possèdent pas ce pré requis. Aujourd’hui l’initiation se fait par l’utilisation de machines manuelles. Un environnement virtuel permettant de mettre en relation directe la sensibilité d’un apprenant avec les forces engendrées par les systèmes afin de réaliser cette sensibilisation de façon directe en évitant d’avoir recours à des équipements anciens « en voie de disparition » permettrait aussi de généraliser des systèmes de sensibilisation à des formations connexes où la compréhension de ces processus est important tels qu’en plasturgie pour les concepteurs de moule. F CLARTE, l’AFPA et la société SIMTEAM ont développé un prototype de simulateur de fraiseuse (cf Figure 28 et Figure 29). Il est constitué :
L’ensemble est ici manipulé par un stagiaire en cours d’apprentissage à l’AFPA. Par ailleurs le CEA/LIST et l’Institut National de Recherche et de Sécurité (INRS) ont réalisé un prototype de simulateur de presse plieuse afin d’évaluer l’intérêt de tels développement dans le champ de la prévention des risques professionnels [Ciccotelli, 2002]. L’application consiste à simuler le fonctionnement de la presse et à effectuer un pliage virtuel en manipulant des deux mains une pièce de tôle réelle (cf. figure 29). L’opérateur engage dans la machine la pièce à plier, déclenche physiquement les actions de pliage et doit faire face à des situations potentiellement dangereuses. De tels outils devraient permettre d’évaluer le degré de complexité des opérations de pliage - certains cycles s’avérant parfois techniquement impossibles à réaliser - et l’adéquation des mesures de sécurité associées - ce type de machine demeurant difficile à « sécuriser ».
Yüklə 0,6 Mb. Dostları ilə paylaş:
|
igure 13 : essai de manipulation
igure 17 : Manipulation directe, le curseur virtuel, utilisé pour manipuler les 
igure 20 : Manipulation d’un modèle 3D grâce à un laser.
es bras Virtuose proposent des retours d’effort en translation (forces) et/ou en rotation (couples). Des développements logiciels ont été menés pour intégrer les deux bras et pour simuler l’assemblage du casse-tête de manière réaliste (voir Figure 1). Ces travaux ont été fortement factorisés avec ceux des actions SP3A4 et SP1A3. Des travaux d’ajustements ont été réalisés pour adapter le retour haptique au scénario du casse-tête : essentiellement pour s’adapter à la présence de 2 bras à retour d’effort, donc pour simuler des prises possibles des pièces avec les deux mains.
igure 24 : Modèle APU FALCON
igure 25 : Suivi de mouvement dans la Salle Immersive
e développement par INRIA/i3D d’un démonstrateur basé sur la plate-forme logicielle et présentant un scénario de montage/démontage d’un mât de A340 fournit par Airbus (cf. Figure 26) ;
igure 28 : Utilisation du simulmateur de formation
igure 29 : Simulateur de formation 
igure 29 : Simulateur de presse plieuse