Global Illumination for Fun and Profit

5 PERF-RV : principaux résultats

Depuis son lancement la plate-forme PERF-RV a produit de nombreux résultats, tant par l’organisation de réunions régulières des groupes de travail que par l’activité de chacune de ses actions. En particulier, les groupes de travail des quatre sous-projets ont contribués :

• 
  Présenter les actions respectives des partenaires industriels et chercheurs afin de définir les conditions initiales du projet ;
  
• 
  Etablir la liste des points clés qui conditionnent la réussite ou l’échec d’une application de réalité virtuelle: définir les caractéristiques fonctionnelles des applications RV ciblées et éclairer les axes de recherche où un effort particulier devra être réalisé ;
  
• 
  Structurer l’état de l’art, de l’offre et de la demande (voir le livrable T0+6) ;
  
• 
  Détecter les actions factorisables dans le sous projet, et finalement entre les sous projets tant au niveau recherche qu’au niveau des synergies industrielles ;
  
• 
  Ouvrir le projet à de nouveaux partenaires qui ont activement participé au groupe en tant qu’auditeur et contributeur libre.
  

De plus, l’expression du besoin et des contraintes, matérialisé par un volumineux rapport sur l’analyse des besoins et l’état de l’art a mis en exergue :

• 
  La continuité du champ applicatif de la RV tout au long du cycle de vie du produit (bien ou service), depuis l’étude la plus amont des biens et services jusqu’à la formation en aval des différents utilisateurs. Un travail de classification et de hiérarchisation des spécifications des systèmes RV est en cours ;
  
• 
  La continuité de la chaîne numérique est une condition sine qua non à la viabilité et à l’inter-opérabilité des applications RV avec leur environnement logiciel (standards des formats, bande passante, etc…) ;
  
• 
  La nécessité d’une personnalisation des applications RV au public ciblé (expert, décideur, opérateur, grand public, etc…) fait ressentir le besoin d’un langage de scénarisation de haut niveau. Ceci mérite d’être cité (même si le projet actuel ne couvre pas cet axe).
  

5.1 Sous-projet 1 : Interfaces haptiques et visualisation immersive

Action A1 - Groupe de Travail : (cf. début section 5).
Action A2 - Démonstrateur interface haptique et visualisation immersive : Le développement de cette action a suivi une phase de formalisation et de spécification dans un premier temps et une phase de prototypage dans un deuxième temps.
Nous avons renforcé et synthétisé les acquis des partenaires Inria et Cea dans le domaine des systèmes haptiques. A ce titre, les activités principales ont porté sur la préparation d’un état de l’art et la coordination avec la revue des applications. Ce rapport, conçu comme un état de l’existant et une synthèse comparative, est basé sur une documentation très étendue. Les systèmes haptiques sont abordés dans leur globalité, à la fois sous l’aspect matériel et logiciel. L’état de l’art présente le panorama complet et détaillé des périphériques de commande à retour d’effort, leur principe, leur architecture, leur classification, leurs caractéristiques. Les interactions haptiques quant à elles, orientent vers un état de l’art de modules logiciels tels que : logiciels de détection de collision et de simulation physique, adaptés pour les calculs en temps réel.

Figure 12: Simulation de montage sur la plate-forme du CEA/LIST

Les activités de spécification ont été menées sous forme d’identification des besoins et de vérification de faisabilité, devant conduirent à la préparation des spécifications d’un prototype de périphérique haptique à retour d’effort, destiné aux salles immersives. Ces travaux intègrent les analyses menées en commun avec l’action SP3/A5 sur le thème montage virtuel dans le domaine automobile, comprenant : sélection de cas dimensionnants, identification des exigences fonctionnelles, estimation des performances, prise en compte des contraintes.

Parallèlement, nous avons établi les spécifications de l’architecture logicielle, modulaire et distribuée nécessaire à l’intégration du dispositif haptique dans les applications évoluées de Réalité Virtuelle liées aux objectifs de PERF-RV.

L’IRISA développe le logiciel OpenMASK qui sera le support des nos applications car il favorise la modularité et dispose des couches nécessaires au calcul distribué pour la Réalité Virtuelle. Sur ce support nous avons implémenté plusieurs prototypes des modules indispensables au aux applications « haptiques ». Ainsi, nous disposons des algorithmes de détection de collision et de modélisation du contact, nous disposons aussi des modules de calcul de trajectoires des mécanismes articulés complexes.
Action A3 - couplage haptique-visuel :
Le CEA/LIST a mis en place une plate-forme logicielle et matérielle permettant de simuler le scénario de montage fourni par EADS CCR. Cette plate-forme utilise le bras à retour d’effort Virtuose 6D (voir Figure 12) commercialisé par la société HAPTION (http://www.haption.com/). Ce bras fournit des retours d’effort en translation (forces) et/ou en rotation (couples).

Des développements logiciels ont été réalisés par le CEA/LIST pour intégrer le bras et pour simuler le montage de manière réaliste. Les travaux d’intégration et de couplage au Virtuose ont été fortement factorisés avec ceux de l’action SP3A2 et SP3A4.

Des ajustements ont été ensuite réalisés pour adapter le retour haptique au scénario de montage complexe proposé (réglage de la profondeur de pénétration tolérée, ajustement des gains en effort, valeurs min et max des couples, etc).

Au final la simulation propose des fonctionnalités telles que : détection de collision temps réel, simulation dynamique réaliste, sélection de pièce par critère de proximité, possibilité de manipulation avec décalage, recalage du bras, manipulation d’une pièce de géométrie quelconque avec retour d’effort 6 axes, blocage de degrés de liberté, etc.

Figure 13 : essai de manipulation

Les activités de formalisation concernent la modélisation de scènes graphiques pour la perception de tâches de manipulation virtuelle. Cette perception s’accompagne d’un retour d’effort sur les bouts des doigts. Le poids et de l’inertie des pièces sont aussi simulées et permettent une sensation plus complète des objets manipulés.

L’opérateur immergé dans les scènes graphiques doit avoir la possibilité de reconnaître les formes géométriques des pièces par simple retour d’effort, sans faire appel aux autres sens. Mais la reconnaissance des objets manipulés peut aussi se faire par combinaison du retour d’efforts et de la sensation du poids, ou par combinaison du retour haptique et du retour visuel (cf. Figure 13).

Les activités de spécification ont consisté à évaluer l’exosquelette CyberGrasp et le bras à retour d’effort CyberForce. Cette évaluation a été faite sur la base de la restitution du retour sensoriel lors de l’exécution d’une tâche d’assemblage.

La participation aux expériences de manipulation et de perception de formes géométriques et de pièces mécaniques avec retour d’effort ont permis d’apprécier l’ergonomie du matériel, de recueillir les impressions des utilisateurs et de faire connaître les nouvelles technologies en matière d’interaction homme-machine.

Action A4 - Conception et revue de projet immersives dans un Move : les activités de cette action, concernant la réalisation d’un nouveau dispositif de visualisation immersive, ont conduit à effectuer plusieurs étapes de travail :

• 
  Fin d’aménagement du bâtiment d’accueil sur le site de PSA à Carrières-sous-Poissy ;
  
• 
  Recette technique du système chez BARCO Belgique le 26 octobre ;
  
• 
  Installation du Move à partir du 12 novembre à Carrières (cf. Figure 14);
  
• 
  Prononciation de la recette technique le 20 décembre.
  
• 
  Fin des réglages et formation des utilisateurs jusqu’au 18 janvier 2002 ;
  
• 
  Arrêt technique du système pour évolution de la face sol du 8 au 28 février 2002 ;
  
• 
  Portage de l’application PICASSO virtuelle (casque) sous environnement Move ;
  

Figure 14 : Move en position de L

• 
  Réalisation des modèles virtuels des nouveaux monospaces PEUGEOT et CITROEN à partir de leur Maquette Numérique ;
  
• 
  Début de portage de l’application simulation de conduite PSA vers l’environnement Move (cf. Figure 15 ).
  

Figure 15 : Application dans le Move

Action A5 - Retour d’effort pour les études d’ergonomie :

Deux principaux travaux de spécification ont été menés : le simulateur d’effort d’un bouton de commande (cf. Figure 16) et l’interface haptique anthropomorphique.

Simulateur d’effort d’un bouton de commande

PSA a fourni 6 types de boutons de commande de la planche de bord que le futur démonstrateur devra pouvoir simuler. Ce travail est en cours de réalisation durant la période, le matériel étant commandé. Les tests se dérouleront alors et les résultats seront analysés et discutés entre les trois partenaires durant la deuxième année. Voici quelques ordres de grandeur concernant la physiologie des doigts humains :

Force maximale applicable avec l’index

• 
  pour un homme : 60 N
  
• 
  pour une femme : 45 N
  
• 
  Bande passante maximale avec laquelle on peut exercer une force confortablement : 10 Hz
  
• 
  Bande passante de perception des efforts appliqués sur l’index : 50 à 100 Hz
  
• 
  Bande passante de perception tactile : 0 à 400 Hz
  
• 
  Raideur maximale perceptible : 100 000 N/m
  

Les paramètres déterminants pour le dimensionnement de l’interface haptique ont déjà été évalués. Et on a déduit de l’étude précédente les spécifications de l’interface haptique à retour d’effort, qui détermine principalement le choix du moteur linéaire : idéalement, l’actionneur doit être tel qu’il n’oppose aucune résistance au déplacement lorsqu’il est à l’arrêt (transparence). Pour atteindre cet objectif, il faut minimiser les frottements secs du moteur et l’inertie de sa masse mobile. Considérant notre application, il semble plus adapté de choisir un moteur linéaire, qui offre une meilleure précision et répétabilité à basse vitesse..

Figure 16 : Simulation d’un bouton virtuel avec une interface à retour d’effort

Interface haptique anthropomorphique

Parallèlement aux travaux sur le « simulateur d’effort d’un bouton de commande », nous nous sommes intéressés à la réalisation d’une interface haptique anthropomorphique. Cette interface doit permettre les études ergonomiques de boutons, mis en situation avec visualisation du modèle virtuel de la planche de bord. Elle sera réalisée au cours de la deuxième année du projet PERF-RV et testée au cours de la troisième année. L'organe haptique doit pouvoir être exploité pour la manipulation d’une commande ou d’un accessoire avec trois conditions :

• 
  Ne pas supprimer la visibilité de la commande ;
  
• 
  Permettre l'accessibilité de la commande, tout en détectant d'éventuels obstacles sur la trajectoire ;
  
• 
  Simuler l'action mécanique et le confort subjectif associé sur la commande.
  

Deux solutions ont été proposées  pour l’interface haptique anthropomorphique:

• 
  Un système complet de type exosquelette pour tout le bras et les 2 doigts de la main ;
  
• 
  Un système partiel utilisant 2 doigts pour la simulation de la préhension et couplée à l’interface haptique Virtuose 6D du CEA (6 ddl pour le Virtuose + les x ddl des 2 doigts à définir).
  

Action A6 - Intégration des techniques de RV dans le processus de conception et de développement de produits : les travaux entrepris dans cette action ont conduit à proposer la démarche suivante :

• 
  Etudes de cas industriels (Renault, EADS) analyse des évolutions du processus de conception dans ces industries manufacturières ;
  
• 
  Reprise des activités du processus de conception pour la partie recherche de concept et service support, formation ;
  
• 
  Positionnement de la Réalité Virtuelle dans le processus et apport de la RV : premières réflexions et présentation au groupe GT4 ;
  
• 
  Consensus sur les étapes génériques du cycle de conception vis à vis des approches aéronautiques et automobiles ;
  
• 
  Cadrage du modèle global du système d’information industriel PDM/ERP/CRM dans lequel les applications RV liées à la conception produit/procédé devront s’intégrer ;
  
• 
  Document de synthèse des attentes des 4 groupes de travail pour les difficultés et attentes non satisfaites de la Réalité Virtuelle dans le cycle de conception ;
  
• 
  Première définition des activités liées à la réalité virtuelle à chaque étape principale d’un projet d’étude.
  

5.2 Sous-projet 2 : Interface multimodale et coopérative

Action A1 - Groupe de Travail : (cf. début section 5).
Action A2 - Serveur distribué d'événements pour dispositifs de RV :

La version initiale de l’EVserveur n’offrant pas une distribution robuste, une grande partie des travaux de formalisation menés par le LIMSI-CNRS portèrent sur ces problèmes.

L’un des axes prometteurs des recherches dans le domaine des IHM pour la RV, est de pouvoir disposer de traitements avancés sur les différentes modalités interactives (reconnaissance vocale, reconnaissance gestuelle, fusion ou fission de modalités,…). De tels traitements s’appuient sur une vision événementielle de l’IHM. Au demeurant, les ressources calculatoires qu’impliquent ces traitements (tels que ceux à base de processus de reconnaissance), mais aussi les limitations des ports des machines (quantité insuffisante, connectivité non standard), ou encore les incompatibilités des pilotes (drivers) avec les versions de certains systèmes d’exploitation (OS), sont autant de facteurs qui imposent une architecture logicielle distribuée.

Cependant, la gestion multimodale de l’interaction suppose une datation fiable des événements. Cette précision est d’autant plus nécessaire que certains de ces événements ont une latence propre qui résulte des processus de reconnaissance qui les génèrent. De fait, pour que des événements issus de ressources distribuées possèdent une telle fiabilité temporelle, l’EVserveur doit lui-même être distribué sur le réseau des machines impliquées par un dispositif de RV (pour que les datations se fassent localement sans délai), tandis que les modules qui composent l’EVserveur doivent être synchronisés (pour avoir une datation homogène des événements) et multi OS (pour décharger le programmeur d’application du portage des drivers sous tel ou tel système d’exploitation).

En conséquence, l’activité de spécification du LIMSI-CNRS a tout d’abord porté :

• 
  Sur la distribution de l’EVserveur en un réseau de nœuds ;
  
• 
  Sur la transparence de cette distribution vis-à-vis des clients ;
  
• 
  Sur la synchronisation temporelle des nœuds de l’Evserveur ;
  
• 
  Sur l’implémentation de ces nœuds sur différents OS (Windows, Linux et IRIX) ;
  

Elle a porté ensuite :

• 
  Sur la définition d’un pilote « générique » à partir duquel les pilotes de la version initiale de l’EVserveur devaient pouvoir être spécialisés ;
  
• 
  Puis de spécifier dans ce contexte la spécialisation de 7 nouveaux pilotes de périphériques.
  

En parallèle, le LIMSI-CNRS a bien entendu mené un travail de spécification sur l’extension de la hiérarchie des événements gérés par l’EVserveur en fonction de l’adjonction de ces différents périphériques.

Enfin, dans le contexte de l’action VENISE (Virtualité et Environnement Immersif pour la Simulation et l’Expérimentation) transversale à l’ensemble du LIMSI-CNRS (http://www.limsi.fr/Recherche/ActionVenise/), ce laboratoire a spécifié le dispositif mse (multi-user stereoscopic environment), composé de deux plans verticaux rétro-projetés de 2 mètres de côté.

Le LIMSI-CNRS a donc développé sous Windows, Linux et IRIX :

• 
  Les modules utiles à la distribution multi OS de l’EVserveur sur un réseau (10 base/T Ethernet) de machines (PC sous Windows ou Linux, stations O2, Indigo2, Onyx et Onyx2 sous IRIX), avec un objectif d’optimisation des temps de transfert des événements ;
  
• 
  Les modules chargés de la synchronisation temporelle des nœuds de l’EVserveur pour garantir une datation fiable des événements dès leur production.
  

Par ailleurs, divers modules ont été développés à des fins de tests ou d’évaluations de cette version distribuée multi OS de l’EVserveur.

Sur la base de ces développements, le LIMSI-CNRS a créé le démonstrateur Nautilus. Celui-ci est aujourd'hui la preuve de faisabilité la plus avancée de la partie EVserveur notre architecture distribuée. Il montre par exemple, pour le bénéfice d'une application qui tourne sur une station SGI Onyx 2, comment l'EVserveur gère de façon unifiée bien que distribuée via un réseau standard : un système de reconnaissance de la parole (situé sur un PC avec Windows), un système de reconnaissance de gestes et ses périphériques (situés sur une station Indigo2), un capteur des mouvements de la tête (lui-même situé sur une troisième station Unix). Ce dernier capteur est utilisé par le calculateur graphique pour gérer, d’une part la stéréoscopie adaptative sur les deux écrans du dispositif mse, d’autre part le contrôle « mains libres » des navigations virtuelles à l’aide du système HCnav (voir paragraphe suivant relatif à l’action A3).

La version suivante du démonstrateur Nautilus intégrera un moteur « élémentaire » de fusion multimodal des événements, tandis que nos travaux porteront sur l’interface de l’EVserveur avec OpenMASK.
Action A3 - Interactions coopératives locales et distantes :

Dans le cadre de l’établissement d’un état de l’art relatif au sous-projet 2 :

• 
  le LaBRI a fourni une introduction à cet état de l’art en précisant nos définitions communes, et un aperçu des dispositifs physiques
  
• 
  l’INRIA Rocquencourt a fourni un état de l’art sur l’interaction en environnements virtuels 3D
  
• 
  l’INRIA Rennes a fourni un état de l’art sur la coopération en environnements virtuels 3D
  
• 
  EDF a fourni un mémorandum sur deux exemples d’application de Réalité Virtuelle avec travail coopératif et collaboratif
  
• 
  Le LIMSI-CNRS a fourni un tour d’horizon sur les Environnements Virtuels, les principaux dispositifs et leurs outils logiciels.
  

Figure 17 : Manipulation directe, le curseur virtuel, utilisé pour manipuler les objets est proche de la main

Figure 18 : Manipulation a distance, le curseur est a distance de la main.

EDF a fourni un document présentant ses attentes vis à vis de cette action, en présentant 2 exemples d’applications pouvant mettre en œuvre des techniques d’interaction coopératives en environnements virtuels 3D.

Renault a également fourni un document présentant ses attentes vis à vis de la coopération dans le cadre de la simulation de montage et de vérification de la compatibilité d’un poste de montage avec un nouveau véhicule.

L’INRIA Rennes a exploré les métaphores de navigation 3D adaptées à des dispositifs “ semi ” immersifs (comme les Reality Center et Workbench, par opposition à des dispositifs totalement immersifs comme des visiocasques), permettant d’embarquer des outils d’interaction 3D. L’INRIA Rennes a également étudié les possibilités de contraindre de façon générique des objets interactifs à respecter des mécanismes de type liaisons mécaniques, ou encore à éviter les inter-pénétrations suite à des détections de collisions.

Partant de la constatation que les systèmes basés sur des grands écrans permettent à plusieurs utilisateurs d'être immergés dans un environnement virtuel, mais qu’il n'existe pas d'interacteur spécialement conçus pour que plusieurs utilisateurs puissent interagir dans un environnement virtuel généré à partir de projections sur grands écrans, le LaBRI a décidé, pour combler ce manque, d’étudier le développement d’un nouvel interacteur : la table d’interaction. Ce périphérique sera un outil de collaboration, non contraignant et simple d'utilisation. Il permettra de réaliser de nombreuses tâches d'interaction 3D. Ainsi, la spécification de ce périphérique est achevée et la fabrication d’un prototype a débuté en collaboration avec le laboratoire LMP de l’Université Bordeaux I.

Le développement d’applications de réalité virtuelle coopératives supposent une bonne connaissance des configurations et périphériques employés et de la façon de les employer pour un résultat optimal. Dans le cadre des travaux sur les paradigmes d’interaction autour de la métaphore du rayon virtuel, de nombreux tests, sur le Plan de Travail Virtuel, avec des utilisateurs novices ont montré une tendance quasiment systématique à interagir à distance (avec la main à environ 1 mètre du modèle à manipuler) alors qu’une interaction en direct (avec la main très proche du modèle utilisé), voir Figure 17 et Figure 18, semble plus aisée. I3D a réalisé des tests psychophysiques pour évaluer l’influence de la distance de manipulation sur les performances en terme de temps et de précision. Les résultats vont à l’encontre des tendances des utilisateurs. Ils ont montré que les performances sont meilleures si la distance de manipulation est inférieure à 20cm. Ils ont aussi montré qu’elles sont meilleures s’il n’y a pas de facteur d’échelle introduit lors de la manipulation.
L’INRIA Rennes a développé  des démonstrations coopératives (cf. Figure 19) permettant la validation des modules OpenMASK prototypés, couplant les dispositifs logiques aux drivers de périphériques physiques.

Figure 19 : Travail coopératif sur la Scenic

Le LaBRI a prototypé des techniques d'interaction reposant sur l'utilisation de pointeurs laser. De tels pointeurs offrent de nouvelles perspectives au travers des optimisations induites (pointage 2D, plusieurs utilisateurs simultanés) et par le traitement vidéo nécessaire (optimisation dans l'utilisation des informations, déplacements possibles). Actuellement, plusieurs pointeurs sont utilisables par plusieurs personnes de manière alternative et la fonctionnalité « clic » est réalisée à l’aide d’une souris sans fil.

Le LaBRI a développé une application de démonstration permettant de manipuler un modèle 3D fourni par Renault (le véhicule Scenic) à l’aide de pointeurs laser (cf. Figure 20). Dans ce démonstrateur, les utilisateurs ont la possibilité de changer de point de vue, pointer/sélectionner, déplacer des objets, placer des curseurs 3D, prendre des mesures entre ces curseurs… Ces fonctionnalités sont disponibles de manière coopérative par alternance. Une vidéo d’une dizaine de minutes présente ce type d’utilisation.

Figure 20 : Manipulation d’un modèle 3D grâce à un laser.

De son côté, le LIMSI-CNRS à développé sous l’EVserveur (cf. action SP2.A2) un démonstrateur du HCnav, son système de contrôle des navigations virtuelles. Basé sur l’association d’un paradigme de « volant 6 DoF » avec une métaphore de « véhicule », ce système est utilisable par tout dispositif matériel de RV (HMD, Bench, Reality Center, …).

Dans le cadre de cette action, nous commençons à utiliser la capacité qu’a le dispositif mse de permettre la perception de deux reliefs exacts (voir paragraphe précédent sur l’action A2) pour étudier en particulier les paradigmes et métaphores utiles aux interactions coopératives « in situ », c’est-à-dire lorsque deux utilisateurs mènent des tâches plus ou moins collaboratives au sein d’un même dispositif.
5.3 Sous-projet 3 : Simulation d’assemblage et de montage

Action A1 - Groupe de Travail : (cf. début section 5).
Action A2 - simulation d’assemblage et montage :

Figure 21 : manipulation de l’environnement virtuel

Le CEA/LIST a mis à disposition une plate-forme logicielle et matérielle permettant de simuler le scénario de « casse-tête » de l’évaluation (cf. Figure 21). Cette plate-forme propose de pouvoir choisir différentes pièces du casse-tête à assembler et de les manipuler avec retour d’effort sur 1 ou 2 mains. Elle utilise pour cela les 2 bras à retour d’effort Virtuose 6D-RV (main dominante) et Virtuose 3D-RV (main non dominante) commercialisés par la société HAPTION (http://www.haption.com/).

Les bras Virtuose proposent des retours d’effort en translation (forces) et/ou en rotation (couples). Des développements logiciels ont été menés pour intégrer les deux bras et pour simuler l’assemblage du casse-tête de manière réaliste. Ces travaux ont été fortement factorisés avec ceux des actions SP3A4 et SP1A3. Des travaux d’ajustements ont été réalisés pour adapter le retour haptique au scénario du casse-tête : essentiellement pour s’adapter à la présence de 2 bras à retour d’effort, donc pour simuler des prises possibles des pièces avec les deux mains.

Figure 22 : Exécution de tâche d’assemblage en utilisant une souris 3D et retour haptique par la manipulation de modèles des pièces réelles

Les activités de spécification visent à déterminer les effets des facteurs inhérents à la simulation de la tâche d’assemblage sur la durée de l’exécution et la planification de la tâche. La démonstration mise en oeuvre dans ce cadre consiste en l’assemblage d’un système de transmission mécanique (cf. Figure 22 et Figure 23). Le périphérique d’interaction utilisé est une souris 2D puis une souris 3D.

Figure 23 : Manipulation de modèle géométrique complexe
Action A3 - Extraction d’éléments issus de simulation d’assemblage et de montage :

Cette action a nécessité la définition d’un exemple significatif en terme de dimensionnement du problème : définition d'un modèle de données (Unité de Puissance Auxiliaire sur avion d'affaire (APU)), assemblage de modèles CATIA fournis par DASSAULT AVIATION. Ce modèle a été fourni au CEA, à l'INRIA Rocquencourt et CLARTÉ.

Figure 24 : Modèle APU FALCON

Une analyse des besoins de DASSAULT AVIATION dans le domaine du montage/démontage a été réalisée dans le cadre de l’état de l’art. Les scénarios mentionnés ci-après s'inscrivent dans ce cadre.

Deux scénarios de manipulation ont été spécifiés :

Scénario 1 - remplacement du filtre à carburant : ce scénario est effectué à travers une porte d'inspection. Il s'agit d'une action de montage/démontage du filtre avec évitements d'obstacles. La phase de montage/démontage est précédée du placement d’un réceptacle de récupération de carburant sous le filtre. La simulation de cette opération de montage/démontage tiendra compte en particulier des contraintes liées au placement des opérateurs par rapport à l’APU, du fait des contraintes opérationnelles.

Figure 25 : Suivi de mouvement dans la Salle Immersive
du CEA/LIST

• 
  Scénario 2 - montage / démontage de l'APU : ce scénario plus complexe comporte des phases de différentes natures :
  
• 
  Montage/démontage de tuyaux
  
• 
  Déconnexion de contacts électriques
  
• 
  Déplacement de structures avec évitement d'obstacle
  

Ces différentes phases permettent de prévoir une évaluation plus exhaustive des outils de simulation de par les degrés de complexité variables qui leur sont attachées. On tiendra également compte des contraintes de positionnement des opérateurs par rapport à l’APU.

On visera avec l'apport des interfaces à retour d'effort VIRTUOSE et des mannequins numériques à simuler le maximum de phases de ces scénarios.

Le CEA/LIST a prototypé différents modules d’une plate-forme logicielle permettant de simuler et d’animer un mannequin virtuel réaliste dans un environnement immersif de type I-Space de la société BARCO. Le système global doit permettre d’acquérir puis de suivre les mouvements de l’utilisateur grâce au dispositif de suivi optique ACTIRIS de la société ActiCM qui utilise 16 caméras et 32 points de mesure sur le corps (cf. Figure 25). Le système doit ensuite animer un avatar virtuel de l’utilisateur dans la simulation (le mannequin) dans un environnement doté d’un comportement physique réaliste.

L'analyse des scénarios d'étude (en commun avec l'action A4, voir ci-après) au Virtual Reality Center de Dassault Aviation est également à l'étude.

Action A4 - Simulation réalité virtuelle d’un assemblage aéronautique :

Figure 26 : Démonstrateur INRIA/i3D : démontage d’une pièce d’un mât de réacteur d’A340 d’Airbus.

Les travaux menés dans cette action ont menés à :

• 
  La formalisation des besoins industriels dans le domaine de la simulation d’opérations de montage en aéronautique. Présentation du processus et des outils actuels. Présentation de quelques scénarios significatifs ;
  
• 
  Les besoins industriels ont été formalisés dans le document Perf-Rv [Perf-Rv 2001] "Etat de l'art et analyse des besoins industriels", septembre 2001 et notamment dans le chapitre 1.1 : la maquette numérique dans l'industrie et le chapitre 1.3 : "Le montage/démontage virtuels dans l’aéronautique" ;
  
• 
  La spécification de scénarios utilisateurs et des contraintes industrielles associées ;
  
• 
  La spécification d'un outil de simulation interactif de montage/démontage en aéronautique en terme de fonctionnalité, performance et ergonomie.
  
• 
  L’étude et le développement par l’INRIA/i3D d’une plate-forme logicielle de montage/démontage intégrant les bibliothèques de détection de collisions et gestion des contraintes Contact développées en interne.
  
• 
  Le développement par INRIA/i3D d’un démonstrateur basé sur la plate-forme logicielle et présentant un scénario de montage/démontage d’un mât de A340 fournit par Airbus (cf. Figure 26) ;
  
• 
  Intégration par l’INRIA/i3D du bras Virtuose dans la plate-forme logicielle de montage/démontage précédente.
  

Action A5 - Revue d'application montage virtuel dans le domaine automobile :

Dans cette action, les activités de formalisation ont mené à préciser :

• 
  La sélection de scénarios de montage, et activités préparatoires pour l’analyse des taches opératoires ;
  
• 
  La définition des besoins pour une revue de montage/démontage dans le domaine automobile ;
  
• 
  Le suivi de l’état de l’art des systèmes haptiques, liaison avec l’action SP1A2 (INRIA Rennes et CEA).
  

Les activités de spécifications ont porté :

• 
  Un document concernant les attentes de RENAULT pour SP3A5 (Revue d’application de
  Copyright L.R.V

  montage / démontage virtuel dans le domaine automobile ), pour répondre à ses besoins ;

  
  
• 
  Un document concernant les attentes de RENAULT pour SP2A3 (Interactions coopératives locales et distantes ) , pour répondre à ses besoins .
  

Suite aux différentes réflexions sur les revues de montage virtuel dans le domaine automobile les besoins sont :

• 
  La simulation d’un montage/démontage sans système haptique ;
  
• 
  La simulation d’un montage/démontage avec système haptique ;
  
• 
  La réalisation d’une revue de projet locale ou distante.
  

Figure 27 : Scénario Renault sur la plate-forme
PHARE du CEA/LIST

Les activités de prototypage de cette action ont concerné :

• 
  La transmission des données numériques du véhicule Scénic avec différents partenaires de Perf-RV.
  
• 
  La transmission des données numériques au CEA/LIST :
  
• 
  Colonne de direction électrique et de son environnement de la CLIO2 ;
  
• 
  Console centrale et de son environnement de la CLIO2 ;
  
• 
  Lève vitre électrique et la porte avant de la Mégane berline.
  
• 
  La transmission des données numériques à l’INRIA Rocquencourt :
  
• 
  Console centrale et de son environnement de la CLIO2 :
  
• 
  Lève vitre électrique et la porte avant de la Mégane berline .
  

Le CEA/LIST et l’INRIA ont testé plusieurs logiciels permettant de convertir les données CAO fournies par Renault (format IGES) en données utilisables pour le rendu visuel et l’haptique.

Le CEA/LIST a réalisé les 3 scénarios spécifiés par Renault Ce logiciel a pour but de visualiser en stéréoscopie et de manipuler avec rendu haptique les données fournies par Renault (cf. Figure 27).

5.4 Sous-projet 4 : Formation au geste technique

Action A1 - Groupe de Travail : (cf. début section 5).
A

ction A2 - Forum des métiers :

Présenté dans le cadre du document général sur l’état de l’art établi par l’ensemble des partenaires PERF-RV (chapitre formation et RV), ce travail de balayage méthodologique a été décomposé en deux parties complémentaires :

La première propose de décrire l’intérêt pédagogique de la réalité virtuelle, ainsi que les concepts spécifiques associés à la notion de formation. L’impact structurant des objectifs pédagogiques dans une application basée sur la réalité virtuelle y est fortement développé.

La seconde propose une amorce de typologie permettant de classer dans le contexte spécifique de la réalité virtuelle les différents concepts pédagogiques mis en œuvre, ceci afin d’identifier et de situer une application par rapport à ces référents.

Cette phase indispensable d’état de l’art nous a permis de situer les objectifs définis dans notre projet par rapport aux développements existants et d’affiner les objectifs de cette action en fonction d’un cadre référentiel pertinent dans ce domaine d’application de la réalité virtuelle.

Figure 28 : Utilisation du simulmateur de formation
Afin d’identifier un contexte métier pertinent et réaliste au regard des technologies de la RV (et en particulier des interfaces haptiques), nous nous sommes associés les compétences d’experts sur ces deux domaines (formation et systèmes haptiques) :

• 
  L’Association Professionnelle de la Formation pour Adultes (AFPA) qui apporte sa connaissance de l’ingénierie pédagogique liée aux formations techniques et qui, de plus, s’est déjà positionnée autour du contexte de la réalité virtuelle avec une activité de développement d’un dispositif de soudage utilisant cette technologie. La confrontation de ces experts à des interrogations pédagogiques réelles et quotidiennes leur permet d’apporter des réponses originales et de participer à la définition d’un contexte métier réaliste ;
  
• 
  SIMTEAM, société spécialisée en développement d’application mettant en œuvre des interfaces haptiques.
  

Le secteur de l’usinage est un secteur clé au niveau des métiers de la production industrielle. Par ailleurs, il s'agit aussi d'un pré requis dans divers domaines de formation et en particulier pour les techniciens ayant en charge la conception de moules dans le domaine de la plasturgie. Or un nombre non négligeable de stagiaires ne possèdent pas ce pré requis. Aujourd’hui l’initiation se fait par l’utilisation de machines manuelles. Un environnement virtuel permettant de mettre en relation directe la sensibilité d’un apprenant avec les forces engendrées par les systèmes afin de réaliser cette sensibilisation de façon directe en évitant d’avoir recours à des équipements anciens « en voie de disparition » permettrait aussi de généraliser des systèmes de sensibilisation à des formations connexes où la compréhension de ces processus est important tels qu’en plasturgie pour les concepteurs de moule.

Figure 29 : Simulateur de formation

CLARTE, l’AFPA et la société SIMTEAM ont développé un prototype de simulateur de fraiseuse (cf. Figure 28 et Figure 29). Il est constitué :

• 
  d’une base informatique de type PC bi processeur équipé d’une carte graphique wildcat 4210
  
• 
  d’un écran sur lequel est projeté le monde virtuel constitué d’un atelier reconstitué en 3D avec une fraiseuse virtuelle dont la tête est « asservie » au bras à retour d’effort.
  
• 
  d’une maquette en matériau composite de la table de fraiseuse qui supporte le phantom.
  

L’ensemble est ici manipulé par un stagiaire en cours d’apprentissage à l’AFPA.
Par ailleurs le CEA/LIST et l’Institut National de Recherche et de Sécurité (INRS) ont réalisé un prototype de simulateur de presse plieuse afin d’évaluer l’intérêt de tels développement dans le champ de la prévention des risques professionnels [Ciccotelli, 2002].

L’application consiste à simuler le fonctionnement de la presse et à effectuer un pliage virtuel en manipulant des deux mains une pièce de tôle réelle (cf. Figure 30). L’opérateur engage dans la machine la pièce à plier, déclenche physiquement les actions de pliage et doit faire face à des situations potentiellement dangereuses.

De tels outils devraient permettre d’évaluer le degré de complexité des opérations de pliage - certains cycles s’avérant parfois techniquement impossibles à réaliser - et l’adéquation des mesures de sécurité associées - ce type de machine demeurant difficile à « sécuriser ».
Figure 30: Simulateur de presse plieuse