Fiche sresr2

Cluster de recherche ISLE  Informatique, Signal, Logiciel embarqué

Fiche Renouvellement projet 2009-2012

A renvoyer pour le 5 mai 2008 dernier délai

par email à [e-mail] et [e-mail]

1. Titre du projet

Calcul Hautes Performances et Informatique Distribuée

2. Porteurs du projet

Nom: Desprez	Nom: Blayo
Prénom: Frédéric	Prénom: Eric
Etablissement: ENS Lyon	Etablissement: UJF Grenoble
Laboratoire LIP	Laboratoire: LJK
e-mail: [e-mail]	e-mail: [e-mail]
Téléphone: 04 72 72 85 69	Téléphone: 04 76 63 59 63

Si le renouvellement de ce projet est accepté, il est prévu que les porteurs actuels du projet passent le relais progressivement sur un an à un nouveau « binôme » de porteurs : Eddy Caron (MCF ENS-Lyon au LIP Lyon) et Christophe Prud’homme (Professeur à l’UJF, au LJK Grenoble).

3. Résumé du projet (30 lignes maximum)

Le projet Calcul Hautes Performances et Informatique Distribuée a été créé au sein du Cluster ISLE en 2005. L’objectif de ce projet est de fédérer en région Rhône-Alpes les recherches autour de l’informatique distribuée, des grappes et des grilles de calcul et de données, de la modélisation numérique et du calcul intensif. Des applications sont privilégiées notamment dans les domaines de l’environnement, des nano-sciences, des systèmes complexes en sciences du vivant et en sciences de l’univers, et l’on vise à l’émergence de nouveaux paradigmes de calcul. Vérifier les domaines d’applis

Ce projet rassemble les différents acteurs du calcul haute performance et de la modélisation numérique : des chercheurs en informatique parallèle et distribuée développant les concepts, les solutions et les outils pour l’informatique répartie et le calcul à haute performance ; des mathématiciens appliqués développant des méthodes numériques efficaces; et un « réseau d’utilisateurs » : physiciens, biophysiciens, chimistes, impliqués dans la modélisation et le calcul, notamment pour les microtechnologies et nano-sciences, les matériaux, l’environnement et la santé.

Ce projet fournit d’une part un cadre dynamique et pointu de spécification et de validation des concepts et des technologies issues des recherches en informatique distribuée. Il permet le développement de recherche et la mise au point de solutions visibles au niveau national et international (par ex. DIET, OAR, CiGri, …). D’autre part, les travaux autour des modèles et des applications bénéficient de cette interaction étroite avec les informaticiens et les spécialistes des grappes et des grilles.

Enfin, il est important de souligner que la mise en commun et le partage des ressources de calcul et de stockage sur toute la région est le passage obligé qui permettra aux acteurs du calcul de la région Rhône-Alpes d’aborder des problèmes de complexité et de dimensions jusqu’alors inaccessibles (participation à des projets européens et internationaux, collaborations avec les industriels régionaux et nationaux). A cet égard, le projet CHPID a participé à la création en 2008 de la communauté CIRA (Calcul Intensif en Rhône-Alpes), qui regroupe le réseau CIMENT à Grenoble, la Fédération Lyonnaise de Calcul à Haute Performance (FLCHP), et le projet MUSCAT à l’Université de Savoie. Les membres du projet CHPID sont également impliqués dans les groupes de travail calcul intensif organisés dans le cadre du pôle de compétivité Minalogic de Grenoble. + 1 mot sur participation grid5000, égée… + 1 mot sur RAGRID (https://ragrid.imag.fr/)

Le projet est organisé en 2 volets « outils et méthodes logicielles et réseaux » et « outils et méthodes numériques », et un « réseau utilisateurs ». Ces volets interagissent évidemment en interne au projet, et ont éventuellement d’autres coopérations « externes ». Par ailleurs les méthodes développées sont l’objet de validation dans le cadre d’applications menées par le « réseau utilisateurs ».

4. Présentation du projet (environ 10 pages)

4.1 Le contexte du projet et son évolution depuis la création du cluster ISLE

Décrivez le contexte scientifique et international du projet. Comme il s’agit d’un renouvellement,vous veillerez à mentionner ce qui a évolué depuis 2005, notamment suite aux travaux du projet précédent.
Basé sur un existant fort : Compétences ok reconnues en Rhône-Alpes autour du calcul à haute performance, des grappes et des grilles

Communauté applicative bien identifiée (CIMENT et FLCHP)

Avec le support d’une infrastructure matérielle et logicielle importante : Réseau CIMENT à Grenoble, Fédération Lyonnaise de calcul à haute performance, Nœuds Grid’5000 à Lyon et à Grenoble


Ce qui a été fait :
** Animation scientifique

divers ateliers thématiques, cours doctoraux

Octobre 2006: Ecole Grid'5000 organisée à Grenoble dans les locaux de la Maison Jean Kuntzmann de Grenoble. Vania Marangozova et Olivier Richard (LIG/Mescal) ont activement participé à l'organisation de cette école et à la définition du contenu pédagogique.
** ADRs : Favoriser les sujets pluri-disciplinaires, combinant une problématique fondamentale et une application dimensionnante

Oct. 2005 : Etude de stratégies d’ordonnancement et de gestion de données pour des applications de physique et de bioinformatique sur la grille (thèse de J.-S. Gay, dir. : Y. Caniou, F. Desprez, LIP)

Oct. 2007 : Développement de schémas symplectiques adaptés pour la décomposition en temps de systèmes aux équations différentielles algébriques sur système multiprocesseurs.
(thèse de P. Linel, dir. : D. Tromeur-Dervout, ICJ, et L. Lefèvre, LAGEP)

Février 2007: Analyse et évaluation de simulations atomistiques sur architectures de calcul hybrides (CPU et GPU). Sujet de Master 2 Recherche proposé par Thierry Deutsch (CEA/INAC) et Jean-François Méhaut (LIG/Mescal).

Février 2007: Développement d'algorithmes parallèles de fouilles de données semi structurées. Sujet de Master 2 Recherche proposé par Alexandre Termier (LIG/HADAS) et Jean-François Méhaut (LIG/Mescal). Ce sujet est à la base d'un projet ANR qui a été soumis dans le programme Domaines Emergents. Le projet a comme partenaire le BRGM (géosciences), le LIRMM (Montpellier), le LIPN (Paris Nord), Bull (Echirolles) et le LIG (HADAS, MESCAL, MOAIS, MRIM)
Oct. 2008 : Des modèles d'analyse de performances dans de grands systèmes de type grille pour des applications de calcul intensif en astrophysique (dir : B. Gaugal, LIG, P. Valiron, LAOG, E. Caron, LIP)
** Participation à la création de CIRA : Passage de CIMENT - FLCHP - MUSCA à une structuration régionale
La mise en commun effective dans chaque pôle (ressources de calcul, ingénieurs, échanges scientifiques) passe au niveau régional.

Rapprochement avec le CC-IN2P3

Un soutien dans le cadre du CPER

Participation à la mise en place d’un outil commun : grille Rhône-Alpes, en collaboration avec l’IN2P3

Exemples de travaux en cours dans CIRA

Tester le middleware DIET (développé au LIP) sur CIMENT (et sur CC-IN2P3 ? ) sur applications dimensionantes

Tester le middleware Ci-Gri (développé au LIG) sur les machines de la FLCHP (et sur CC-IN2P3 ?)

+ bilans et échanges de compétences

Créer des points d’entrée EGEE dans CIRA (Grenoble et Lyon)

** Evolution grille Rhône-Alpes

Vers une structuration régionale des moyens de calcul (cf création de l’Institut des Grilles du CNRS) - colloque « grille Rhône-Alpes » le 10 janvier 2008.

Les réflexions liées aux aspects techniques et à la gestion scientifique ont démarré :

Quelles machines ? Quelle infrastructure midlleware ? Comité de pilotage ?

4.2 Objectifs du projet

Présentation des objectifs scientifiques du projet, ainsi que des objectifs d’animation de la communauté scientifique
- Développement d’outils info pour le calcul intensif / dvt sur grille / …

- Développement de méthodes mathématiques et numériques pour le calcul intensif efficace : méthodes adaptées au calcul sur grille, couplage de modèles,…

- Interactions entre info et calcul : les “vraies” applications doivent permettre de spécifier et valider les concepts issus des recherches en informatique distribuée. Les avancées en informatique développées par les spécialistes des grappes et grilles doivent diffuser rapidement vers les chercheurs et utilisateurs du calcul intensif.

- communauté utilisateurs

4.3 Organisation du projet

Vous détaillerez l’organisation du projet en vous appuyant notamment sur un bilan de ce qui a bien ou moins bien fonctionné dans l’organisation du projet précédent.
** Organisation initiale du projet
Volet « outils et méthodes logiciels et réseaux »

INF1: Outils pour le déploiement d’applications sur les grappes et les grilles

INF2: Gestion de grandes quantités de données sur architecture à large échelle

INF3: Optimisation et maîtrise du transport des données dans les environnements de calcul haute performance distribué
Volet « outils et méthodes numériques »

NUM1: Méthodes de couplage et méthodes multi-résolution

NUM2: Méthodes de décomposition pour la validation et la vérification de simulations de CS par une approche multi-solveurs adaptatifs

NUM3: Nouveaux outils mathématiques pour le calcul scientifique
** Ce qu’on a décidé de changer et pourquoi…
** Ci-dessous l’ancienne version, à modifier et mettre à jour

Tâche INF-1 : « outils pour le déploiement d’applications sur les grappes et les grilles »

L'avènement des grilles de calcul et le degré de maturité atteint par les intergiciels existants permet désormais de déployer et exécuter de grandes applications sur une très grande quantité de ressources, qu'elles soient de calcul, de communication ou de stockage. Ces grilles de calcul sont des infrastructures connectant via l'Internet un grand nombre de supercalculateurs, qui peuvent être des grappes homogènes de PC, des grappes hybrides (CPU-GPU) des ordinateurs multiprocesseurs ou encore des machines vectorielles classiques.
Je ne sais pas si c'est à mettre ici, mais je crois que cela doit figurer quelque part dans ce dossier
En ce qui concerne les architectures pour le calcul intensif, il est important de noter l'intérêt une forte évolution vers les architectures hybrides mixant des CPU et des GPU. En, particiulier, le CEA et le CNRS viennnent d'annoncer l'acquisition d'une grande plate-forme de calcul hybride comprenant 8544 coeurs généralistes et 24576 coeurs GPU. La puissance crête de cette plate-forme devrait atteindre 300 Tflops. Au niveau régional, l'INRIA Rhône-Alpes et le LIG sont également en train de mettre en place une plate-forme de calcul hybride à une échelle plus modeste (2048 coeurs généralistes et 12238 coeurs GPU). Que ce soit au niveau de la programmation, de ses exécutifs, ce nouveau type de plate-forme pose de nouvelles problématiques scientifiques et techniques. Les travauux du projet CPHID pourront bien évidemment s'appuyer sur cette nouvelle plate-forme.
Un grand nombre de projets dans le monde proposent des solutions pour le déploiement d’applications dans les grilles. Cependant, la plupart d’entre eux privilégient les aspects logiciels au détriment des aspects plus fondamentaux. Plusieurs équipes en Rhône-Alpes s’intéressent aux aspects théoriques de la gestion de ressource et de données et au transfert des résultats dans des logiciels du domaine public et validés sur des applications dans plusieurs thèmes scientifiques. En particulier, on peut citer le logiciel OAR développé à Grenoble par les projets MESCAL et MOAIS, KAAPI développé par le projet MOAIS ou DIET développé à Lyon par le projet GRAAL.

• 
  OAR : L'équipe MESCAL en collaboration étroite avec l'équipe MOAIS développe le gestionnaire de ressources pour grappe et grille OAR¹. La structure générale se décompose en deux niveaux d'interaction : le niveau grappe et le niveau grille. Au niveau grappe, un utilisateur soumet directement ses tâches au gestionnaire qui fait l'allocation et le placement suivant son algorithme d'ordonnancement. Au niveau de la grille, un autre gestionnaire (aussi appelé metascheduler dans la littérature) interagit avec les gestionnaires de grappe pour attribuer les tâches sur une ou plusieurs grappes. Notre objectif est d'étendre les ordonnanceurs avec les propositions d'algorithmes issues du travail effectué au sein du projet, et d'étudier leurs impacts sur les plates-formes de production utilisant le gestionnaire OAR.
  
• 
  DIET : Le projet GRAAL développe l'environnement DIET² (Distributed Interactive Engineering Toolbox) qui permet la mise en place d'applications utilisant le paradigme client-agent-serveur sur la grille. En plus de la possibilité d'intégrer divers types d'applications dans ce modèle, DIET permet à l'utilisateur « expert » de modifier les ordonnanceurs utilisés par l'outil en intégrant ses propres heuristiques et ses propres mesures de performances. Par ailleurs, contrairement aux autres environnements du même type comme NetSolve ou Ninf, l'ordonnanceur n'est plus centralisé mais distribué sur les différents noeuds de la grille pour avoir une meilleure extensibilité. De plus, l'API client GridRPC permet d'avoir des requêtes synchrones et asynchrones. Notre but consistera donc à intégrer dans DIET les heuristiques développées dans le projet et de les valider sur les applications cibles de l'outil (simulation en physique, chimie, serveurs d'expertise en matrices creuses).
  
• 
  KAAPI : Le projet MOAIS développe le support exécutif KAAPI³ (Kernel for Adaptative, Asynchronous Parallel and Interactive programming) qui permet une description des programmes très parallèles indépendante de l'architecture matérielle de grappe ou grilles utilisées. L'ordonnancement utilisé dans KAAPI est distribué et est montré théoriquement efficace sur des architectures hétérogènes pour une large classe de programmes parallèles. KAAPI possède une représentation à l'exécution des programmes sous la forme d'un graphe dynamique de flot de données qui peut être sauvegardé en vue d'être tolérant aux pannes ou bien afin de migrer une exécution afin de libérer des ressources de calcul. KAAPI s'utilise à travers différentes interfaces (en C++ avec Athapascan, en CORBA avec HOMA) et ce qui lui permet d'être utilisable dans de nombreuses applications. Notre objectif consistera à intégrer dans KAAPI les heuristiques d'ordonnancement de tâches dans les grilles en tenant compte des dépendances de données exprimées. Les validations sont de deux niveaux: d'une part, il s'agit, grâce aux fonctionnalités de tolérance aux pannes et de migration, d'étudier et d'expérimenter des services de niveau middleware pour l'exploitation des cycles inutilisés dans les grilles pour des applications parallèles avec dépendances de données, tout en assurant une continuité de l'exécution malgré le retrait de ressource réquisitionnée par un gestionnaire ; d'autre part, il s'agit de montrer que ces services permettent de mener à bien des calculs efficaces pour des problèmes dont les temps de calcul cumulés sur un processeur se comptent en années.
  

Le but de cette tâche sera donc d’étudier des stratégies d’ordonnancement et de gestion de données dans les grilles en collaboration avec des scientifiques d’autres disciplines (physique, astrophysique, chimie, bioinformatique, mathématiques appliquées). En particulier nous nous intéresserons aux problèmes suivants :

• 
  Ordonnancement de graphes de tâches dans les grilles
  
• 
  Ordonnancement conjoint des tâches de calcul et de la réplication
  
• 
  Ordonnancement des algorithmes à grain adaptatif
  
• 
  Prise compte des opérations de déploiements dans les ordonnancements
  
• 
  Impacts des demandes complexes de ressources (co-allocation, demandes multi-critères, présence de bibliothèques spécifiques) sur l'architecture des gestionnaires de ressource et les politiques d'ordonnancement.
  
• 
  Supports exécutifs pour architectures hybrides
  
• 
  Prédiction de performances d’applications sur les grappes
  
• 
  ….
  

Les heuristiques d’ordonnancement seront développées en collaboration avec les scientifiques des autres disciplines lors de la transformation de leur application pour leur portage sur les grappes et/ou les grilles. Trois équipes « applicatives » participent au projet :

• 
  Application de dynamique moléculaire : la simulation moléculaire en physique et chimie possède les caractéristiques générales suivantes : elle est fortement parallèle (benchmarks sur 100 à 1000 procs), elle génére des données importantes qui doivent être accessibles pour post-traitement. Ce type d’application fournit des problèmes intéressant à la fois du côté de l’ordonnancement des tâches, que de la gestion des données résultats.
  
• 
  Simulations atomistiques: Les calculs de structure électronique dits ab initio constituent la brique de base d'études de nouveaux objets ou dispositifs. La simulation de la structure des propriétés se base sur la mécanique quantique et plus précisément sur l'équation de Schrodinger. La complexité des calculs dépend des molécules utilisées, de leur nombre mais également de l'environnement dans lequel elles sont plongées. De nouvelles approches sont étudiées au niveau algorithmique et exécutifs pour intégrer des GPU dans le processus de simulation.
  
• 
  Application d’astrophysique : mise en oeuvre de protocoles permettant de déclencher des calculs de modélisation sur des grilles de calcul en réponse à des requêtes utilisateur ; développement d'outils d'analyse de simulations numériques utilisant à la fois des grilles de calcul et de données.
  

• 
  Application de bioinformatique : L’application PattInProt relève du domaine bioinformatique de la recherche de sites et signatures de protéine. Elle est pertinente dans un contexte d'analyse des grands volumes de données biologiques telles que celles découvertes par les programmes de séquençages de génomes complets.
  
• 
  Application de physique : Les expériences LHC au CERN produiront des centaines de To de données à l'horizon 2007. Ces dernières seront analysées par des centaines de physiciens à travers le monde. Pour traiter les données des expériences LHC, la puissance de calcul nécessaire est obligatoirement répartie au niveau international. Elle justifie une étude approfondie de l'ordonnancement des tâches en fonction des disponibilités des grappes et de la localisation des données.
  
• 
  Application en optimisation combinatoire : Ces applications nécessitent des puissances de plusieurs milliers de processeurs. Elles ont la propriété d'être fortement parallèle mais irrégulière et seraient à même d'exploiter les ressources inutilisées sur une grille.
  
• 
  CAO Electronique : Les projets Mescal et Moais du LIG sont également impliqués dans le projet Ciloe du pôle de compétivité Minalogic. Ce projet devrait nous fournir des applications provenant des PME/PMI Grenobloises spécialisées dans la conception et l'optimisation de circuits électroniques.
  

Coordination : F. Desprez (LIP ENS Lyon)

Participants :

• 
  LIP ENS Lyon (projet GRAAL) : E. Caron, J.-Y. l’Excellent, F. Vivien, Y. Robert
  
• 
  LIG ID-IMAG (projet MESCAL) : J.F Méhaut, V. Marangozova, O. Richard
  
• 
  ID-IMAG (projet MOAIS) : G.Huard, G. Mounié, J.-L. Roch, T. Gautier
  
• 
  Lab. de Physique de la Matière Condensée et Nanostruct.: J.-L. Barrat
  
• 
  IBCP : C. Blanchet, C. Combet
  
• 
  LAOG : P. Valiron, C. Ceccarelli
  
• 
  CRAL : H. Wozniak, B. Guiderdoni
  
• 
  IN2P3-LAPP : S. Jezequel, N. Neyroud
  

Relations industrielles

• 
  IBM
  
• 
  BULL
  

ICATIS

• 
  EDXACT
  
• 
  INFINISCALE
  
• 
  IFP
  
• 
  
  

Tâche INF-2 : « gestion de grandes quantités de données sur architectures large échelle »

Cette tâche s’intéresse à la gestion performante de grandes quantités de données structurées ou non sur des architectures de grande taille de type grille, fortement connectées pour des problématiques de type calcul scientifique au sens large, simulation, bio-informatique etc.

Les grandes quantités de données mises en jeu (l’unité de base est le tera-octets) obligent à distribuer le stockage sur plusieurs sites au moins logiquement, c’est-à-dire différents disques dans une même grappe, voire physiquement, sur différentes grappes reliées par des réseaux haut débit. Ce stockage distribué implique la disponibilité de mécanismes haute performance de transfert entre les éléments de la grille pour apporter les données là où elles sont utiles, qui sera souvent différent de leur lieu de stockage. Ce transfert est basé sur l’utilisation de protocoles réseau haute-performance qui doivent être utilisés au maximum de leur capacité, ce qui suppose de les ordonnancer de manière à optimiser leur rendement. Une approche intéressante pour limiter les temps d’attente consiste à anticiper le besoin des données dans les applications en les transférant avant qu’elles ne soient nécessaires. Cela suppose une coopération forte entre l’ordonnanceur de travaux, le système sous-jacent et les applications. Qui dit transfert dit existence de copie sur le site qui sert de stockage mais également sur le site d’utilisation des données ; cette nécessité de recopie génère de potentiels problèmes de cohérence et de version entre les différents sites contenant les données.

Sur de telles quantités de données se pose rapidement le problème de l’exploration et de la recherche. Les approches traditionnelles, basées sur une structuration en fichiers, montre vite leur limite en terme de recherche et d’indexation. Les approches traditionnelles pour la gestion des données, basées sur les SGBD relationnels ou objets, ne se montrent pas capables de gérer de telles quantités de données, particulièrement distribuées. Il est donc nécessaire de chercher de nouvelles pistes pour fournir des opérations évoluées de recherche et de sélection, sans même considérer un support transactionnel, sur de telles masses de données. Cela passe par une séparation claire entre données et méta-données, tout en autorisant une certaine souplesse dans la définition de ces dernières. Les SGBD n'offrent pas assez de souplesse alors que les systèmes de gestion de fichiers n'offrent pas de fonctionnalités d'assez haut niveau.

Les infrastructures actuelles de gestion de données sur grilles sont, d’une part, basées sur la notion de fichiers et gèrent des catalogues de fichiers ainsi que, pour les plus évoluées, des catalogues de réplicats. Il n’existe pas de support pour une gestion fine des critères d’indexation, de la duplication ou de la gestion de la cohérence entre les copies. De même rien n’est proposé pour anticiper sur les besoins des données des applications ou des travaux dans le cadre d’un gestionnaire de travaux.
À l’IN2P3, pour l'analyse des centaines de To de données de physique produites au LHC, l'indexation et l'ordonnancement des tâches par rapport à leur localisation sont encore des sujets d'étude à approfondir.
Les travaux à mener dans ce sous-projet sont de trois types :

• 
  Duplication et cohérence Le choix des protocoles de cohérence pour les méta-données et les données adaptées aux contraintes de la grille et permettant quand même une bonne efficacité est crucial et ne peut être défini a priori pour une application quelconque sur n’importe quelle grille. La détermination des paramètres clés, de leur rôle dans les performances est un problème fondamental pour un système de gestion de données, elle doit être menée tant d’un point de vue fondamental, modélisation, qu’appliqué, par des expérimentations et de la simulation.
  
• 
  Indexation L’utilisation des méta-données pour maintenir un index permettant des recherches efficaces ainsi que le maintien de cet index au cours du temps, même en cas de modification des données, est un aspect important pour la fonctionnalité du système et son utilisation.
  
• 
  Ordonnancement Les approches pour faire coopérer des ordonnanceurs de travaux et d’application avec le support d’indexation et de stockage afin de réduire, ou de supprimer, les temps d’attente dus au manque de données sont encore ouvertes, tant du point de vue interaction qu’interfaçage. Ce travail se fera en collaboration étroite avec le sous-projet de déploiement d’applications sur les grappes et les grilles.
  

Coordination : Y. Denneulin (LIGID IMAG)

Partenaires

• 
  LIP (projet GRAAL) : F. Desprez, E. Caron, Y. Robert, F. Vivien
  
• 
  LIG (projet MESCAL)MESCAL, ID-IMAG : Y. Denneulin, A. Legrand
  
• 
  MOAIS, ID-IMAG : G. Mounié, G. Huard, D. Trystram
  
• 
  LSR-IMAG : C. Roncancio, C. Labbé ?
  
• 
  IN2P3-LAPP : N. Neyroud, S. Jezequel
  

Relations industrielles

• 
  Bull
  
• 
  IBM
  
• 
  ICATIS
  

Tâche INF-3 : « optimisation et maîtrise du transport de données dans les environnements de calcul haute performance distribués »

Cette tâche s'intéresse plus particulièrement aux services et protocoles de communications des environnements distribués dédiés aux grands calculs et aux traitements de données trés volumineuses. Le réseau global d’une grille est interconnexion trés hiérarchique de réseaux hétérogènes. Il induit une latence de communication importante et incompressible due à la distance intersites. C’est aussi une ressource partagée qui peut exhiber des performances, une sécurité et des fonctionnalités très variables parfois incompatibles avec les algorithmes de calcul ou de replication classiques.

Du côté des applications, les transferts d'information sur ces liaisons longues distances reposent actuellement sur les services et les protocoles de transport de l’Internet. Un service de transport expose un ensemble de fonctions de communication abstraites au niveau supérieur. Un protocole, d’un autre côté, se réfère aux mécanismes permettant à un processus de transport émetteur et un processus de transport récepteur de coopérer effectivement pour fournir ce service.

Les transferts dans la grilles concernent aussi bien le déploiement des applications, des données d’entrée ou de sortie des programmes de calculs, les échanges entre les logiciels de contrôles et les communications interprocessus. Ce sont donc des transferts aux besoins de performances très variés.

Dans le contexte très haut débit, il apparaît que les pertes de performance (latence et pertes de données) dues à diverses formes de congestions et de dépassement de capacité se produisent très souvent par rafale, car les volumes de données sont massifs et font écrouler aussi bien les performances individuelles des flux que le taux d’utilisation de la ressource réseau globale. Ainsi, les mécanismes de contrôle de congestion dérivés de l'algorithme de TCP s'avèrent inappropriés à ces très larges réseaux.

Depuis quelques années, des solutions de transport spécifiques sont étudiées dans le contexte des grilles haute performance. Ces travaux visent à augmenter la fonction réponse du protocole TCP pour les liens à très haut produit débit délai tout en conservant les propriétés d'équité inter-flux, d'équité inter-protocoles (TCP friendlieness), d'équité selon les distances (RTT fairness) et d'équilibre de TCP. D’autres travaux masquent les pertes volumineuses par leur recouvrement à l’aide de multiples flux parallèles. Actuellement aucune solution ne conserve simultanément toutes les propriétés. Il est fort probable qu'aucune alternative ne puisse être plus universelle que TCP lui-même et qu'il faudra, dans les grilles, adapter dynamiquement le mécanisme de contrôle de congestion ou le protocole au contexte de l’infrastructure et des applications et gérer la ressource réseau de manière appropriée (QoS).

1) Pour avancer vers cet objectif , dans ce projet, nous proposons d’analyser quantitativement les trafics générés par les applications et d’étudier leurs besoins de transport en terme de débit, variation de débit et de contraintes temporelles.

Pour cela, nous souhaitons travailler sur la capture et l’analyse de signatures de communication d'applications de calcul haute performance distribuées à partir des applications des collaborateurs de ce projet. Cette étude débouchera sur une modélisation des trafics grille.

2) Parallèlement, nous travaillerons sur une modélisation fine de l'interconnexion réseau d'une grille (systèmes d'extrémités, réseau local, routeur d'accès, firewall, coeur...) qui sera validée par des travaux expérimentaux dans le contexte de la plate-forme Grid5000 et de nos clusters locaux. Pour cela, nous souhaitons collaborer avec les constructeurs et les équipementiers.

3) De là, une typologie des services requis ainsi que la spécification d'un service de transport générique, sous forme d’un WebService pour la grille seront définis.

Nous nous assurerons de la bonne intégration de ce service dans l’architecture standard des middleware de grille (OGSA) en participant activement aux groupes de travail du GGF.

Une étude comparative expérimentale des nouveaux protocoles de transport et de transfert de l’information vis-à-vis des besoins identifiés et des propriétés attendues sera menée. On cherchera à définir un benchmark de service et de protocoles de transport pour les grilles.

Coordination : P. Vicat-Blanc Primet (LIP ENS Lyon)

Participants :

• 
  LIP ENS Lyon (projet RESO) : L. Lefevre, O. Gluck, C. Pham
  
• 
  LIG ID-IMAG (projet MESCAL) : Y. Denneulin, O. Richard, A. Legrand
  
• 
  ID-MAG (projet MOAIS) : G. Mounié
  

Applications privilégiées :

• 
  IBCP : C. Blanchet
  

Relations industrielles

• 
  ICATIS
  
• 
  Juniper networks
  
• 
  Foundry
  

Tâche NUM-1 : Méthodes de couplage et méthodes multi-résolution

Un enjeu actuel fort dans le domaine de la modélisation numérique et du calcul scientifique concerne la notion de couplage. En effet, on cherche maintenant à simuler des systèmes de plus en plus complexes, en assemblant pour ce faire des éléments précédemment développés, le plus souvent indépendamment les uns des autres. D’un point de vue mathématique et numérique, ceci recouvre les problèmes de couplage de méthodes numériques (e.g. eulérien/lagrangien) et de couplage de modèles physiques (e.g. fluide/structure). De plus, on souhaite également pouvoir résoudre et coupler entre elles les différentes échelles mises en jeu dans un phénomène physique, ce qui requiert le développement de méthodes de calcul et d’analyse multi-résolution (raffinement adaptatif de maillage, méthodes particulaires, ondelettes). Du point de vue du calcul distribué, si les méthodes de couplage sont par essence naturellement adaptées, les techniques multi-résolution nécessitent quant à elles des solutions spécifiques, en terme notamment d’équilibre de charges.

Dans le cadre de ce projet, nous visons à développer des méthodes numériques efficaces sur des plate-formes de calcul distribué pour les problématiques précédentes, en nous appuyant sur l’expertise de nos équipes dans les thématiques citées plus haut.
Nos contributions principales concerneront les points suivants :

• 
  Conditions d’interface : La qualité des solutions obtenues, et l’efficacité des algorithmes itératifs de raccordement, dans les problèmes de couplage de modèles et de raffinement de maillages structurés dépend très fortement des conditions d’interface utilisées entre les modèles et/ou les maillages. Nous développerons des conditions efficaces pour nos applications en nous appuyant sur les méthodes de conditions aux limites absorbantes exactes et approchées, sur les méthodes de conditions optimisées, et sur les méthodes de Schwarz.
  
• 
  Intégration des schémas C(p,q,j) sur une grille de calcul : L’idée est de développer des estimateurs numériques fiables pour l’adaptation du couplage en fonction des solutions fournies par les modèles couplés. En effet, il parait naturel d’adapter la fréquence des échanges des termes de couplage lorsque le couplage physique entre les sous-modèles devient fort. La comparaison entre les solutions prédites par extrapolation d’ordre j au cours des pas de temps et les solutions envoyées par le modèle couplé permettent d’adapter les paramètres du schéma, c’est à dire le nombre de pas de temps p durant lesquels les solutions seront prédites et le retard q des solutions reçues qui servent à l’extrapolation en temps. Par ailleurs, on peut envisager une version non symétrique, donc asynchrone, des échanges entre les sous modèles suivant leur échelle de temps caractéristique.
  
• 
  le calcul efficace sur des géométries complexes via des méthodes de frontière immergée, et notamment en conjonction avec les méthodes multi-résolution
  
• 
  le développement d’outils logiciels génériques pour grilles de calcul, notamment pour le raffinement de maillage structuré, les méthodes particulaires, les techniques de frontières immergées, et le couplage de modèles.
  

Les principales applications visées ici, qui permettront de valider les méthodes précédentes « en vraie grandeur » sont les problèmes de fluides géophysiques (modèles climatiques régionaux, hydraulique fluviale), les problèmes d’interaction fluide-structure dans le contexte de la biomécanique, et la modélisation de milieux poreux.

Coordination : E. Blayo (LMC-IMAG)

Participants :

• 
  LMC-IMAG Grenoble: G.-H. Cottet, L. Debreu, E. Maitre, L. Viry
  
• 
  CDCSP/ICJ Lyon: D. Eyheramendy, F. Oudin, D. Tromeur-Dervout
  
• 
  LAMA Chambéry: C. Bourdarias, I. Ionescu ?
  

Coopérations :

• 
  LAGA Paris 13
  

Applications privilégiés :

• 
  Géophysiciens de Mirage/Ciment pour des applications en géophysique
  
• 
  Equipes Dynacell et RFMQ de TIMC pour des applications en bio-mécanique
  

Relations industrielles

• 
  ANDRA
  

Tâche NUM-2 : Méthodes de décomposition pour la validation et et la vérification de simulations de calcul scientifique par une approche multi-solveurs adaptatifs

Le développement de méthodes numériques hautes performances de calcul scientifique qui puisse fournir à la fois la solution ainsi que des informations sur sa qualité et la confiance qu’il est possible de lui accorder, est devenu stratégique dans le monde de la recherche et industriel, notamment avec la démocratisation des moyens de calcul en terme de coût. Ceci nécessite des techniques de calcul qui puissent s’adapter en cours de simulation à tous les niveaux (modèle, discrétisation, solveur) sur des critères mathématiques a posteriori. Les techniques usuelles de décomposition en espace et/ou fonctionnelle sont limitées par le nombre de degrés de liberté du problème. Il paraît donc judicieux d’utiliser la puissance de calcul restant disponible pour améliorer la confiance dans les résultats par des techniques de validations et de vérifications conduites par des estimateurs numériques.

Nous proposons des recherches dans les domaines suivants :

• 
  Algorithmes numériques hautes performances de décomposition de domaine : On vise à développer de tels algorithmes de décomposition (en espace et/ou en temps), tolérants aux temps de latence élevés et aux bandes passantes faibles, et de leur conduite par des estimateurs mathématiques. On s’intéressera notamment à des méthodes de Aitken-Schwarz sur des maillages non uniformes pour des décompositions de domaines hétérogènes, et des méthodes de décomposition en temps pour les systèmes d’ODEs/PDEs raides. On envisage de développer ces techniques sous forme de bibliothèques modulaires orientées objets avec définition des interfaces, et des classes d’opérateurs.
  
• 
  Méthodes numériques de réduction de modèles non-linéaires : Nous souhaitons étudier l’accélération des méthodes de type Newton-Krylov par des techniques de Proper Orthogonal Decomposition. La décomposition en valeurs singulières peut être calculée sur un cluster de processeurs indépendant du cluster de processeurs de l’application, les deux clusters pouvant être connectés par un réseau lent. La POD peut être enrichie de manière asynchrone et retourner la base réduite de même. On peut tirer deux avantages supplémentaires de cette POD : d’une part la possibilité de pouvoir reconstituer une solution approchée en cas de perte d’une partie des processeurs de calculs ; d’autre part obtenir des informations sur les solutions pouvant permettre de valider les calculs.
  
• 
  Validation et vérification : On souhaite développer des techniques numériques parallèles auto-adaptatives de modélisation, discrétisation, résolution pour la validation et la vérification de simulation numériques, procurant ainsi une confiance accrue dans les résultats de calcul scientifique de phénomènes complexes. On attachera ici une importance particulière à la construction des outils logiciels correspondants. Les développements proposés s’articulent autour de deux axes :
  
  • 
    construction de modules de bibliothèque scientifique qui pourront encapsuler des bibliothèques « statiques » standard, en apportant une valeur ajoutée en termes d’indicateurs sur la qualité de la solution, permettant ainsi de choisir dynamiquement le comportement des algorithmes de résolutions ou les modèles de simulations ou encore les méthodes et pas de discrétisation ;
    
  • 
    Conception de classes de modèles, de schémas, et de méthodes de résolutions, qui peuvent s’exécuter de manières concurrentes et concertées sur différents clusters de processeurs pour obtenir une solution avec des informations pertinentes sur sa qualité.
    

Les applications visées sont notamment les problèmes de réseau de fractures en mécanique des structures, les fluides géophysiques, les systèmes d’ODEs/PDEs en chimie, la modélisation de milieux poreux

Coordination : D. Tromeur-Dervout (CDCSP)

Participants :

• 
  CDCSP Lyon: T. Clopeau, D. Eyheramendy, D. Fogliani, J. Olaiz, F. Oudin,
  
• 
  LMC-IMAG Grenoble: E. Blayo, L. Debreu, L. Viry
  

Coopérations :

• 
  J. Erhel, projet SAGE, INRIA
  
• 
  M. Garbey, TLC2, Université de Houston
  

Applications privilégiées :

• 
  P. Strazeski, Laboratoire Synthèse de Biomolécules, Lyon 1
  
• 
  Goldman, équipe Probabilités Combinatoire et Statistique, Institut Camille Jordan
  

Relations industrielles

• 
  ANDRA
  
• 
  Imagine
  
• 
  VETROTEX
  
• 
  St Gobain
  

Tâche NUM-3 : Outils algébriques pour le calcul scientifique

La complexité de plus en plus importante des problèmes abordés par simulation numérique et les contraintes de rapidité des calculs conduisent à créer des algorithmes de plus en plus complexes, devant s’exécuter le plus efficacement possible. Il devient de ce fait extrêmement difficile de maîtriser l’analyse des systèmes d’équations mis en jeu (systèmes de polynômes à centaines de variables, systèmes linéaires à 10⁶ inconnues, modèles hybrides à milliers de variables…). L’étape suivante de conception d’un algorithme (robuste, passant à l’échelle) et de programmation efficace et économique ne peut donc plus se concevoir de manière artisanale et demande l’utilisation d’outils algébriques et formels idoines.

Le but de cette tâche est d’explorer ce domaine en pleine expansion et de contribuer au développement de systèmes génériques et à la mise en place d’une méthodologie pour un calcul scientifique moderne.

Nous voulons développer en priorité les domaines suivants, associés à des applications importantes :

• 
  Algèbre linéaire adaptative : La bibliothèque FFPACK (algèbre linéaire sur les corps finis) implémente des arithmétiques fiables pour l’algèbre linéaire. Elle est intégrée dans la distribution logicielle ROXANE (INRIA) et est en particulier utilisée dans la bibliothèque d’algèbre linéaire creuse LinBox. La performance est obtenue par l’exploitation de la hiérarchie mémoire (caches) et des co-processeurs arithmétiques flottants. Il s’agit ici de développer l’adaptativité de cette bibliothèque, pour son passage à l’échelle sur architectures hétérogènes.
  
• 
  Outils algébriques pour la discrétisation des EDP : Les méthodes de résolution des grands systèmes linéaires sont basées essentiellement sur des idées d’analystes. Or les matrices provenant de la discrétisation des équations aux dérivées partielles sont extrêmement rares dans l’ensemble des matrices, ce qui incite à en chercher une caractérisation algébrique et conceptuelle. Cette caractérisation nécessite l’importation d’outils algébriques contemporains, et peut conduire à de nouveaux algorithmes. Ainsi les matrices structurées, dont un exemple-type est Toeplitz par blocs Toeplitz, peuvent permettre de fabriquer des préconditionnements grossiers corrigeant le désordre des maillages. De même, l’arithmétique des matrices hiérarchiques, lesquelles généralisent et étendent les méthodes multigrilles, requiert une conceptualisation. Ceci permettrait d’apporter des idées nouvelles pour le développement d’algorithmes spécifiques à chaque classe de matrices, de façon complémentaire aux méthodes usuelles, afin d’améliorer l’efficacité pratique des calculs.
  

Coordination : J.-G. Dumas (LMC-IMAG)

Participants :

• 
  LMC-IMAG, Grenoble : J.-G. Dumas, D. Duval (Pr UJF), R. Hildebrand (Cr CNRS),, F. Jung, A. Maignan ?
  
• 
  Institut Camille Jordan, Lyon : T. Dumont, N. Guillotin-Plantard, V. Louvet, F. Musy, M. Schatzman ?
  

Coopérations :

• 
  Laboratoire Leibniz, Grenoble.
  

Applications privilégiées :

• 
  CEGELY (Centre de Génie Électrique de Lyon), Ecole Centrale de Lyon, INSA Lyon, université Lyon 1
  
• 
  Institut de médecine théorique de Lyon pour la modélisation en médecine
  

4.4 Résultats attendus

4.5 Pertinence du projet et valeur ajoutée pour la région Rhône-Alpes

Vous mentionnerez, le cas échéant, la pertinence économique ou sociétale du projet. Vous préciserez son apport (“valeur ajoutée”) pour la région Rhône-Alpes et le lien avec d’autres structures (pôles de compétitivité, clusters de recherche et clusters économiques, instituts Carnot, RTRA, PRES,...)

- Pertinence scientifique:

L’étroite collaboration entre modélisateurs et spécialistes de l’informatique répartie stimule et renforce la recherche. Les différents partenaires, modélisateurs et informaticiens du parallélisme et des grilles,sont des acteurs majeurs de leur domaine en France et en Europe (publications, rôle dans GRID 5000 et plusieurs projets européens).

- Pertinence technologique et économique:

En région Rhône Alpes de nombreux partenariats entre industriels de l’informatique et laboratoires du parallélisme se sont développés par le passé (HP-labs, Sun-Labs Europe) ou sont en construction (partenariat avec Bull en construction à l’IMAG, partenariat avec IBM à Lyon). Le domaine a également donné naissance à la startup ICATIS. La modélisation et le calcul intensif bénéficient indirectement à d’autres startups ou entreprises de haute technologie. Par exemple un partenariat avec ST-microélectronics en accompagnement du développement des nano-sciences doit être développé (par des thèses, des formations permanentes, des partages de code de calcul et d’architectures).

- Pertinence sociétale:

Les retombées sociétales de ce projet de recherche concernent directement les domaines applicatifs de la modélisation et du calcul intensif. De nouveaux matériaux, de nouvelles molécules chimiques, des décisions éclairées en matière d’environnement et de risques naturels, de nouvelles techniques dans le domaine de la santé (imagerie, médicaments, génomique, etc) bénéficient de l’indispensable modélisation numérique et du calcul haute performance ainsi que de l’utilisation de grilles mettant en commun les ressources de calcul et de stockage.

• Éventuellement,autres critères de pertinence:

Ce projet devrait avoir un impact sur la formation en informatique et en calcul scientifique de la région Rhône-Alpes.. Des cours de formation doctorale, mais aussi de formation permanente, d’introduction au calcul réparti, à la modélisation numérique et au calcul intensif ont été mis en place à Lyon et à Grenoble. Ils s’intègrent de plus depuis la rentrée 2004 à certains M2 P ou R. Cet effort de formation sera poursuivi, à la fois en direction des masters et des écoles d’ingénieurs, et les expériences pourront être partagées au niveau régional. Ce projet favorisera également la formation de spécialistes à double compétence.
Participation aux RTRA :

Calcul Haute Performance pour le Micro et Nanotechnologies (RTRA « Nanosciences aux limites de la nanoélectronique »)

RTRA « Ingénierie@Lyon »

5. Participants du projet

Nom du labo et de l’équipe	Organisme de tutelle et statut du labo	Nom des chercheur (permanents) impliqués*	Statut du chercheur enseignant, chercheur, IATOS
Grenoble
Labo 1
Labo 2
…
Lyon
Labo 1
Labo 2
…
Savoie
Labo 1
Labo 2
…
St Etienne
Labo 1
Labo 2
…

* Préciser dans chaque laboratoire, en premier le nom de la personne référence qui assurera le suivi de projet au sein du laboratoire

1 http://oar.imag.fr

2 http://graal.ens-lyon.fr/DIET/

3 http://moais.imag.fr/kaapi

Contacts: [e-mail], responsable scientifique, [e-mail], chargée de mission

Cluster de recherche ISLE Rhône-Alpes “Informatique, signal, logiciel embarqué”