Fiche sresr2



Yüklə 152,21 Kb.
səhifə1/3
tarix28.10.2017
ölçüsü152,21 Kb.
  1   2   3




Cluster de recherche ISLE  Informatique, Signal, Logiciel embarqué

Fiche Renouvellement projet 2009-2012

A renvoyer pour le 5 mai 2008 dernier délai

par email à Yves.Ledru@imag.fr et Carole.Silvy@imag.fr

1. Titre du projet


Calcul Hautes Performances et Informatique Distribuée



2. Porteurs du projet




Nom: Desprez

Nom: Blayo

Prénom: Frédéric

Prénom: Eric

Etablissement: ENS Lyon

Etablissement: UJF Grenoble

Laboratoire LIP

Laboratoire: LJK

e-mail: Frederic.Desprez@ens-lyon.fr

e-mail: Eric.Blayo@imag.fr

Téléphone: 04 72 72 85 69

Téléphone: 04 76 63 59 63



Si le renouvellement de ce projet est accepté, il est prévu que les porteurs actuels du projet passent le relais progressivement sur un an à un nouveau « binôme » de porteurs : Eddy Caron (MCF ENS-Lyon au LIP Lyon) et Christophe Prud’homme (Professeur à l’UJF, au LJK Grenoble).

3. Résumé du projet (30 lignes maximum)


Le projet Calcul Hautes Performances et Informatique Distribuée a été créé au sein du Cluster ISLE en 2005. L’objectif de ce projet est de fédérer en région Rhône-Alpes les recherches autour de l’informatique distribuée, des grappes et des grilles de calcul et de données, de la modélisation numérique et du calcul intensif. Des applications sont privilégiées notamment dans les domaines de l’environnement, des nano-sciences, des systèmes complexes en sciences du vivant et en sciences de l’univers, et l’on vise à l’émergence de nouveaux paradigmes de calcul. Vérifier les domaines d’applis

Ce projet rassemble les différents acteurs du calcul haute performance et de la modélisation numérique : des chercheurs en informatique parallèle et distribuée développant les concepts, les solutions et les outils pour l’informatique répartie et le calcul à haute performance ; des mathématiciens appliqués développant des méthodes numériques efficaces; et un « réseau d’utilisateurs » : physiciens, biophysiciens, chimistes, impliqués dans la modélisation et le calcul, notamment pour les microtechnologies et nano-sciences, les matériaux, l’environnement et la santé.

Ce projet fournit d’une part un cadre dynamique et pointu de spécification et de validation des concepts et des technologies issues des recherches en informatique distribuée. Il permet le développement de recherche et la mise au point de solutions visibles au niveau national et international (par ex. DIET, OAR, CiGri, …). D’autre part, les travaux autour des modèles et des applications bénéficient de cette interaction étroite avec les informaticiens et les spécialistes des grappes et des grilles.

Enfin, il est important de souligner que la mise en commun et le partage des ressources de calcul et de stockage sur toute la région est le passage obligé qui permettra aux acteurs du calcul de la région Rhône-Alpes d’aborder des problèmes de complexité et de dimensions jusqu’alors inaccessibles (participation à des projets européens et internationaux, collaborations avec les industriels régionaux et nationaux). A cet égard, le projet CHPID a participé à la création en 2008 de la communauté CIRA (Calcul Intensif en Rhône-Alpes), qui regroupe le réseau CIMENT à Grenoble, la Fédération Lyonnaise de Calcul à Haute Performance (FLCHP), et le projet MUSCAT à l’Université de Savoie. Les collaborations au sein de la communauté CIRA permettront une implication forte dans l'Institut des Grilles, tant pour des développements middlewares en lien avec Grid'5000 que pour une implication vers EGEE de nouvelles communautés, notamment en environnement et en sciences de l'univers. Les membres du projet CHPID sont également impliqués dans les groupes de travail calcul intensif organisés dans le cadre du pôle de compétivité Minalogic de Grenoble. + 1 mot sur participation grid5000, égée… + 1 mot sur RAGRID ()
Le projet est organisé en 2 volets « outils et méthodes logicielles et réseaux » et « outils et méthodes numériques », et un « réseau utilisateurs ». Ces volets interagissent évidemment en interne au projet, et ont éventuellement d’autres coopérations « externes ». Par ailleurs les méthodes développées sont l’objet de validation dans le cadre d’applications menées par le « réseau utilisateurs ».

4. Présentation du projet (environ 10 pages)

4.1 Le contexte du projet et son évolution depuis la création du cluster ISLE


Décrivez le contexte scientifique et international du projet. Comme il s’agit d’un renouvellement,vous veillerez à mentionner ce qui a évolué depuis 2005, notamment suite aux travaux du projet précédent.
Basé sur un existant fort : Compétences ok reconnues en Rhône-Alpes autour du calcul à haute performance, des grappes et des grilles

Communauté applicative bien identifiée (CIMENT et FLCHP)


Avec le support d’une infrastructure matérielle et logicielle importante : Réseau CIMENT à Grenoble, Fédération Lyonnaise de calcul à haute performance, Nœuds Grid’5000 à Lyon et à Grenoble et nœud EGEE/LCG tier 2 à l’Université de Savoie.

Ce qui a été fait :
** Animation scientifique

divers ateliers thématiques, cours doctoraux


Octobre 2006: Ecole Grid'5000 organisée à Grenoble dans les locaux de la Maison Jean Kuntzmann de Grenoble. Vania Marangozova et Olivier Richard (LIG/Mescal) ont activement participé à l'organisation de cette école et à la définition du contenu pédagogique.

Septembre 2007 : Tutorial EGEE organisé à Annecy dans les locaux qui hébergent le projet MUST.



** ADRs : Favoriser les sujets pluri-disciplinaires, combinant une problématique fondamentale et une application dimensionnante

Oct. 2005 : Etude de stratégies d’ordonnancement et de gestion de données pour des applications de physique et de bioinformatique sur la grille (thèse de J.-S. Gay, dir. : Y. Caniou, F. Desprez, LIP)

Oct. 2007 : Développement de schémas symplectiques adaptés pour la décomposition en temps de systèmes aux équations différentielles algébriques sur système multiprocesseurs.
(thèse de P. Linel, dir. : D. Tromeur-Dervout, ICJ, et L. Lefèvre, LAGEP)

Oct. 2008 : Des modèles d'analyse de performances dans de grands systèmes de type grille pour des applications de calcul intensif en astrophysique (dir : B. Gaugal, LIG, P. Valiron, LAOG, E. Caron, LIP)

Février 2007: Analyse et évaluation de simulations atomistiques sur architectures de calcul hybrides (CPU et GPU). Sujet de Master 2 Recherche proposé par Thierry Deutsch (CEA/INAC) et Jean-François Méhaut (LIG/Mescal).

Février 2007: Développement d'algorithmes parallèles de fouilles de données semi structurées. Sujet de Master 2 Recherche proposé par Alexandre Termier (LIG/HADAS) et Jean-François Méhaut (LIG/Mescal). Ce sujet est à la base d'un projet ANR qui a été soumis dans le programme Domaines Emergents. Le projet a comme partenaire le BRGM (géosciences), le LIRMM (Montpellier), le LIPN (Paris Nord), Bull (Echirolles) et le LIG (HADAS, MESCAL, MOAIS, MRIM)

** Participation à la création de CIRA : Passage de CIMENT - FLCHP - MUSCA MUST à une structuration régionale

La mise en commun effective dans chaque pôle (ressources de calcul, ingénieurs, échanges scientifiques) passe au niveau régional.

Rapprochement avec le CC-IN2P3

Un soutien dans le cadre du CPER

Participation à la mise en place d’un outil commun : grille Rhône-Alpes, en collaboration avec l’IN2P3.



Exemples de travaux en cours dans CIRA
L’expérimentation d’une grille de calcul à l’échelle de la région Rhône-Alpes, impliquant le réseau CIMENT (des universités grenobloises), les méso-centres de la Fédération Lyonnaise de Calcul Haute-Performance  (le PSMN à l’école normale supérieure de Lyon, le P2CHPD à l’UCB Lyon1 et le PCMS2I à l’école centrale de Lyon) et l’IN2P3, a été lancée début 2008. Les premières étapes de ce déploiement ont été définies comme suit :

- Tester le middleware DIET (développé au LIP) sur le réseau CIMENT (et sur CC-IN2P3 ? ) sur des applications dimensionantes.

- Tester le middleware Ci-Gri (développé au LIG) sur les machines de la FLCHP et de l’IN2P3(et sur CC-IN2P3 ?).

- Installation d’un point d’entrée EGEE à la FLCHP et sur le réseau CIMENT.

-

+ Bbilans et échanges de compétences



Créer des points d’entrée EGEE dans CIRA (Grenoble et Lyon)

Ces travaux sont présentée sous l’initiative RAGRID (https://ragrid.imag.fr)


** Evolution grille Rhône-Alpes

Vers une structuration régionale des moyens de calcul (cf création de l’Institut des Grilles du CNRS) - colloque « grille Rhône-Alpes » le 10 janvier 2008.

Les réflexions liées aux aspects techniques et à la gestion scientifique ont démarré :

Quelles machines ? Quelle infrastructure midlleware ? Comité de pilotage ?



4.2 Objectifs du projet


Présentation des objectifs scientifiques du projet, ainsi que des objectifs d’animation de la communauté scientifique
- Développement d’outils info pour le calcul intensif / dvt sur grille / …

- Développement de méthodes mathématiques et numériques pour le calcul intensif efficace : méthodes adaptées au calcul sur grille, couplage de modèles,…

- Interactions entre info et calcul : les “vraies” applications doivent permettre de spécifier et valider les concepts issus des recherches en informatique distribuée. Les avancées en informatique développées par les spécialistes des grappes et grilles doivent diffuser rapidement vers les chercheurs et utilisateurs du calcul intensif.

- communauté utilisateurs


4.3 Organisation du projet


Vous détaillerez l’organisation du projet en vous appuyant notamment sur un bilan de ce qui a bien ou moins bien fonctionné dans l’organisation du projet précédent.
** Organisation initiale du projet
Volet « outils et méthodes logiciels et réseaux »

INF1: Outils pour le déploiement d’applications sur les grappes et les grilles

INF2: Gestion de grandes quantités de données sur architecture à large échelle

INF3: Optimisation et maîtrise du transport des données dans les environnements de calcul haute performance distribué
Volet « outils et méthodes numériques »

NUM1: Méthodes de couplage et méthodes multi-résolution

NUM2: Méthodes de décomposition pour la validation et la vérification de simulations de CS par une approche multi-solveurs adaptatifs

NUM3: Nouveaux outils mathématiques pour le calcul scientifique
** Ce qu’on a décidé de changer et pourquoi…
** Ci-dessous l’ancienne version, à modifier et mettre à jour

Tâche INF-1 : « outils pour le déploiement d’applications sur les grappes et les grilles »


L'avènement des grilles de calcul et le degré de maturité atteint par les intergiciels existants permet désormais de déployer et exécuter de grandes applications sur une très grande quantité de ressources, qu'elles soient de calcul, de communication ou de stockage. Ces grilles de calcul sont des infrastructures connectant via l'Internet un grand nombre de supercalculateurs, qui peuvent être des grappes homogènes de PC, des grappes hybrides (CPU-GPU), des ordinateurs multiprocesseurs ou encore des machines vectorielles classiques.
En ce qui concerne les architectures pour le calcul intensif, il est important de noter l'intérêt une forte évolution vers les architectures hybrides mixant des CPU et des GPU. En, particulier, le CEA et le CNRS viennent d'annoncer l'acquisition d'une grande plate-forme de calcul hybride comprenant 8544 cœurs généralistes et 24576 cœurs GPU. La puissance crête de cette plate-forme devrait atteindre 300 Tflops. Au niveau régional, l'INRIA Rhône-Alpes et le LIG sont également en train de mettre en place une plate-forme de calcul hybride à une échelle plus modeste (2048 cœurs généralistes et 12238 cœurs GPU). Que ce soit au niveau de la programmation, de ses exécutifs, ce nouveau type de plate-forme pose de nouvelles problématiques scientifiques et techniques. Les travaux du projet CPHID pourront bien évidemment s'appuyer sur cette nouvelle plate-forme.
Un grand nombre de projets dans le monde proposent des solutions pour le déploiement d’applications dans les grilles. Cependant, la plupart d’entre eux privilégient les aspects logiciels au détriment des aspects plus fondamentaux. Plusieurs équipes en Rhône-Alpes s’intéressent aux aspects théoriques de la gestion de ressource et de données et au transfert des résultats dans des logiciels du domaine public et validés sur des applications dans plusieurs thèmes scientifiques. En particulier, on peut citer le logiciel OAR développé à Grenoble par les projets MESCAL et MOAIS, KAAPI développé par le projet MOAIS ou DIET développé à Lyon par le projet GRAAL.

  • OAR : L'équipe MESCAL en collaboration étroite avec l'équipe MOAIS développe le gestionnaire de ressources pour grappe et grille OAR1. La structure générale se décompose en deux niveaux d'interaction : le niveau grappe et le niveau grille. Au niveau grappe, un utilisateur soumet directement ses tâches au gestionnaire qui fait l'allocation et le placement suivant son algorithme d'ordonnancement. Au niveau de la grille, un autre gestionnaire (aussi appelé metascheduler dans la littérature) interagit avec les gestionnaires de grappe pour attribuer les tâches sur une ou plusieurs grappes. Notre objectif est d'étendre les ordonnanceurs avec les propositions d'algorithmes issues du travail effectué au sein du projet, et d'étudier leurs impacts sur les plates-formes de production utilisant le gestionnaire OAR.

  • DIET : Le projet GRAAL développe l'environnement DIET2 (Distributed Interactive Engineering Toolbox) qui permet la mise en place d'applications utilisant le paradigme client-agent-serveur sur la grille. En plus de la possibilité d'intégrer divers types d'applications dans ce modèle, DIET permet à l'utilisateur « expert » de modifier les ordonnanceurs utilisés par l'outil en intégrant ses propres heuristiques et ses propres mesures de performances. Par ailleurs, contrairement aux autres environnements du même type comme NetSolve ou Ninf, l'ordonnanceur n'est plus centralisé mais distribué sur les différents noeuds de la grille pour avoir une meilleure extensibilité. De plus, l'API client GridRPC permet d'avoir des requêtes synchrones et asynchrones. Notre but consistera donc à intégrer dans DIET les heuristiques développées dans le projet et de les valider sur les applications cibles de l'outil (simulation en physique, chimie, serveurs d'expertise en matrices creuses).

  • KAAPI : Le projet MOAIS développe le support exécutif KAAPI3 (Kernel for Adaptative, Asynchronous Parallel and Interactive programming) qui permet une description des programmes très parallèles indépendante de l'architecture matérielle de grappe ou grilles utilisées. L'ordonnancement utilisé dans KAAPI est distribué et est montré théoriquement efficace sur des architectures hétérogènes pour une large classe de programmes parallèles. KAAPI possède une représentation à l'exécution des programmes sous la forme d'un graphe dynamique de flot de données qui peut être sauvegardé en vue d'être tolérant aux pannes ou bien afin de migrer une exécution afin de libérer des ressources de calcul. KAAPI s'utilise à travers différentes interfaces (en C++ avec Athapascan, en CORBA avec HOMA) et ce qui lui permet d'être utilisable dans de nombreuses applications. Notre objectif consistera à intégrer dans KAAPI les heuristiques d'ordonnancement de tâches dans les grilles en tenant compte des dépendances de données exprimées. Les validations sont de deux niveaux: d'une part, il s'agit, grâce aux fonctionnalités de tolérance aux pannes et de migration, d'étudier et d'expérimenter des services de niveau middleware pour l'exploitation des cycles inutilisés dans les grilles pour des applications parallèles avec dépendances de données, tout en assurant une continuité de l'exécution malgré le retrait de ressource réquisitionnée par un gestionnaire ; d'autre part, il s'agit de montrer que ces services permettent de mener à bien des calculs efficaces pour des problèmes dont les temps de calcul cumulés sur un processeur se comptent en années.

Le but de cette tâche sera donc d’étudier des stratégies d’ordonnancement et de gestion de données dans les grilles en collaboration avec des scientifiques d’autres disciplines (physique, astrophysique, chimie, bioinformatique, mathématiques appliquées). En particulier nous nous intéresserons aux problèmes suivants :



  • Ordonnancement de graphes de tâches dans les grilles

  • Ordonnancement conjoint des tâches de calcul et de la réplication

  • Ordonnancement des algorithmes à grain adaptatif

  • Prise compte des opérations de déploiements dans les ordonnancements

  • Impacts des demandes complexes de ressources (co-allocation, demandes multi-critères, présence de bibliothèques spécifiques) sur l'architecture des gestionnaires de ressource et les politiques d'ordonnancement.

  • Supports exécutifs pour architectures hybrides

  • Prédiction de performances d’applications sur les grappes

  • ….

Les heuristiques d’ordonnancement seront développées en collaboration avec les scientifiques des autres disciplines lors de la transformation de leur application pour leur portage sur les grappes et/ou les grilles. Trois équipes « applicatives » participent au projet :



  • Application de dynamique moléculaire : la simulation moléculaire en physique et chimie possède les caractéristiques générales suivantes : elle est fortement parallèle (benchmarks sur 100 à 1000 procs), elle génére des données importantes qui doivent être accessibles pour post-traitement. Ce type d’application fournit des problèmes intéressant à la fois du côté de l’ordonnancement des tâches, que de la gestion des données résultats.

  • Simulations atomistiques: Les calculs de structure électronique dits ab initio constituent la brique de base d'études de nouveaux objets ou dispositifs. La simulation de la structure des propriétés se base sur la mécanique quantique et plus précisément sur l'équation de Schrodinger. La complexité des calculs dépend des molécules utilisées, de leur nombre mais également de l'environnement dans lequel elles sont plongées. De nouvelles approches sont étudiées au niveau algorithmique et exécutifs pour intégrer des GPU dans le processus de simulation.

  • Applications d’astrophysiques : a) mise en oeuvre de protocoles permettant de déclencher des calculs de modélisation sur des grilles de calcul en réponse à des requêtes utilisateur ; développement d'outils d'analyse de simulations numériques utilisant à la fois des grilles de calcul et de données. b) déploiement d'applications multi-paramétriques sur EGEE dans le cadre du déploiement du cluster AA d'EGEE-III. c) test de récents développements sur le logiciel d'astrophysique moléculaire quantique MOLSCAT sur des architectures hybrides intégrant des GPUs.

  • Application de bioinformatique : L'IBCP propose l'étude de deux applications bioinformatiques qui pourront tirer profit d'une intégration adaptée dans un système informatique de grande taille: l'assignation automatique et le calcul de structures de grands ensembles protéiques d'après des données expérimentales obtenue par la technologie innovante de RMN du solide; ainsi que la simulation de dynamique moléculaire de grands systèmes moléculaires de protéines. L'apport de grands systèmes distribués pour ces deux applications permettra l'étude de plages plus importantes de paramètres ambigus obtenus d'après les mesures expérimentales, ainsi que de travailler avec des modèles plus réalistes lors des simulations des systèmes moléculaires. Le passage à l'échelle nécessitera notamment des mécanismes de parallélisation efficaces (à propos des passages de messages, MPI), et une optimisation de la gestion des données de grandes tailles obtenues lors des calculs, ce qui impliquera notamment un contrôle et une optimisation des réseaux impliqués dans ces deux mécanismes. D'un point de vue biologique, l'intérêt est de permettre l'étude de systèmes moléculaires qui sont actuellement difficilement accessible autrement que sur supercalculateur, par exemple d'étudier l'interaction protéines-ADN au sein du système "nucléosome", soit 250 000 atomes pour 8 protéines et un fragment de 140 bases nucléiques, pouvant demander près de 20 années de calculs pour certaines modélisations sur processeur standard.L’application PattInProt relève du domaine bioinformatique de la recherche de sites et signatures de protéine. Elle est pertinente dans un contexte d'analyse des grands volumes de données biologiques telles que celles découvertes par les programmes de séquençages de génomes complets.

  • Application de physique : Les expériences LHC au CERN produiront des milliers de To de données à partir de fin 2008. Ces dernières seront analysées par quelques milliers de physiciens à travers le monde. Pour traiter les données des expériences LHC, la puissance de calcul nécessaire est obligatoirement répartie au niveau international sur la grille LCG (LHC Computing Grid) qui s’appuie sur l’infrastructure EGEE. Elle justifie une étude approfondie de l'ordonnancement des tâches en fonction des disponibilités des grappes et de la localisation des données.Les expériences LHC au CERN produiront des centaines de To de données à l'horizon 2007. Ces dernières seront analysées par des centaines de physiciens à travers le monde. Pour traiter les données des expériences LHC, la puissance de calcul nécessaire est obligatoirement répartie au niveau international. Elle justifie une étude approfondie de l'ordonnancement des tâches en fonction des disponibilités des grappes et de la localisation des données.

  • Application en optimisation combinatoire : Ces applications nécessitent des puissances de plusieurs milliers de processeurs. Elles ont la propriété d'être fortement parallèle mais irrégulière et seraient à même d'exploiter les ressources inutilisées sur une grille.

  • CAO Electronique : Les projets Mescal et Moais du LIG sont également impliqués dans le projet Ciloe du pôle de compétitivité Minalogic. Ce projet devrait nous fournir des applications provenant des PME/PMI Grenobloises spécialisées dans la conception et l'optimisation de circuits électroniques.



Coordination : F. Desprez (LIP ENS Lyon)

Participants :

  • LIP ENS Lyon (projet GRAAL) : Y. Caniou, E. Caron, J.-Y. l’Excellent, Loris Marchal, Y. Robert , F. Vivien, Y. Robert

  • ID-IMAGLIG (projet MESCAL) : J.F Méhaut, V. Marangozova, O. Richard

  • ID-IMAG (projet MOAIS) : G.Huard, G. Mounié, J.-L. Roch, T. Gautier

  • Lab. de Physique de la Matière Condensée et Nanostruct.: J.-L. Barrat

  • Institut de Biologie et Chimie des Protéïnes (IBCP)IBCP : C. Blanchet, R. Lavery, A. BockmanC.n Combet

  • LAOG : P. Valiron, A. Faure, S. Maret, C. Ceccarelli

  • CRAL : H. Wozniak, J. Blaizot, B. Guiderdoni

  • IN2P3-LAPP : S. Jezequel, N. Neyroud

Relations industrielles

  • IBM

  • BULL

  • EDXACT

  • INFINISCALE

  • ICATIS

  • IFP



Tâche INF-2 : « gestion de grandes quantités de données sur architectures large échelle »

Cette tâche s’intéresse à la gestion performante de grandes quantités de données structurées ou non sur des architectures de grande taille de type grille, fortement connectées pour des problématiques de type calcul scientifique au sens large, simulation, bio-informatique etc.


Les grandes quantités de données mises en jeu (l’unité de base est le tera-octets) obligent à distribuer le stockage sur plusieurs sites au moins logiquement, c’est-à-dire différents disques dans une même grappe, voire physiquement, sur différentes grappes reliées par des réseaux haut débit. Ce stockage distribué implique la disponibilité de mécanismes haute performance de transfert entre les éléments de la grille pour apporter les données là où elles sont utiles, qui sera souvent différent de leur lieu de stockage. Ce transfert est basé sur l’utilisation de protocoles réseau haute-performance qui doivent être utilisés au maximum de leur capacité, ce qui suppose de les ordonnancer de manière à optimiser leur rendement. Une approche intéressante pour limiter les temps d’attente consiste à anticiper le besoin des données dans les applications en les transférant avant qu’elles ne soient nécessaires. Cela suppose une coopération forte entre l’ordonnanceur de travaux, le système sous-jacent et les applications. Qui dit transfert dit existence de copie sur le site qui sert de stockage mais également sur le site d’utilisation des données ; cette nécessité de recopie génère de potentiels problèmes de cohérence et de version entre les différents sites contenant les données.

Sur de telles quantités de données se pose rapidement le problème de l’exploration et de la recherche. Les approches traditionnelles, basées sur une structuration en fichiers, montre vite leur limite en terme de recherche et d’indexation. Les approches traditionnelles pour la gestion des données, basées sur les SGBD relationnels ou objets, ne se montrent pas capables de gérer de telles quantités de données, particulièrement distribuées. Il est donc nécessaire de chercher de nouvelles pistes pour fournir des opérations évoluées de recherche et de sélection, sans même considérer un support transactionnel, sur de telles masses de données. Cela passe par une séparation claire entre données et méta-données, tout en autorisant une certaine souplesse dans la définition de ces dernières. Les SGBD n'offrent pas assez de souplesse alors que les systèmes de gestion de fichiers n'offrent pas de fonctionnalités d'assez haut niveau.


Les infrastructures actuelles de gestion de données sur grilles sont, d’une part, basées sur la notion de fichiers et gèrent des catalogues de fichiers ainsi que, pour les plus évoluées, des catalogues de réplicats. Il n’existe pas de support pour une gestion fine des critères d’indexation, de la duplication ou de la gestion de la cohérence entre les copies. De même rien n’est proposé pour anticiper sur les besoins des données des applications ou des travaux dans le cadre d’un gestionnaire de travaux.
À l’IN2P3, pour l'analyse des centaines milliers de To de données de physique produites au LHC, l'indexation et l'ordonnancement des tâches par rapport à leur localisation sont encore des sujets d'étude à approfondir.
Les travaux à mener dans ce sous-projet sont de trois types :

  • Duplication et cohérence Le choix des protocoles de cohérence pour les méta-données et les données adaptées aux contraintes de la grille et permettant quand même une bonne efficacité est crucial et ne peut être défini a priori pour une application quelconque sur n’importe quelle grille. La détermination des paramètres clés, de leur rôle dans les performances est un problème fondamental pour un système de gestion de données, elle doit être menée tant d’un point de vue fondamental, modélisation, qu’appliqué, par des expérimentations et de la simulation.

  • Indexation L’utilisation des méta-données pour maintenir un index permettant des recherches efficaces ainsi que le maintien de cet index au cours du temps, même en cas de modification des données, est un aspect important pour la fonctionnalité du système et son utilisation.

  • Ordonnancement Les approches pour faire coopérer des ordonnanceurs de travaux et d’application avec le support d’indexation et de stockage afin de réduire, ou de supprimer, les temps d’attente dus au manque de données sont encore ouvertes, tant du point de vue interaction qu’interfaçage. Ce travail se fera en collaboration étroite avec le sous-projet de déploiement d’applications sur les grappes et les grilles.


Coordination : Y. Denneulin (ID IMAGLIG)

Partenaires

  • LIP (projet GRAAL) : F. Desprez, Y. Caniou, E. Caron, L. Marchal, Y. Robert, F. Vivien

  • LIG (projet MESCAL), ID-IMAG : Y. Denneulin, A. Legrand

  • MOAIS, ID-IMAG : G. Mounié, G. Huard, D. Trystram

  • LSR-IMAG : C. Roncancio, C. Labbé ?

  • IN2P3-LAPP : N. Neyroud, S. Jezequel

Relations industrielles


  • Bull

  • IBM

  • ICATIS



Tâche INF-3 : « optimisation et maîtrise du transport de données dans les environnements de calcul haute performance distribués »

Cette tâche s'intéresse plus particulièrement aux services et protocoles de communications des environnements distribués dédiés aux grands calculs et aux traitements de données tréstrès volumineuses. Le réseau global d’une grille est interconnexion tréstrès hiérarchique de réseaux hétérogènes. Il induit une latence de communication importante et incompressible due à la distance intersites. C’est aussi une ressource partagée qui peut exhiber des performances, une sécurité et des fonctionnalités très variables parfois incompatibles avec les algorithmes de calcul ou de replication classiques.

Du côté des applications, les transferts d'information sur ces liaisons longues distances reposent actuellement sur les services et les protocoles de transport de l’Internet. Un service de transport expose un ensemble de fonctions de communication abstraites au niveau supérieur. Un protocole, d’un autre côté, se réfère aux mécanismes permettant à un processus de transport émetteur et un processus de transport récepteur de coopérer effectivement pour fournir ce service.

Les transferts dans la grilles concernent aussi bien le déploiement des applications, des données d’entrée ou de sortie des programmes de calculs, les échanges entre les logiciels de contrôles et les communications interprocessus. Ce sont donc des transferts aux besoins de performances très variés.


Dans le contexte très haut débit, il apparaît que les pertes de performance (latence et pertes de données) dues à diverses formes de congestions et de dépassement de capacité se produisent très souvent par rafale, car les volumes de données sont massifs et font écrouler aussi bien les performances individuelles des flux que le taux d’utilisation de la ressource réseau globale. Ainsi, les mécanismes de contrôle de congestion dérivés de l'algorithme de TCP s'avèrent inappropriés à ces très larges réseaux.

Depuis quelques années, des solutions de transport spécifiques sont étudiées dans le contexte des grilles haute performance. Ces travaux visent à augmenter la fonction réponse du protocole TCP pour les liens à très haut produit débit délai tout en conservant les propriétés d'équité inter-flux, d'équité inter-protocoles (TCP friendlieness), d'équité selon les distances (RTT fairness) et d'équilibre de TCP. D’autres travaux masquent les pertes volumineuses par leur recouvrement à l’aide de multiples flux parallèles. Actuellement aucune solution ne conserve simultanément toutes les propriétés. Il est fort probable qu'aucune alternative ne puisse être plus universelle que TCP lui-même et qu'il faudra, dans les grilles, adapter dynamiquement le mécanisme de contrôle de congestion ou le protocole au contexte de l’infrastructure et des applications et gérer la ressource réseau de manière appropriée (QoS).


1) Pour avancer vers cet objectif , dans ce projet, nous proposons d’analyser quantitativement les trafics générés par les applications et d’étudier leurs besoins de transport en terme de débit, variation de débit et de contraintes temporelles.

Pour cela, nous souhaitons travailler sur la capture et l’analyse de signatures de communication d'applications de calcul haute performance distribuées à partir des applications des collaborateurs de ce projet. Cette étude débouchera sur une modélisation des trafics grille.

2) Parallèlement, nous travaillerons sur une modélisation fine de l'interconnexion réseau d'une grille (systèmes d'extrémités, réseau local, routeur d'accès, firewall, coeur...) qui sera validée par des travaux expérimentaux dans le contexte de la plate-forme Grid5000Grid’5000 et de nos clusters locaux. Pour cela, nous souhaitons collaborer avec les constructeurs et les équipementiers.

3) De là, une typologie des services requis ainsi que la spécification d'un service de transport générique, sous forme d’un WebService pour la grille seront définis.

Nous nous assurerons de la bonne intégration de ce service dans l’architecture standard des middleware de grille (OGSA) en participant activement aux groupes de travail de l’OGF (Open Grid Forum)u GGF.

Une étude comparative expérimentale des nouveaux protocoles de transport et de transfert de l’information vis-à-vis des besoins identifiés et des propriétés attendues sera menée. On cherchera à définir un benchmark de service et de protocoles de transport pour les grilles.


Coordination : P. Vicat-Blanc Primet (LIP ENS Lyon)

Participants :

  • LIP ENS Lyon (projet RESO) : P. Vicat-Blanc Primet, L. Lefevre, O. Gluck, C. Pham

  • ID-IMAGLIG (projet MESCAL) : Y. Denneulin, O. Richard, A. Legrand

  • ID-MAG (projet MOAIS) : G. Mounié

Applications privilégiées :

  • IBCP : C. Blanchet

Relations industrielles

  • ICATIS

  • Juniper networks

  • Foundry









Yüklə 152,21 Kb.

Dostları ilə paylaş:
  1   2   3




Verilənlər bazası müəlliflik hüququ ilə müdafiə olunur ©muhaz.org 2020
rəhbərliyinə müraciət

    Ana səhifə