Fiche sresr2
Yüklə 152,21 Kb.
|
- Bu səhifədəki naviqasiya:
- 1. Titre du projet
- 3. Résumé du projet (30 lignes maximum)
- 4. Présentation du projet (environ 10 pages)
- 4.2 Objectifs du projet
- 4.3 Organisation du projet
- Tâche INF-1 : « outils pour le déploiement d’applications sur les grappes et les grilles »
- Tâche INF-2 : « gestion de grandes quantités de données sur architectures large échelle »
- Relations industrielles
|
Fiche Renouvellement projet 2009-2012 A renvoyer pour le 5 mai 2008 dernier délai par email à Yves.Ledru@imag.fr et Carole.Silvy@imag.fr 1. Titre du projet
2. Porteurs du projet
Si le renouvellement de ce projet est accepté, il est prévu que les porteurs actuels du projet passent le relais progressivement sur un an à un nouveau « binôme » de porteurs : Eddy Caron (MCF ENS-Lyon au LIP Lyon) et Christophe Prud’homme (Professeur à l’UJF, au LJK Grenoble). 3. Résumé du projet (30 lignes maximum)Le projet Calcul Hautes Performances et Informatique Distribuée a été créé au sein du Cluster ISLE en 2005. L’objectif de ce projet est de fédérer en région Rhône-Alpes les recherches autour de l’informatique distribuée, des grappes et des grilles de calcul et de données, de la modélisation numérique et du calcul intensif. Des applications sont privilégiées notamment dans les domaines de l’environnement, des nano-sciences, des systèmes complexes en sciences du vivant et en sciences de l’univers, et l’on vise à l’émergence de nouveaux paradigmes de calcul. Vérifier les domaines d’applis Ce projet rassemble les différents acteurs du calcul haute performance et de la modélisation numérique : des chercheurs en informatique parallèle et distribuée développant les concepts, les solutions et les outils pour l’informatique répartie et le calcul à haute performance ; des mathématiciens appliqués développant des méthodes numériques efficaces; et un « réseau d’utilisateurs » : physiciens, biophysiciens, chimistes, impliqués dans la modélisation et le calcul, notamment pour les microtechnologies et nano-sciences, les matériaux, l’environnement et la santé. Ce projet fournit d’une part un cadre dynamique et pointu de spécification et de validation des concepts et des technologies issues des recherches en informatique distribuée. Il permet le développement de recherche et la mise au point de solutions visibles au niveau national et international (par ex. DIET, OAR, CiGri, …). D’autre part, les travaux autour des modèles et des applications bénéficient de cette interaction étroite avec les informaticiens et les spécialistes des grappes et des grilles. Enfin, il est important de souligner que la mise en commun et le partage des ressources de calcul et de stockage sur toute la région est le passage obligé qui permettra aux acteurs du calcul de la région Rhône-Alpes d’aborder des problèmes de complexité et de dimensions jusqu’alors inaccessibles (participation à des projets européens et internationaux, collaborations avec les industriels régionaux et nationaux). A cet égard, le projet CHPID a participé à la création en 2008 de la communauté CIRA (Calcul Intensif en Rhône-Alpes), qui regroupe le réseau CIMENT à Grenoble, la Fédération Lyonnaise de Calcul à Haute Performance (FLCHP), et le projet MUSCAT à l’Université de Savoie. Les collaborations au sein de la communauté CIRA permettront une implication forte dans l'Institut des Grilles, tant pour des développements middlewares en lien avec Grid'5000 que pour une implication vers EGEE de nouvelles communautés, notamment en environnement et en sciences de l'univers. Les membres du projet CHPID sont également impliqués dans les groupes de travail calcul intensif organisés dans le cadre du pôle de compétivité Minalogic de Grenoble. + 1 mot sur participation grid5000, égée… + 1 mot sur RAGRID ()
4.1 Le contexte du projet et son évolution depuis la création du cluster ISLEDécrivez le contexte scientifique et international du projet. Comme il s’agit d’un renouvellement,vous veillerez à mentionner ce qui a évolué depuis 2005, notamment suite aux travaux du projet précédent. Basé sur un existant fort : Compétences ok reconnues en Rhône-Alpes autour du calcul à haute performance, des grappes et des grilles Communauté applicative bien identifiée (CIMENT et FLCHP) Avec le support d’une infrastructure matérielle et logicielle importante : Réseau CIMENT à Grenoble, Fédération Lyonnaise de calcul à haute performance, Nœuds Grid’5000 à Lyon et à Grenoble et nœud EGEE/LCG tier 2 à l’Université de Savoie. Ce qui a été fait : ** Animation scientifique divers ateliers thématiques, cours doctoraux Octobre 2006: Ecole Grid'5000 organisée à Grenoble dans les locaux de la Maison Jean Kuntzmann de Grenoble. Vania Marangozova et Olivier Richard (LIG/Mescal) ont activement participé à l'organisation de cette école et à la définition du contenu pédagogique. Septembre 2007 : Tutorial EGEE organisé à Annecy dans les locaux qui hébergent le projet MUST. ** ADRs : Favoriser les sujets pluri-disciplinaires, combinant une problématique fondamentale et une application dimensionnante Oct. 2005 : Etude de stratégies d’ordonnancement et de gestion de données pour des applications de physique et de bioinformatique sur la grille (thèse de J.-S. Gay, dir. : Y. Caniou, F. Desprez, LIP) Oct. 2007 : Développement de schémas symplectiques adaptés pour la décomposition en temps de systèmes aux équations différentielles algébriques sur système multiprocesseurs. (thèse de P. Linel, dir. : D. Tromeur-Dervout, ICJ, et L. Lefèvre, LAGEP) Oct. 2008 : Des modèles d'analyse de performances dans de grands systèmes de type grille pour des applications de calcul intensif en astrophysique (dir : B. Gaugal, LIG, P. Valiron, LAOG, E. Caron, LIP) Février 2007: Analyse et évaluation de simulations atomistiques sur architectures de calcul hybrides (CPU et GPU). Sujet de Master 2 Recherche proposé par Thierry Deutsch (CEA/INAC) et Jean-François Méhaut (LIG/Mescal). Février 2007: Développement d'algorithmes parallèles de fouilles de données semi structurées. Sujet de Master 2 Recherche proposé par Alexandre Termier (LIG/HADAS) et Jean-François Méhaut (LIG/Mescal). Ce sujet est à la base d'un projet ANR qui a été soumis dans le programme Domaines Emergents. Le projet a comme partenaire le BRGM (géosciences), le LIRMM (Montpellier), le LIPN (Paris Nord), Bull (Echirolles) et le LIG (HADAS, MESCAL, MOAIS, MRIM) ** Participation à la création de CIRA : Passage de CIMENT - FLCHP - MUSCA MUST à une structuration régionale La mise en commun effective dans chaque pôle (ressources de calcul, ingénieurs, échanges scientifiques) passe au niveau régional. Rapprochement avec le CC-IN2P3 Un soutien dans le cadre du CPER Participation à la mise en place d’un outil commun : grille Rhône-Alpes, en collaboration avec l’IN2P3. Exemples de travaux en cours dans CIRA L’expérimentation d’une grille de calcul à l’échelle de la région Rhône-Alpes, impliquant le réseau CIMENT (des universités grenobloises), les méso-centres de la Fédération Lyonnaise de Calcul Haute-Performance (le PSMN à l’école normale supérieure de Lyon, le P2CHPD à l’UCB Lyon1 et le PCMS2I à l’école centrale de Lyon) et l’IN2P3, a été lancée début 2008. Les premières étapes de ce déploiement ont été définies comme suit : - Tester le middleware DIET (développé au LIP) sur le réseau CIMENT (et sur CC-IN2P3 ? ) sur des applications dimensionantes. - Tester le middleware Ci-Gri (développé au LIG) sur les machines de la FLCHP et de l’IN2P3(et sur CC-IN2P3 ?). - Installation d’un point d’entrée EGEE à la FLCHP et sur le réseau CIMENT. - + Bbilans et échanges de compétences Créer des points d’entrée EGEE dans CIRA (Grenoble et Lyon) Ces travaux sont présentée sous l’initiative RAGRID (https://ragrid.imag.fr) ** Evolution grille Rhône-Alpes Vers une structuration régionale des moyens de calcul (cf création de l’Institut des Grilles du CNRS) - colloque « grille Rhône-Alpes » le 10 janvier 2008. Les réflexions liées aux aspects techniques et à la gestion scientifique ont démarré : Quelles machines ? Quelle infrastructure midlleware ? Comité de pilotage ? 4.2 Objectifs du projetPrésentation des objectifs scientifiques du projet, ainsi que des objectifs d’animation de la communauté scientifique - Développement d’outils info pour le calcul intensif / dvt sur grille / … - Développement de méthodes mathématiques et numériques pour le calcul intensif efficace : méthodes adaptées au calcul sur grille, couplage de modèles,… - Interactions entre info et calcul : les “vraies” applications doivent permettre de spécifier et valider les concepts issus des recherches en informatique distribuée. Les avancées en informatique développées par les spécialistes des grappes et grilles doivent diffuser rapidement vers les chercheurs et utilisateurs du calcul intensif. - communauté utilisateurs 4.3 Organisation du projetVous détaillerez l’organisation du projet en vous appuyant notamment sur un bilan de ce qui a bien ou moins bien fonctionné dans l’organisation du projet précédent. ** Organisation initiale du projet Volet « outils et méthodes logiciels et réseaux » INF1: Outils pour le déploiement d’applications sur les grappes et les grilles INF2: Gestion de grandes quantités de données sur architecture à large échelle INF3: Optimisation et maîtrise du transport des données dans les environnements de calcul haute performance distribué Volet « outils et méthodes numériques » NUM1: Méthodes de couplage et méthodes multi-résolution NUM2: Méthodes de décomposition pour la validation et la vérification de simulations de CS par une approche multi-solveurs adaptatifs NUM3: Nouveaux outils mathématiques pour le calcul scientifique ** Ce qu’on a décidé de changer et pourquoi… ** Ci-dessous l’ancienne version, à modifier et mettre à jour Tâche INF-1 : « outils pour le déploiement d’applications sur les grappes et les grilles »L'avènement des grilles de calcul et le degré de maturité atteint par les intergiciels existants permet désormais de déployer et exécuter de grandes applications sur une très grande quantité de ressources, qu'elles soient de calcul, de communication ou de stockage. Ces grilles de calcul sont des infrastructures connectant via l'Internet un grand nombre de supercalculateurs, qui peuvent être des grappes homogènes de PC, des grappes hybrides (CPU-GPU), des ordinateurs multiprocesseurs ou encore des machines vectorielles classiques. En ce qui concerne les architectures pour le calcul intensif, il est important de noter l'intérêt une forte évolution vers les architectures hybrides mixant des CPU et des GPU. En, particulier, le CEA et le CNRS viennent d'annoncer l'acquisition d'une grande plate-forme de calcul hybride comprenant 8544 cœurs généralistes et 24576 cœurs GPU. La puissance crête de cette plate-forme devrait atteindre 300 Tflops. Au niveau régional, l'INRIA Rhône-Alpes et le LIG sont également en train de mettre en place une plate-forme de calcul hybride à une échelle plus modeste (2048 cœurs généralistes et 12238 cœurs GPU). Que ce soit au niveau de la programmation, de ses exécutifs, ce nouveau type de plate-forme pose de nouvelles problématiques scientifiques et techniques. Les travaux du projet CPHID pourront bien évidemment s'appuyer sur cette nouvelle plate-forme. Un grand nombre de projets dans le monde proposent des solutions pour le déploiement d’applications dans les grilles. Cependant, la plupart d’entre eux privilégient les aspects logiciels au détriment des aspects plus fondamentaux. Plusieurs équipes en Rhône-Alpes s’intéressent aux aspects théoriques de la gestion de ressource et de données et au transfert des résultats dans des logiciels du domaine public et validés sur des applications dans plusieurs thèmes scientifiques. En particulier, on peut citer le logiciel OAR développé à Grenoble par les projets MESCAL et MOAIS, KAAPI développé par le projet MOAIS ou DIET développé à Lyon par le projet GRAAL.
Le but de cette tâche sera donc d’étudier des stratégies d’ordonnancement et de gestion de données dans les grilles en collaboration avec des scientifiques d’autres disciplines (physique, astrophysique, chimie, bioinformatique, mathématiques appliquées). En particulier nous nous intéresserons aux problèmes suivants :
Les heuristiques d’ordonnancement seront développées en collaboration avec les scientifiques des autres disciplines lors de la transformation de leur application pour leur portage sur les grappes et/ou les grilles. Trois équipes « applicatives » participent au projet :
Coordination : F. Desprez (LIP ENS Lyon) Participants :
Relations industrielles
Tâche INF-2 : « gestion de grandes quantités de données sur architectures large échelle »Cette tâche s’intéresse à la gestion performante de grandes quantités de données structurées ou non sur des architectures de grande taille de type grille, fortement connectées pour des problématiques de type calcul scientifique au sens large, simulation, bio-informatique etc. Les grandes quantités de données mises en jeu (l’unité de base est le tera-octets) obligent à distribuer le stockage sur plusieurs sites au moins logiquement, c’est-à-dire différents disques dans une même grappe, voire physiquement, sur différentes grappes reliées par des réseaux haut débit. Ce stockage distribué implique la disponibilité de mécanismes haute performance de transfert entre les éléments de la grille pour apporter les données là où elles sont utiles, qui sera souvent différent de leur lieu de stockage. Ce transfert est basé sur l’utilisation de protocoles réseau haute-performance qui doivent être utilisés au maximum de leur capacité, ce qui suppose de les ordonnancer de manière à optimiser leur rendement. Une approche intéressante pour limiter les temps d’attente consiste à anticiper le besoin des données dans les applications en les transférant avant qu’elles ne soient nécessaires. Cela suppose une coopération forte entre l’ordonnanceur de travaux, le système sous-jacent et les applications. Qui dit transfert dit existence de copie sur le site qui sert de stockage mais également sur le site d’utilisation des données ; cette nécessité de recopie génère de potentiels problèmes de cohérence et de version entre les différents sites contenant les données. Sur de telles quantités de données se pose rapidement le problème de l’exploration et de la recherche. Les approches traditionnelles, basées sur une structuration en fichiers, montre vite leur limite en terme de recherche et d’indexation. Les approches traditionnelles pour la gestion des données, basées sur les SGBD relationnels ou objets, ne se montrent pas capables de gérer de telles quantités de données, particulièrement distribuées. Il est donc nécessaire de chercher de nouvelles pistes pour fournir des opérations évoluées de recherche et de sélection, sans même considérer un support transactionnel, sur de telles masses de données. Cela passe par une séparation claire entre données et méta-données, tout en autorisant une certaine souplesse dans la définition de ces dernières. Les SGBD n'offrent pas assez de souplesse alors que les systèmes de gestion de fichiers n'offrent pas de fonctionnalités d'assez haut niveau. Les infrastructures actuelles de gestion de données sur grilles sont, d’une part, basées sur la notion de fichiers et gèrent des catalogues de fichiers ainsi que, pour les plus évoluées, des catalogues de réplicats. Il n’existe pas de support pour une gestion fine des critères d’indexation, de la duplication ou de la gestion de la cohérence entre les copies. De même rien n’est proposé pour anticiper sur les besoins des données des applications ou des travaux dans le cadre d’un gestionnaire de travaux. À l’IN2P3, pour l'analyse des centaines milliers de To de données de physique produites au LHC, l'indexation et l'ordonnancement des tâches par rapport à leur localisation sont encore des sujets d'étude à approfondir. Les travaux à mener dans ce sous-projet sont de trois types :
Coordination : Y. Denneulin (ID IMAGLIG) Partenaires
Relations industrielles
Tâche INF-3 : « optimisation et maîtrise du transport de données dans les environnements de calcul haute performance distribués »Cette tâche s'intéresse plus particulièrement aux services et protocoles de communications des environnements distribués dédiés aux grands calculs et aux traitements de données tréstrès volumineuses. Le réseau global d’une grille est interconnexion tréstrès hiérarchique de réseaux hétérogènes. Il induit une latence de communication importante et incompressible due à la distance intersites. C’est aussi une ressource partagée qui peut exhiber des performances, une sécurité et des fonctionnalités très variables parfois incompatibles avec les algorithmes de calcul ou de replication classiques. Du côté des applications, les transferts d'information sur ces liaisons longues distances reposent actuellement sur les services et les protocoles de transport de l’Internet. Un service de transport expose un ensemble de fonctions de communication abstraites au niveau supérieur. Un protocole, d’un autre côté, se réfère aux mécanismes permettant à un processus de transport émetteur et un processus de transport récepteur de coopérer effectivement pour fournir ce service. Les transferts dans la grilles concernent aussi bien le déploiement des applications, des données d’entrée ou de sortie des programmes de calculs, les échanges entre les logiciels de contrôles et les communications interprocessus. Ce sont donc des transferts aux besoins de performances très variés. Dans le contexte très haut débit, il apparaît que les pertes de performance (latence et pertes de données) dues à diverses formes de congestions et de dépassement de capacité se produisent très souvent par rafale, car les volumes de données sont massifs et font écrouler aussi bien les performances individuelles des flux que le taux d’utilisation de la ressource réseau globale. Ainsi, les mécanismes de contrôle de congestion dérivés de l'algorithme de TCP s'avèrent inappropriés à ces très larges réseaux. Depuis quelques années, des solutions de transport spécifiques sont étudiées dans le contexte des grilles haute performance. Ces travaux visent à augmenter la fonction réponse du protocole TCP pour les liens à très haut produit débit délai tout en conservant les propriétés d'équité inter-flux, d'équité inter-protocoles (TCP friendlieness), d'équité selon les distances (RTT fairness) et d'équilibre de TCP. D’autres travaux masquent les pertes volumineuses par leur recouvrement à l’aide de multiples flux parallèles. Actuellement aucune solution ne conserve simultanément toutes les propriétés. Il est fort probable qu'aucune alternative ne puisse être plus universelle que TCP lui-même et qu'il faudra, dans les grilles, adapter dynamiquement le mécanisme de contrôle de congestion ou le protocole au contexte de l’infrastructure et des applications et gérer la ressource réseau de manière appropriée (QoS). 1) Pour avancer vers cet objectif , dans ce projet, nous proposons d’analyser quantitativement les trafics générés par les applications et d’étudier leurs besoins de transport en terme de débit, variation de débit et de contraintes temporelles. Pour cela, nous souhaitons travailler sur la capture et l’analyse de signatures de communication d'applications de calcul haute performance distribuées à partir des applications des collaborateurs de ce projet. Cette étude débouchera sur une modélisation des trafics grille. 2) Parallèlement, nous travaillerons sur une modélisation fine de l'interconnexion réseau d'une grille (systèmes d'extrémités, réseau local, routeur d'accès, firewall, coeur...) qui sera validée par des travaux expérimentaux dans le contexte de la plate-forme Grid5000Grid’5000 et de nos clusters locaux. Pour cela, nous souhaitons collaborer avec les constructeurs et les équipementiers. 3) De là, une typologie des services requis ainsi que la spécification d'un service de transport générique, sous forme d’un WebService pour la grille seront définis. Nous nous assurerons de la bonne intégration de ce service dans l’architecture standard des middleware de grille (OGSA) en participant activement aux groupes de travail de l’OGF (Open Grid Forum)u GGF. Une étude comparative expérimentale des nouveaux protocoles de transport et de transfert de l’information vis-à-vis des besoins identifiés et des propriétés attendues sera menée. On cherchera à définir un benchmark de service et de protocoles de transport pour les grilles. Coordination : Participants :
Applications privilégiées :
Relations industrielles
Yüklə 152,21 Kb. Dostları ilə paylaş:
|
