Tâche INF-1 : « outils pour le déploiement d’applications sur les grappes et les grilles »
L'avènement des grilles de calcul et le degré de maturité atteint par les intergiciels existants permet désormais de déployer et exécuter de grandes applications sur une très grande quantité de ressources, qu'elles soient de calcul, de communication ou de stockage. Ces grilles de calcul sont des infrastructures connectant via l'Internet un grand nombre de supercalculateurs, qui peuvent être des grappes homogènes de PC, des grappes hybrides (CPU-GPU), des ordinateurs multiprocesseurs ou encore des machines vectorielles classiques.
En ce qui concerne les architectures pour le calcul intensif, il est important de noter l'intérêt une forte évolution vers les architectures hybrides mixant des CPU et des GPU. En, particulier, le CEA et le CNRS viennent d'annoncer l'acquisition d'une grande plate-forme de calcul hybride comprenant 8544 cœurs généralistes et 24576 cœurs GPU. La puissance crête de cette plate-forme devrait atteindre 300 Tflops. Au niveau régional, l'INRIA Rhône-Alpes et le LIG sont également en train de mettre en place une plate-forme de calcul hybride à une échelle plus modeste (2048 cœurs généralistes et 12238 cœurs GPU). Que ce soit au niveau de la programmation, de ses exécutifs, ce nouveau type de plate-forme pose de nouvelles problématiques scientifiques et techniques. Les travaux du projet CPHID pourront bien évidemment s'appuyer sur cette nouvelle plate-forme.
Un grand nombre de projets dans le monde proposent des solutions pour le déploiement d’applications dans les grilles. Cependant, la plupart d’entre eux privilégient les aspects logiciels au détriment des aspects plus fondamentaux. Plusieurs équipes en Rhône-Alpes s’intéressent aux aspects théoriques de la gestion de ressource et de données et au transfert des résultats dans des logiciels du domaine public et validés sur des applications dans plusieurs thèmes scientifiques. En particulier, on peut citer le logiciel OAR développé à Grenoble par les projets MESCAL et MOAIS, KAAPI développé par le projet MOAIS ou DIET développé à Lyon par le projet GRAAL.
-
OAR : L'équipe MESCAL en collaboration étroite avec l'équipe MOAIS développe le gestionnaire de ressources pour grappe et grille OAR1. La structure générale se décompose en deux niveaux d'interaction : le niveau grappe et le niveau grille. Au niveau grappe, un utilisateur soumet directement ses tâches au gestionnaire qui fait l'allocation et le placement suivant son algorithme d'ordonnancement. Au niveau de la grille, un autre gestionnaire (aussi appelé metascheduler dans la littérature) interagit avec les gestionnaires de grappe pour attribuer les tâches sur une ou plusieurs grappes. Notre objectif est d'étendre les ordonnanceurs avec les propositions d'algorithmes issues du travail effectué au sein du projet, et d'étudier leurs impacts sur les plates-formes de production utilisant le gestionnaire OAR.
-
DIET : Le projet GRAAL développe l'environnement DIET2 (Distributed Interactive Engineering Toolbox) qui permet la mise en place d'applications utilisant le paradigme client-agent-serveur sur la grille. En plus de la possibilité d'intégrer divers types d'applications dans ce modèle, DIET permet à l'utilisateur « expert » de modifier les ordonnanceurs utilisés par l'outil en intégrant ses propres heuristiques et ses propres mesures de performances. Par ailleurs, contrairement aux autres environnements du même type comme NetSolve ou Ninf, l'ordonnanceur n'est plus centralisé mais distribué sur les différents noeuds de la grille pour avoir une meilleure extensibilité. De plus, l'API client GridRPC permet d'avoir des requêtes synchrones et asynchrones. Notre but consistera donc à intégrer dans DIET les heuristiques développées dans le projet et de les valider sur les applications cibles de l'outil (simulation en physique, chimie, serveurs d'expertise en matrices creuses).
-
KAAPI : Le projet MOAIS développe le support exécutif KAAPI3 (Kernel for Adaptative, Asynchronous Parallel and Interactive programming) qui permet une description des programmes très parallèles indépendante de l'architecture matérielle de grappe ou grilles utilisées. L'ordonnancement utilisé dans KAAPI est distribué et est montré théoriquement efficace sur des architectures hétérogènes pour une large classe de programmes parallèles. KAAPI possède une représentation à l'exécution des programmes sous la forme d'un graphe dynamique de flot de données qui peut être sauvegardé en vue d'être tolérant aux pannes ou bien afin de migrer une exécution afin de libérer des ressources de calcul. KAAPI s'utilise à travers différentes interfaces (en C++ avec Athapascan, en CORBA avec HOMA) et ce qui lui permet d'être utilisable dans de nombreuses applications. Notre objectif consistera à intégrer dans KAAPI les heuristiques d'ordonnancement de tâches dans les grilles en tenant compte des dépendances de données exprimées. Les validations sont de deux niveaux: d'une part, il s'agit, grâce aux fonctionnalités de tolérance aux pannes et de migration, d'étudier et d'expérimenter des services de niveau middleware pour l'exploitation des cycles inutilisés dans les grilles pour des applications parallèles avec dépendances de données, tout en assurant une continuité de l'exécution malgré le retrait de ressource réquisitionnée par un gestionnaire ; d'autre part, il s'agit de montrer que ces services permettent de mener à bien des calculs efficaces pour des problèmes dont les temps de calcul cumulés sur un processeur se comptent en années.
Le but de cette tâche sera donc d’étudier des stratégies d’ordonnancement et de gestion de données dans les grilles en collaboration avec des scientifiques d’autres disciplines (physique, astrophysique, chimie, bioinformatique, mathématiques appliquées). En particulier nous nous intéresserons aux problèmes suivants :
-
Ordonnancement de graphes de tâches dans les grilles
-
Ordonnancement conjoint des tâches de calcul et de la réplication
-
Ordonnancement des algorithmes à grain adaptatif
-
Prise compte des opérations de déploiements dans les ordonnancements
-
Impacts des demandes complexes de ressources (co-allocation, demandes multi-critères, présence de bibliothèques spécifiques) sur l'architecture des gestionnaires de ressource et les politiques d'ordonnancement.
-
Supports exécutifs pour architectures hybrides
-
Prédiction de performances d’applications sur les grappes
-
….
Les heuristiques d’ordonnancement seront développées en collaboration avec les scientifiques des autres disciplines lors de la transformation de leur application pour leur portage sur les grappes et/ou les grilles. Trois équipes « applicatives » participent au projet :
|
