Bilan gds regal (lip6 / inria)

Bilan GDS

• Regal (LIP6 / INRIA)

Objectifs scientifiques

• Tolérance aux fautes à large échelle

• 2 axes
• Détection de fautes sur Grille
• Réplication sur systèmes pair-à-pair

• Algorithmes de verrouillage pour Grilles

• Exclusion mutuelle hiérarchique
• Exclusion mutuelle tolérantes aux fautes

Personnes impliquées

• Sur la période :

• 1 prof (30 %), 1 MDC (30%), 3 doctorants (2 * 30 %, 1 à 100 %)
• 1 bourse FullBright (D. Myers)

• Détection de fautes :

• Marin Bertier (2003 – 2004)– Doctorant (actuellement MDC Insa Rennes)
• Pierre Sens – Prof. Paris 6

• Réplication P2P :

• Fabio Picconi – Doctorant
• Pierre Sens

• Exclusion mutuelle :

• Luciana Arantes - MDC Paris 6
• Julien Sopena (2004 – 2006) – Doctorant
• Pierre Sens

Tolérance aux fautes : organisation hiérarchique

• 1 groupe local / cluster

• 1 groupe global

Rôle du mandataire

• Permet la connexion du groupe local avec le reste du système

• Détecteur local : surveillance de nœud

• Détecteur global : surveillance de groupe

GDF dans GDS

• Utilisation de GDF dans Juxmem

• Travail commun (M. Bertier, S. Monnet)

• Rapport

Réplication P2P

• Etude de la réplication dynamique dans Pastis

Problème de la volatilité

• « Churn » = taux élevé d’ajout de nœuds et de défaillances

• Le churn : une des causes des dénis de services dans P2P (issue de sources non forcément malicieuses).

• Nombreuses études sur la résistances aux churns des overlay (cf. Bambou, MSPastry …).

• => Relative bonne résistance (quelques minutes) de couche basses (KBR)

• Quid des applications :

• Stockage des données

• Objectif : Etudier le churn dans Past et Pastis

Churn in DHTs

Churn in DHTs

Churn in DHTs

Churn in DHTs

Contributions

• Théorique : modélisation du « churn »

• Caractériser la durabilité des données en fonction du taux de volatilité
• Ecriture d’un papier

• Algorithmique : Modification du protocole de Join de Pastry

• Métrique de stabilité utilisé pour l’insertation des noeuds

• Expérimentation : Injection de volatilité dans Pastis

• Utilisation de l’émulateur modelnet dans GDX
• Rapport technique – Soumission CCGrid07

Exclusion mutuelle pour Grille

• Exclusion mutuelle : outils de base de synchronisation d’application parallèle

• Algorithmes à Jeton

• Un jeton unique donne l’accès à la ressource
• Pas de synchronisation globale
• Plus extensible

• Algoirhmes classique:

• Ne prennent pas en compte la topologie => beaucoup d’échange entre les sites
• Peu tolérant aux fautes

• Approches hiérachiques (CCGrid 04, JPDC 06)

• Idée: Donner une priorité plus forte au requêtes proches
• => Satifaire prioritaire les requêtes d’un même cluster

• Mutex tolérant les fautes (Europar 05, SRDS 06, CFSE 06)

• Fiabilisation de l’algorithme de Naimi-Tréhel
• Thèse J. Sopena

Performances

Publications Regal - GDS

• GFD :

• M. Bertier, O. Marin, P. Sens. Performance Analysis of Hierarchical Failure Detector. Proceedings of the International Conference on Dependable Systems and Networks (DSN '03), San Francisco, Juin, 2003 (IEEE Computer Press)

• Pastis :

• J-M Busca, M. Bertier, F. Belkouch, P. Sens, L. Arantes. A Performance Evaluation of a Quorum-Based State-Machine Replication Algorithm for Computing Grids.. Proc of the 16th Symposium on Computer Architecture and High Performance Computing (SBAC-PAD '04), Iguacu (Brazil), October 2004. IEEE Society Press
• J-M. Busca, F. Picconi, P. Sens.Pastis: un système de fichiers pair à pair multi-écrivain passant l'échelle. In DistRibUtIon de Données à grande Echelle 2004 (DRUIDE 04), Domaine du Port-aux-Rocs, Le Croisic, France
• F. Picconi, J-M. Busca, P. Sens. Exploiting network locality in a decentralized readwrite peer-to-peer file systems. Proc of the 10th International Conference on Parallel and Distributed Systems (ICPADS '04), Newport Beach (USA), July 2004. IEEE Society Press
• J-M. Busca, F. Picconi, P. Sens.Pastis: a Highly-Scalable Multi-User Peer-to-Peer File System. EuroPar 2005, Lisboa, Portugal, September 2005. LNCS.

• Mutex :

• M. Bertier, L. Arantes and P. Sens. Hierarchical token based mutual exclusion algorithmsi. Proceedings of the 4th IEEE/ACM International Symposium on Cluster Computing and the Grid (CCGrid '04), Chicago (USA), April 2004. IEEE Society Press
• M. Bertier, L. Arantes, P. Sens. Algorithme d'exclusion mutuelle pour les GRID : une approche hiérarchique. 4ème Conférence Française sur les Systèmes d'Exploitation (CFSE'4), Le Croisic, France.
• J. Sopena, L. Arantes, M. Bertier, P. Sens.A fault-tolerant token-based mutual exclusion algorithm using a dynamic tree. EuroPar 2005, Lisboa, Portugal, September 2005. LNCS.
• M. Bertier, L. Arantes, P. Sens.Distributed Mutual Exclusion Algorithms for Grid Applications: a Hierarchical Approach. Journal of Parallel and Distributed Computing (JPDC) 66(128-144). Elsevier, 2006.
• J. Sopena, L. Arantes, P. Sens.Performance evaluation of a fair fault-tolerant mutual exclusion algorithm. To appear in IEEE International Symposium on Reliable Distributed Systems (SRDS 2006), Leeds, UK
• J. Sopena, L. Arantes, P. Sens.Un algorithme équitable d'exclusion mutuelle tolérant les fautes. To appear in 5ème Conférence Française sur les Systèmes d'Exploitation (CFSE'5), France
• 1 revue internationale (JPDC)
• 8 conférences internationales (DSN, SRDS, CCGrid, EuroPar, HotOS …)
• 3 conférences nationales

Logiciels et mobilité

• GFD

• Pastis

• Visite de F. Picconi à Rice (1 semaine 2005), Rutgers (2 mois - 2006)

La suite ...

• ACI Gédéon

• Application à la génomique
• Verrouillage hiérarchique / Modèle de cohérence dans un système de fichiers

• Mutex

• Généralisation du Mutex : Allocation de ressources (Thèse M. Bouillaguet)
• Composition de protocoles Mutex (J. Sopena)

• Tolérance aux fautes

• Autres types d’environnements (Capteurs)