|
|
|
Délégation aux Systèmes d'Information
Pôle des "services d'appui à la recherche"
Informatique scientifique
|
Appel à projets interne
|
SPIRALES 2007
|
Formulaire de demande DSI-SPIRALES
« Soutien aux Projets Informatiques dans les Equipes Scientifiques »
|
Contact : Régis Hocdé - Informatique Scientifique
Tel (+33) 4 67 63 69 71
Fax (+33) 4 67 63 87 78
regis.hocde@ird.fr
|
|
Remise des projets :
2 février 2007
|
Demande d’un soutien DSI sur les projets informatiques des UR/US.
Formulaire de demande DSI-SPIRALES 2007
« Soutien aux Projets Informatiques dans les Equipes Scientifiques ».
Fiche de synthèse
(3 pages maximum)
-
La présente fiche de synthèse doit être renseignée pour toutes les propositions (nouveau projet, phase 2 de projet prévu sur 2 ans, suite d'un projet déjà initié, projet sans demande de moyens financiers). La fiche de synthèse est destinée à faciliter le travail des évaluateurs.
|
Titre du projet : ATLAS OBSERVATOIRE OCEANIQUE SATELLITES
Phase 2 : FINALISATION CONSULTATION WEB
Porteur du projet : DAGORNE Dominique
Unité : UMR UR US N° 191 Nom : IMAGO
Instrumentation, Moyens Analytiques, Observatoires en Géophysique et Océanographie.
Département DME DRV DSS
Porteur de projet
Nom prénom - Statut / Catégorie – Localisation géographique – Téléphone – Fax – E-mail
DAGORNE Dominique – IE0 – Centre IRD de Bretagne - 02 98 22 45 64 – dominique.dagorne@ird.fr
Directeur d'Unité (si différent)
Nom prénom - Statut / Catégorie – Localisation géographique – Téléphone – Fax – E-mail
GOURIOU Yves – DR2 – Centre IRD de Bretagne - 02 98 22 45 07 – yves.gouriou@ird.fr
Sites
Implantation principale de l'unité : IRD –centre de Bretagne – Technopôle Brest Iroise -29270 Plouzané
Site de déroulement du projet : IRD –centre de Bretagne
Projets inter-unité ou inter-organismes :
Projet inter-unités Projet inter-organismes
De la même façon qu’en 2006, ce projet concerne directement plusieurs unités de l’IRD impliqués en océanographie, dans ses aspects physiques, bio-géochimiques et halieutiques, par l’utilisation des données spatiales pour la connaissance des milieux « aquatiques » à finalité climatique ou ressources vivantes. La présente proposition n’est plus portée que par une seule équipe, avec la poursuite des collaborations antérieures (réseaux de compétence). Compte tenu de l’absence de moyens humains mobilisable à la réalisation pratique WEB, et dans une moindre mesures la production d indices, un recours (discutable !) est envisagée à des stagiaires étudiants, et ceci pour diverses raisons de coût, de disponibilité, de calendrier et d’éloignement..
Liste des intervenants :
(autant de fois que nécessaire)
Nom prénom - Statut / Catégorie – Unité - Localisation géographique – Contribution envisagée
DAGORNE Dominique – IE0 – US191 – Centre IRD de Bretagne –
Poursuite des développements entrepris lors de SPIRALES2006, en matière de « savoir-faire » concernant l’exploitation des produits « satellites » pour l’océanographie, en particulier l’utilisation pour le diagnostique et le suivi de l’environnement par l’ extraction, la mise en forme, l’analyse de données et la mise à disposition de résultats pour les utilisateurs demandeurs.
Supervision et encadrement de « stagiaires » dans la production d’un portail WEB de consultation de ces résultats
Nom prénom - Statut / Catégorie – Unité - Localisation géographique – Contribution envisagée
Laurent DRAPEAU – IR2 – ECO-UP CHRMT Sète : SIG, WEB
Hervé DEMARCQ – CR1 –ECO-UP CHRMT Sète - télédétection
X : CDD THETIS – ingénieur – CHRMT Sète – BDD – WEB
Les intervenants du projet 2006, resterons des interlocuteurs privilégiés en matière d’animation d’un réseau d’échanges pour les objectifs définis, mais le précédent chiffrage en équivalent H/m pour les moyens humain affectés à la réalisation pratique du travail à montré ses limites ( portail WEB de consultation)
Type de projet / Durée prévue :
Nouveau projet Durée prévue : 1 an 2 ans
Continuum d'un projet 2006 prévu sur 2006-2007 Proposition de continuum d'un projet 2006 ou antérieur
Description succincte du projet : (10 lignes maximum)
L’exploitation croissante des données des satellites en océanographie par de nombreuses unités de recherche de l’IRD, requiert l’amélioration de l’accessibilité de ces informations et la production de produits à forte valeur ajoutée. Lors d’un précédent projet SPIRALES2006, l’US191 (exUS025) en association avec UR097/ECO-UP et l’UR 109/THETIS ont présenté un projet d’animation d’un réseau d’échange pour le développement de l’utilisation de données océanographique satellitaire, et dans le futur des résultats de modélisation. Articulé autour de l’accès à des données géophysiques élaborées et aux représentations « images » (Quick Look) associées, après mise en forme dans les zones d’intérêt des demandeurs (équipes IRD, institutions partenaires métropolitaine et partenaires du sud), il inclut également l’élaboration de produits finalisés (indices synthétiques) qui décrivent dynamiquement l’évolution (physique, biologique,..) des milieux étudiés. Ce projet a financé en 2006 une partie des objectifs affichés, en particulier l’alimentation des produits satellites pertinents (historique et « Near Real Time »), avec les développements «génériques » des méthodes d extraction puis de formation d’images consultables, d’élaboration des indices,.. par des échanges entre les différents intervenants des unités concernées lors de réunions de travail (Brest, Sète) , visio-conférences et des contacts avec des utilisateurs lors de rencontres internationales (congrès Humbold, workshop EUR-OCEAN). Le projet de site WEB offrant la description des sources, la consultation des images des produits satellites et indices (à partir de température de surface et chlorophylle), à progressé avec la réalisation de plusieurs maquettes, dont une incluant une gestion par base de données des images produites (stage étudiant 3 mois) . Cependant tous les objectifs affichés, sur un calendrier originalement prévu jusqu’en juin 2007, n’ont pas été atteint (date limite de l utilisation des crédits fin 2006 !), avec l’impossibilité de rassembler suffisamment de ressource humaines effectivement mobilisables (stage étudiant d’été, « fongibilité asymétrique », CDD THETIS recruté en .. 2007 , disponibilité des participants, calendrier,.. .). pour la finalisation du site , l’hébergement et l’ouverture vers l’extérieur
Résultats attendus (livrables) : (10 lignes maximum)
Le présent projet permettrait la finalisation du (des) site(s) WEB envisagées lors de la demande SPIRALES2006 :
-
hébergement pérenne et ouvert vers l’extérieur, répondant aux contraintes au site physique (SIL brest/ ifremer) d implantation ou une autre alternative à étudier ;
-
réutilisation possible et dégradée (par zones d’intérêt) des outils de consultation vers des partenaires demandeurs (Sénégal, Pérou, Afrique du sud ) ;
-
choix argumenté et une mise en place des différents prototypages réalisées en 2006 , autour d approches différentes :
- pages WEB « statiques » et utilisation javascript pour la navigation (menu) ;
- pages « dynamiques » PHP , cartes clickables , navigation par calendrier et « raccourcis » ;
- intérêt (?) de l’organisation « base de données » (Postgre), et dans ce cas utilisation d’outils de modélisation (windesign) et reprise des codes développés lors du premier stage étudiant ;
- réalisation de pages « aux canons » des réalisations modernes en vigueur (feuille de style) avec un effort « artistique » de présentation
De plus, il serait initié dans le cadre de la poursuite de l’animation du réseau de compétence, et en collaboration avec les contractants de SPIRALES2006 (et sous réserve de disponibilité), les travaux suivants :
- accès aux données extraites aux formats « normalisées » netCDF
- Etudes et développement d’outils d’exploitation autour de ce format - dont Ferret, Romstools/visu et programmation « matlab/IDL » - avec en particulier les méthodes générales d analyse de données « avancées » : interpolation spatiale, EOF(s),.. ou plus appliquées aux domaines thématiques : développement d’ indicateurs à partir des « vents » ;..
- travail exploratoire sur l’utilisation d’outils pour l’accès dynamique et par réseau aux données par logiciels d’analyse client (matlab,IDL) : openDAP,(Data Acces Protocol) et les outils de visualisation serveur (ferret) : LAS (Live Array Server). Cette approche est maintenant utilisé chez plusieurs fournisseurs de données en France ( IFREMER, CLS, IPSL,..) et à l’étranger ( NASA,NOAA, universités,..), et peut être une alternative à l’extraction de données et de représentation image en mode « statique » . L‘investissement « humain » et matériel de cette approche est conséquente et ne peut être envisagée sans une étape d apprentissage des expériences des autres institutions de recherche et d’un soutien financier (sous-traitance) et/ou institutionnel ( autres équipes, DSI,..), qu’il est difficile d envisager dans le cadre de cette demande.
Valorisation possible ou prévue : (10 lignes maximum)
La diffusion interne et externe des produits recueillis et élaborés au sein de ce projet est particulièrement importante pour leur valorisation. Ce projet y contribue en améliorant les échanges entre participants d’origine diverses : scientifiques et « techniciens » de thématiques proches, mais de communauté diverses (physiciens : modélisateurs, expérimentateurs - biologistes : halieutes, écologues, - spécialistes de télédétection - analyse de données – « informaticiens » scientifiques , gestionnaire de données – réalisateurs de sites WEB ), via la consultation tout public par le WEB, ainsi que la fourniture et l’exploitation de données environnementales (satellite, modèle,..) pour les projets suivants :
-
systèmes de bords est (upwelling) : UR ECO-UP ( atlas comparatif : C. Mullon, L. Drapeau , productivité primaire :H. Demarcq, aspects dynamique large-côtier : K. Nieto ) ;
-
courant du Humboldt : UMR LEGOS (Y. du Penhoat, G. Eldin), LOCEAN ( V. Echevin) , ECO-UP (T. Brochier) ;
-
Océan Indien : UR THETIS (projet ANR REMIGE – F. Marsac,), LOCEAN ( CIRENE/VASCO – J. Vialard) ;
-
Océan Atlantique : LODYC ( AMMA/EGEE : B. Bourles) , LOCEAN ( CARBOAT N. Lefebvre) ;
-
Océanographie Opérationnelle : consultation et fourniture régulière de produits ;
-
Appui méthodologique transversal de projet sur l’utilisation de produits satellitaires : ex convention IRD-IMARPE
-
Consultation de produits issus de « modélisation », en particulier l intégration de résultats du modèle communautaire ROMS, utilisé par plusieurs équipes de l’IRD et partenaires, dans le domaine physique et bio-géochimique (P. Marchesciello, P. Penven )
-
Liaison avec données océanographiques in-situ ( THETIS –REMIGE) et les efforts développés par l’US191/ IMAGO en matière d’accès aux données de campagnes océanographiques IRD ( J. Grelet)
-
Réutilisation du « savoir faire » au sein de projet équivalents. Divers contacts ont été entrepris avec l’equipe INCAS (Ingénierie en calcul Scientifique) du LOCEAN, en particulier pour les données satellites et réalisation de « navigation » WEB .
-
Exportation des outils vers des partenaires (Sénégal) – Formation
Coût total du projet (en euros HT) :
Aucun moyen financier demandé (demande simple d'hébergement d'outil…)
Contribution demandée – ou précédemment attribuée - à la DSI (en euros HT) :
|
2004
|
2005
|
2006
|
2007
|
2008
(si projet sur 2 ans)
|
Montant demandé (€ HT)
|
|
|
7000€
|
4000€
|
|
dont part ressources humaines (€ HT)
|
|
|
|
2000€
|
|
Montant attribué (€ HT)
|
|
|
7000€
|
|
|
Eventuellement: Budget détaillé par poste pour 2007 :
financement des indemnités des stagiaires étudiants
frais de missions dans la cadre de la poursuite de l animation du réseau
Moyens affectés au projet & Co-financements demandés ou acquis (€ HT) :
Autres sources de financements acquis : 4H/m CDD THETIS Montant (€ HT) : ~10K€
Autres sources de financement demandées Montant (€ HT) :
Moyens apportés par l'unité : environnement de développement
Moyens affectés au projet (équivalent Homme/mois) : US 191 6H/m - UR097 : 3H/m
Ressources humaines mobilisées :
Compétences souhaitées ou mobilisées (profil type) :
Développement de système de consultation par portail WEB
Programmation perl, html, php, SQL ( Postgre) et « sens artistique » WEB
Intérêt du domaine d application
Support demandé ou utilisé :
|
Budget demandé (€ HT)
|
Soit équivalent Homme/mois (ETP)
|
Prestation de service
|
|
|
Stagiaire
|
2000 €
|
6H/m (indemnité 350 €/mois)
|
Collaboration
|
|
|
La DSI, suite au comité d'évaluation, pourra pour quelques projets, sur quelques sites (Nouméa, Dakar, Montpellier…) et dans la limite des moyens humains de la DSI disponibles, convertir ces demandes en temps homme (intervention du pool informatique scientifique)
favorable défavorable à cette éventuelle conversion.
Implication du SIL (Service informatique local) :
Un appui du SIL / Centre de Bretagne est nécessaire pour 2 opérations :
-
Espace de stockage/archivage : Celui-ci existe déjà avec la mise à disposition d’un espace conséquent pour l’US191, et en particulier l axe « Observatoire Satellite » : en décembre 2006, la totalité de l espace dédié à cet activité a été occupé. Une demande d’extension est en cours de réalisation et une justification de l’occupation nécessaire pour ces activités a été fournie au 2eme semestre.
-
Hébergement de site WEB : les pages WEB des équipes de l’IRD centre de Bretagne, sont visibles de l’extérieur par le serveur « internet » de l’IFREMER au sein d’un environnement dédié du SIL. La seule contrainte est l’hébergement, sur un unique « file system » de l ensemble des informations relatives à ces pages. Compte tenu de ressources disques nécessaires dans la configuration actuelle (pages WEB faisant appel à un ensemble de fichiers « a plat » ) . Cette situation pourrait évoluer vers un service 3/3 et un système de Base de Donnée intégrant non seulement la gestion des noms, mais aussi des contenues « images » , sur un environnement spécifique. Les développements actuels (site WEB « intranet » ifremer) n’autorise que la mise en œuvre rapide de la première solution, éventuellement pour un sous –ensemble du projet initial qui pourrait être réalisé rapidement.
Une participation du SIL serait également apprécié dans le suivi et l encadrement de stagiaires étudiants, pour les aspects WEB ( html,php) et BDD ( modélisation, Postgre,..) et mise en place pratique du serveur., compte tenu de la faible compétence dans ces domaines du porteur du projet (stage de formation demandée sur ces sujets en 2007)
Hébergement demandé :
Description succincte de l'outil :
Archivage/stockage autour d’une configuration LINUX centOS, de 3.4 To, actuellement en cours d’upgrade avec à terme 10 To (utile) disponible. Cette opération est suffisante pour palier la saturation actuelle de l espace disque dédiée aux activités du projet (1.3 To) vers les 3 To estimée , dans le cas d’une montée en puissance des activités satellite « NRT » et « modèles » , en particulier avec l’utilisation de nouveaux moyens d’observation spatiaux ( SST et FLUX « géostationnaire » Météosat Seconde Génération (MSG)/GOES horaire), exploitable journellement ( 1 fichier = 1.2 Go) ou la future disponibilité de SST Mondiale AVHRR/METOP (1 km) ou l exploitation envisagée des archives de SST journalière depuis 1985.
Espace d’hébergement des pages WEB et des fichiers de « QuickLook » associées. Actuellement les ressources nécessaire sont estimés à 5 Go
Observations :
Contacts permanents et dialogue fructueux avec D. Corre, responsable du SIL IRD Bretagne
Demande d’un soutien DSI sur les projets informatiques des UR/US.
Formulaire de demande DSI-SPIRALES 2007
« Soutien aux Projets Informatiques dans les Equipes Scientifiques ».
Etat d'avancement pour les projets déjà initiés
-
Cette fiche n°2 concerne les propositions suivantes :
- phase 2 de projet SPIRALES initié en 2006 et prévu sur 2 ans (2006-2007),
- suite d'un projet SPIRALES 2005 ou 2006 nécessitant une prolongation
|
Il est vivement conseillé d'accompagner la demande de tous documents utiles :
rapport de phases préliminaires, cahier des charges, résultats, prototype, démonstrateur en ligne…
|
Etat d'avancement du projet :
Dans le précédent projet SPIRALES2006, l’US191 (exUS025) en association avec UR097/ECO-UP et l’UR 109/THETIS avait articulé le projet autour de l’animation d’un réseau d’échange pour le développement de l’utilisation de données océanographiques satellitaire mais également de mesures in-situ et de résultats de modèles numérique. Il s agit dune approche transversal, susceptible d intéresser plusieurs équipes et mettant en oeuvre des compétences diverses de traitement de données, capitalisation et valorisation de celles-ci, et ceci dans plusieurs axes autour de données spatiales de l’ environnement océanique.
Un axe majeur était l’accès à des données élaborées dans les diverses zones d’intérêt des demandeurs scientifiques (équipes IRD, institutions partenaires métropolitaines et partenaires du sud ), pour une exploitation (analyse des données), ainsi que des représentations « images » (Quick Look) associées. Il incluait également l’élaboration de produits finalisés (indices synthétiques) qui décrivent dynamiquement l’évolution (physique, biologique,..) des milieux étudiées. Une des retombées était la mise à disposition de ces informations via un « portail » WEB » pour la visualisation des diverses « images » satellites et indices. Il incluait également l’accès sous une forme unique, aux données c'est-à-dire, pour l’aspect satellite les produits géophysiques dérivées : température de Surface de la Mer (SST), couleur de l’eau ( dont Chlorophylle), paramètres « vent », altimétrie, et éventuellement d’autres paramètres .
Ce projet a financé en 2006 (7000 €) une partie des objectifs affichés, en particulier l’alimentation des produits satellites pertinents définis précédemment .
Pour les données historiques, en réalisant transfert, archivage et mise en forme avec les développements des méthodes génériques d extraction temporelle et spatiale puis de formation d’images « QuickLook » consultables, compte tenu d’une couverture mondiale pour une période temporelle donnée (jour, semaine, mois). Entrepris pour l’archive existante ( SST NOAA pathfinder (PF) V4 ( 9km) , puis V5 ( 4km) à partir de 1985, et pour les autres paramètres disponibles depuis 1998 (SST « micro-ondes » TMI, vent : « QuickScat » Mean Wind Field, « couleur » : SEAWIFS ), l’essentiel du travail a porté sur des données à l’échelle de la semaine ou du mois, permettant la réalisation de « climatologies » mensuelles/hebdomadaire de références , puis génération des anomalies correspondantes et de diverses statistiques (nombre de pixel « clairs », ). Développé dans le cadre de la collaboration avec ECO-UP (H. Demarcq) , les zones privilégiées ont été les « systèmes de bord est » (upwelling des systèmes Canaries, Benguela et Humboldt), puis dans le cadre d’un projet propre à cette unité mené par C. Mullon: « Atlas comparatif ». . Les paramètres SST et CHL de MODIS, après août 2002 ont également été exploités, à échelle journalière, et « composite » 3D - semaine ( 1 fichier = 37 et 110 Mo), ainsi que les SST « géostationnaires » de GOES et MSG (Météosat Seconde Génération) à partir d août 2004, et plus récemment (05/2006) ces mêmes sources à échelle horaire .Dans ce volet ont été également traité les données « altimétriques » (Sea Level Anomaly) par période de 7 jours , à partir de 1992. On c’est également intéressé aux données journalières de SST historiques PFV5-TMI-MSG-MODIS pour l’étude de quelques cas spécifiques (sous-zone, sensibilité de « qualité », comparaison entre sources, formations de « composite » temporelles,..)
Pour les données « Near Real Time » (NRT), accessible sur une base journalière en temps quasi-réel ( soit J-1/J-2), il a été entrepris, par un processus automatique (scripts+cron sur configuration LINUX) , l’interrogation des serveurs , l’archivage des produits par zones, la formations des « Quick-Look » à la volée et une éventuelle distribution prés des destinataires par mail., comme cela a été le cas pour le suivi des campagnes océanographiques IRD : ( EGEE3 et 4 en mai-juin et septembre 2006 dans le Golfe de Guinée , CIRENE en janvier 2007 dans l Océan Indien).
Si les traitements « historiques » et « NRT » peuvent sembler équivalent dans la formation des « QL », les programmes correspondants sont sensiblement différent par leur approche : Extraction d’une période (date début-fin) sur une seule zone pour les données d’archive réalisé « off line » suivant les demandes , traitement « à la volée » de plusieurs zones pour une données « élémentaire » à échelle journalière et ceci de façon automatique.
En plus des zones d’upwelling, de nombreuses autres zones géographiques ont été couvertes par ces processus (historiques et NRT) , suite à diverses demandes d’utilisateurs : canal du Mozambique et Seychelles (IRD THETIS : F. Marsac, JF Ternon, E. Twekwai , P. Sabarros ), Atlantique Tropicale ( AMMA/EGGE : B. Bourles, F. Marin , G Athie LEGOS, Guy Caniaux ( Meteo-France) , Calédonie-Mer de Corail ( P. Marchesciello LEGOS Noumea), Océan Indien (J. Vialard LOCEAN) et ceci suivant des échelles « régionales » ( écosystème ) ou plus locale (Sénégal, Maroc – B. sow , E. Machu (ECO-UP) , Pérou : A. Chaigneau (LEGOS), T. Brochier, .. Antilles et Amazone ( M. Doray IFREMER , N. Lefevre LOCEAN), south Benguela (L. Drapeau)
En vue de l exportation vers les utilisateurs , les données extraites de ses longues séries , ont été « formatés » suivant le « standard » netCDF, afin qu’elles puisent être exploitées avec divers outils logiciels disponibles « sur étagère » : ferret , ncview, ncdump, Grads . . Ont également été développé divers d’outils d analyse interactive de ces longues séries, avec l’élaboration de modules (matlab) de représentation et d exploitation de ce type de données : plot temporelle , coupe « espace-temps » (hovmoller).
Concernant l’élaboration des « indices » ( hors climatologie et anomalies) , la définition de ceux-ci ont été évoquée lors d’une première réunion des participants et « demandeurs » du projet tenue a Brest (mai). Faisant suite à un document (C. Roy, P. Fréon) et un complément à caractère « océanique » (F. Marsac) , la réalisation effective de ceux-ci n’a démarré que tardivement et que pour ceux seuls faisant intervenir la SST. Une stagiaire élève-ingénieure ( ECO-UP - C. Roy) présentie pour ces développements n’a pas donné suite aux propositions. Au préalable il a fallu maîtriser différents aspects cartographiques, et appliquer les méthodes proposées aux longues séries temporelles extraites lors de l’étape précédente. Ces traitements ont nécessité l’intégration des processus d’interpolation , nécessaire à combler les nombreux « trous » de données, en particulier pour celles d’origine Infra-Rouge et visible (SSTs, couleur) où la présence quasi permanente de nuages est une contrainte forte dans les méthodes d’analyse avancée de données (calcul d’EOF : Empirical Orthogonal Function- , cohérence spatiale, corrélation entre paramètres,..) par rapport aux données « continues » des données d altimétrie et de vent.
Plusieurs des indices « SST » requis (climato, anomalies, sst500,ASST500,D-SST,..) ont été produits (moyenne plateau continental, différence SST,..), tant pour les données brutes, que les anomalies correspondantes, et ceci pour l’ensemble des zones concernées à partir des années 1998. Cette étape a été poursuivi avec des analyses EOF, mettant en évidence, par paramètre étudié (SST, couleur, vent ) diverses structures spatiales et les composantes temporelles de celles-ci. Ces indices SST et « vitesse du vent » sont à généraliser sur des série plus longue : SST depuis 1985 et « vent » à partir des données ERS (1984)
Un aboutissement (provisoire) des résultats escomptés à été la fourniture auprès de C. Mullon (ECO-UP / Atlas comparatif),d’un ensemble de fichiers « QuickLook » représentatifs des évolutions des paramètres satellites sur les systèmes d’upwelling (y compris celui de Californie). Ces fichiers ont été intégrés au sein d’un « démonstrateur » off-line (écrit en java) rassemblant la visualisation des diverses données par pas de temps, mais aussi l’animation de ces produits. Cet outil a été présenté lors d’une session de l’Atelier EUR-OCEAN system7 (upwelling) en décembre. De nouvelles productions de ce produit « Atlas » sont attendues suite à l’évolution de nouvelles demandes de la part des utilisateurs. Les outils logiciels d’extraction et de production d images, mis au point précédemment seront pleinement réutilisables . Les diverses discussions pour l’élaboration de cette fourniture, ont été réalisées grâce à la tenue de plusieurs « visio conférence » à partir du centre de Bretagne
Des contacts ont été poursuivis et/ou initiés avec des utilisateurs potentiels des attendus du projet : données après extraction , imagerie de consultation,. travaux divers « à la demande » lors du congres international « Humboldt Current System » tenu a Lima-Pérou en novembre.
Outre les frais de missions pour les acteurs du projet (D. Dagorne, L. Drapeau, H. Demarcq) , une part du financement ( à épuiser avant décembre 2006 !) a été consommé en achat de complément matériels auprès des équipes ECO-UP et US025 : archivage, écran ,..Les investissement matériels plus conséquent (UC , portable) étant resté du ressort des unité UR/US (station LINUX récente à l’US025 en mai, environnement dédiée au projet)
Le projet de site WEB offrant la description des sources, la consultation des produits (paramètres, indices), a connu plusieurs étapes :
-« standardisation » du nommage des fichiers « QuickLook » , pour un type de données, autour des attributs constitutifs de la nature de ce dernier :
type de paramètres : ex SST, CHL,wind,..
source de la données par identification du capteur , du vecteur(satellite) ou du producteur
ex pour les SSTs disponibles
PFV4 (NOAA/AVHRR Pathfinder Version4)
MODIS ( NASA/EOS/ACQUA/MODIS)
TMI : TRMM(Tropical Rainfall Measurement Mission) Microwave Imager
SAFO : Satellite Application Facilities – EUMETSAT /MSG (Météosat Seconde génération)
Ces 2 précédents paramètres suffisent à définir « implicitement » une résolution spatiale du produit
Ex : SSTPFV4 : 9 km , PFV5 : 4km , TMI : ¼ degrés
« granularité » de la donnée , c'est-à-dire la période d’observation et compositage
ex 1H, 1D , 3D , nD, 1W , 1M , CLIM soit de l heure .. à la climatologie
identificateur de « zones » , celle-ci étant défini de façon unique dans l’application, par ses coordonnées géographiques , extensions et attributs de tracé ( tick géographique, échantillonnage des vecteurs, échelles des valeurs, définition des couleurs,.. ) ex : CAN , BEN , HUM pour les zones d’upwelling. Il faut noter que le nombre de ces zones est en évolution constante du fait de demandes variées ( et changeantes), avec des priorités variables. Ex : zone « temporaire » pour le suivi d’une campagne océanographique.
la date de « référence » sous la forme YYYYMMDD correspondant à la fin de la période .
Il n’existe pas de règles précises concernant ces dénominations. Chaque « producteur » de données élémentaires ayant son propre système, même si l on retrouve , sous diverses formes , et chez chacun d’eux une identification sans ambiguité d’une période d’observation ( date début-fin , exprimée principalement en YYYY/MM/DD , mais aussi jour julien de l année en cours ou encore depuis 1950.. !)
Cette étape était un préalable à une tentative de « modélisation » de reconstitution des noms des fichiers recherchées au sein d’une structure arborescente, ou pour l’élaboration d’une recherche à base de requête « Base de données » .
Le même type d’approche peut être repris ,pour les nommages des fichiers image « QL » issus des modèles.
La nomenclature des fichiers de données est moins contraignante, mais elle suit une logique identique avec les identificateurs de paramètre-source , de granularité, de zone et de période de validité. Outres les valeurs (scalaires, mais ,aussi vectorielles pour les données de vent (ou de courant) des paramètres, ces fichiers de « données » sont géoréférencés en latitude-longitude des pixels (ou points de grille) avec un codage en valeurs « géophysiques » , et non seulement sur une dynamique réduite (habituellement 8 bits) comme cela reste souvent le cas pour des données de type « image ». Ce type de codage autorise également la concaténation de plusieurs paramètres au sein d’un même fichier et son formatage dans des structures complexes (netCDF) associés à un (auto) descriptif en dimension-attribut et paramètres présents. Pour des questions de simplicité et de « transparence » ces données sont aussi conservés (et distribués) en format propriétaire « matlab » largement utilisé au sein de la communauté océanographique des modélisateurs , et plus récemment de télédétection.
Plusieurs développements « WEB » ont été produits, et sont accessible pour l instant au seul domaine « ifremer », (ird-us025-ddag.ifremer.fr) depuis les sites de Brest ou Sète. Il s’agit de « prototypes » qui demanderaient des retouches « artistiques » de présentation, puis un hébergement pérenne.
-
pages html d’accueil et de description du projet, en particulier les différents sources utilisées avec des informations sur le type de données : paramètre/source, résolutions spatiale et temporelle, granularité et disponibilité ; La description des diverses zones est également disponible à ce stade, avec l affichage des bathymétries correspondantes. La navigation future envisagée fait appel aux « cartes clickables » pour la sélection d une zone.
-
Un espace consacré aux consultations « NRT », propose l affichage des données les plus récentes, produites automatiquement. L’utilisateur peut ainsi accéder aux dernières observations disponibles (J-1/J-2), et sur les diverses zones « cibles » aux échelles régionales ou locales, sous la forme d’une image réduite, puis à la pleine résolution. L’affichage du fichier QL reste « statique » sans possibilité de modification du rendu de celui-ci, d où la nécessité de prévoir à l’avance la dynamique de ces images. Ce système est celui utilisé par d’autres serveurs de QL, mais les plus récents autorisent maintenant une modification « dynamique » et interactive de ceux-ci, à la demande de l utilisateur (modification du contraste, adaptation des codes couleurs , possibilité de « zoom »,..). Une étude en ce sens demanderait à être conduite (utilisation de java).
-
Un objectif resté sans solution jusqu’à présent est la navigation de la totalité de ces images journalières (produites en routine depuis janvier 2006). Les images de la date la plus récente – du jour - sont affichées, et l’utilisateur peut en choisir une autre soit directement par l accès à une date via un calendrier, soit par des boutons de raccourcis (next/previous) opérant sur les variables année/mois/jour. Un prototype (php) existe pour un seul type de donnée, sur une seule zone. Compte tenu du nombre relativement important de zones, il sera nécessaire de prendre en compte ce choix pour afficher toutes les images existantes pour une zone, à une date donnée.
-
Pour les images des paramètres (et anomalies) mensuelles/hebdomadaires et climatologie ( ex : Atlas upwelling ECO-UP, mais aussi diverses autres demandes équivalentes : climatologie Atlantique ( J. Servain-LOCEAN), il a été développé une approche à base de pages html et javascript pour la consultation interactive, par reconstitution des noms de fichiers « QuickLook » et affichage dans des « frames ». Le système original, un peu « lourd » lors de la sélection des paramètres (zone, produit, source, instant), a été amélioré avec une possibilité de navigation temporelle simplifiée (next/previous). Il autorise également l’affichage simultané de plusieurs images (par zones, par paramètres). Ce prototype est satisfaisant dans son fonctionnement, et il est envisagé son implémentation prochaine sur les moyens d hébergements du SIL du centre de Bretagne.
-
De mi juin a fin août, E. Créach élève ingénieur « informatique » INSA 4 ème année, a réalisé des travaux autour de la réalisation d’un site WEB . Un cahier des charges a été écrit, concernant les fonctionnalités requises de l interface WEB, a partir des nombreux exemples existants.(cf demande SPIRALES2006) Le recours à une gestion SGBD a été laissé optionnel. Après une période d’apprentissage de compréhension du domaine d’étude et une assimilation de la finalité du travail, l’approche « base de donnée » a été retenue avec la réalisation d’un modèle conceptuel de données (MERISE), orienté à la recherche multi-critère pour une image, ou un ensemble d images pour une zone ou un type de donnée. Les approches « NRT » et « historiques » ont été séparés. L’arborescence des fichiers existants à été revue, et une réorganisation effectuée (perl). Plusieurs problèmes ayant été rencontrés (non homogénéité des noms), du fait de d’élaboration des images à différentes époques de production, l’accent a été mis sur une « normalisation » des dénominations des différents paramètres, en vue de la reconstruction d’un nom de fichier sans ambiguité.
-
La base a été implémentée sous PostgreSQL, outil open source , après alimentation des diverses tables nécessaire (utilisation de phpPgAdmin) et développement de codes SQL. Le développement WEB a été réalisé à partir d un « template » de webdesign (green-soft) et du serveur « apache » de la configuration linux prévu à cet effet. Les principales fonctionnalité du site sont 2 outils de recherche , l’un non directif à partir des critères de choix multiples, l’autre « orienté » en fonction de l existence (ou non) des fichiers image QL présents sur l’arborescence. Cette seconde approche est à privilégier compte tenu de la diversité des choix possibles. L’accès aux dernières dates existantes est possible, ainsi qu’une navigation aux dates les plus proches. Il a été également mis en place un espace de description des données (types, zones, disponibilité,..) et la possibilité d’actualiser la base de donnée « historique » ainsi constitué. Dans l’espace de temps imparti, il n a pas été possible de réaliser la partie « NRT », ni de mettre en ligne ce site suite de diverses difficultés administratives, de plus en périodes de congés annuels . (voir ci après mes commentaires sur cette expérience).
Les objectifs affichés, sur un calendrier originalement prévu jusqu’en juin 2007, n’ont pas été atteint (date limite de l’utilisation des crédits fin 2006 !), compte tenu de l impossibilité de rassembler suffisamment de ressource humaines mobilisables (stage étudiant, « fongibilité asymétrique », absence du CDD THETIS, disponibilité des participants, calendrier,.. .). pour la réalisation effective de la finalisation et l’hébergement du site WEB.
Objectifs atteints OU non encore réalisés (et raisons) :
- « Tour de table » des intervenants des US/URs concernés par le projet SPIRALES2006 lors d’une réunion 2 jours Brest (16-17 mai) ( NB : participation du CDD THETIS alors identifié)
Présentation des projets scientifiques et des données accessibles :
THETIS (REMIGE )- LEGOS(EGEE) - ECO-UP(atlas, indicateurs, chantiers) - InterUP(upwelling)
Produits disponibles : SSTs – CHL – vent – Altimétrie – flux radiatifs
Définitions des indicateurs à mettre en place
Documents
C. Mullon « Atlas » ECO-UP 17/11/2005 CR réunion téléphonique
C. Roy (11/2005) : Développement d’indicateurs océanographiques et climatiques dans les systèmes d’upwelling côtiers.,
F. Marsac - CR réunion brest - calendrier et intervenants
Proposition SPIRALES2006 ( D. Dagorne , L. Drapeau)
-
Visio conférence : Sète ( L. drapeau – R. Hocdé) / Orléans (C. Mullon) / Brest ( D. Dagorne- E. Creach) : 29 juin
consacrée a l’Atlas et aux développements WEB
- finalisation QL Atlas - réunion Paris : novembre ( L. Drapeau – C. Mullon)
proptotype visualisation « Atlas » présenté à Lima (décembre)
- prototypage de sites WEB, réalisation « intranet » ifremer, accessible sur les sites de Brest et Sète
ird.us025.ddag ( D. Dagorne)
w 3.ifremer.fr/ecreach/soft_green ( E. Creach) avec gestion “base de données” des noms des images
rapport de stage : INSA Rennes et documents annexes :
Mise en place d’un service WEB et gestion de données par SGBD
A ce jour , il serait nécessaire f’effectuer :
- un « lifting » et mise en ligne progressive des sites WEB : « NRT » - Atlas comparatif des systèmes d’Upwelling, voir des autres réalisations ( ex : suivi de campagnes EGEE), a l’exemple du site de suivi de campagne CIRENE dans l’Océan Indien en janvier-Février 2007 : www.lodyc.jussieu.fr/Cirene images satellites .. dont l’alimentation est une des retombées de ce projet.
- d’intégrer des résultats de modélisation. Ceci suppose à partir des fichiers (netCDF) issus de modèles, de produire les images « QL » des différents paramètres accessibles, de la même façon que ceci a été réalisé pour les produits « satellites ». Une difficulté est l’apparition d’une dimension supplémentaire (profondeur) et la présence de plusieurs paramètres au sein d’un même fichier de résultats (sur des grilles différentes). Il existe un outil d analyse de ce genre de fichier pour les sorties Roms (Romstools/visu : P. Penven ECO-UP), outil qui pourrait être généralisé à d’autres sorties de modèles (mercator, ..). Des contacts plus approfondis avec la communauté des modélisateurs restent à développer. L’intégration des données ponctuelles in-situ est plus complexe. Des relations avec d’autres personnes impliquées dans ces développements sont a prévoir : J. Grelet US191 (dataGUI) et l’ingénieur CDD REMIGES.
- intégration des résultats indicateurs existants, et poursuite du développement de ceux-ci (vent, CHL). Cette étape prévue en 2006 avec un stagiaire étudiant ECO-UP a été assuré par D. Dagorne pour la partie SST.
Les principales difficultés rencontrés lors de ce projet peuvent être résumés en
-
un calendrier « serré » du fait d’un démarrage tardif (certains travaux avaient été anticipés, en particulier les fabrications de QL « historiques » avec archivage et développement d’outils d extraction et de production d’imagerie, et leur adaptation a la production « NRT » journalière). Le projet initial, prévu jusqu’en juin 2007 (cf page 17 de la soumission SPIRALES 2006) a été contraint de s’arrêter financièrement en décembre 2006.
-
La non disponibilité de certains intervenants majeurs de cette opération. Un emploi du temps « chargé » des participants sur d’autres activités (campagnes océanographiques , MLD à l’étranger , affectation lointaine . et congés annuels. ), n’a pas permis un remplissage H/m des moyens humains initialement prévu). En particulier le non recrutement en 2006 , de l ingénieur CDD préssenti par THETIS dans le cadre du contrat ANR REMIGES a été très pénalisant ( recrutement intervenu en janvier 2007), de même que la défection du stagiaire « indicateurs » d’ECO-UP ;
-
La difficulté d’assurer en période estivale (congés annuels, récup après campagne océano) un encadrement plus rigoureux (rigide ?) du stage « étudiant ». Un accueil dans le cadre de la scolarité, ou la « motivation » (hors l’indemnité ridicule accordé) scolaire peut être un élément majeur de réussite. Il faut reconnaître que ce stage d’été n’a pas apporté tous les résultats escomptés malgrès l’efficacité et l’autonomie du candidat, qui manquait sans doute de recul par rapport à l application et de la présence d’un « encadrant » disponible dans le début du stage (juillet) . méa culpa !!
Résultats acquis :
Acquisition d’un savoir faire en matière de fournitures de produit satellites a finalité océanique ;
Capitalisation : archivage de nombreuses sources et outils d’exploitation ;
Généricité des approches logiciels développés ;
Transversalité des utilisateurs (physiciens, halieutes) travaillant sur les mêmes zones ;
Ouverture vers les pays du sud et formation : Sénégal, Maroc
Montant demandé à la DSI (€ HT) :
Année 2006 (si continuum) : Montant attribué (€ HT) : 7000 €
Année 2007 : Montant demandé (€ HT) : 4000 €
Montant total du projet (€ HT) :
Observations :
Demande d’un soutien DSI sur les projets informatiques des UR/US.
Formulaire de demande DSI-SPIRALES 2007
« Soutien aux Projets Informatiques dans les Equipes Scientifiques ».
Aucun moyen financier demandé
-
Cette fiche n°3 concerne les seules propositions suivantes :
- nouveau projet SPIRALES sans demande de moyens financiers (ex: demandes simples d'hébergement d'outil sur les serveurs de la DSI…).
Pour ces projets, seules la fiche de synthèse (n°1) et la présente fiche (n°3) doivent être renseignées.
|
Il est vivement conseillé d'accompagner la demande de tous documents utiles :
Document de présentation, document administrateur ou d'installation/désinstallation, notice utilisateur, prototype, démonstrateur en ligne…
|
Présentation du projet
Description de l'outil (fonctionnelle, architecture technique, technologies utilisées…)
Etat d'avancement du projet / de l'outil:
Implication du SIL (Service informatique local) :
Hébergement demandé :
Définition des rôles (administration, maintenance et évolution…) et engagements de l'unité
Observations :
Demande d’un soutien DSI sur les projets informatiques des UR/US.
Formulaire de demande DSI-SPIRALES 2007
« Soutien aux Projets Informatiques dans les Equipes Scientifiques ».
Formulaire détaillé
-
Cette fiche n°4 concerne les propositions suivantes :
- nouveau projet SPIRALES,
- proposition d'une suite à un projet SPIRALES 2005 ou 2006 nécessitant une prolongation
|
La demande peut-être être accompagnée de tous documents utiles :
présentation du projet global ou descriptif du projet, rapport de phases préliminaires, étude de faisabilité, dossier d'expression des besoins ou cahier des charges, devis détaillé…
|
Les propositions doivent être adressée sous forme électronique (au format RTF, DOC ou PDF) à l'adresse suivante : spirales@ird.fr
|
Dostları ilə paylaş: |