Thèse de l'université de caen en Informatique et Intelligence Artificielle

- Thèse de l'université de CAEN en Informatique et Intelligence Artificielle.

- Directeur de Thèse : Paul Bourgine.

- Laboratoire d'acceuil : CEMAGREF - LISC sous la direction de Guillaume Deffuant.

- Sujet : " Contrôle optimal des processus structurés : utilisation des réseaux bayésiens "

- Mots clés : Apprentissage par renforcement, contrôle optimal, réseaux probabilistes (réseaux bayésiens, diagrammes d'influence), Procédure EM, Monte Carlo Sampling (Gibbs, LWS), approximation variationnelles.

- Résumé : Je propose une méthode permettant de transformer un problème de contrôle décrit par un diagramme d'influence (dont MDP et POMDP) en un problème d'apprentissage des paramètres d'un réseau bayésien. Cette transformation permet, entre autre, l'utilisation de la procédure EM pour améliorer la stratégie courante, la spécification de la structure du contrôleur, l'utilisation " propre " de méthodes approximatives.
Jury de thèse

- Paul Bourgine, Directeur de thèse CREA-Polytechnique

- Guillaume Deffuant, Examinateur, Responsable du Laboratoire d'Ingénierie pour les Systèmes Complexes (Cemagref)

- Stéphane Canu, Rapporteur, Prof. INSA Rouen

- Gilles Venturini, Rapporteur, Prof. E3I Tours

- Gilles Trystram, Examinateur, Prof. ENSIA - INRA

- Francois Bourdon, Examinateur, Prof. Université de CEAN

Contrôle optimal des processus structurés : utilisation des réseaux bayésiens

Dans cette thèse nous proposons une méthode très souple et très générale permettant de résoudre des problèmes de contrôle optimal en tenant compte de leur structure. La structure d'un processus est l'ensemble des relations d'indépendance probabiliste présentes entre ses différents constituants. Mathématiquement cette structure correspond au graphe du diagramme d'influences décrivant le problème. Nous montrons que les techniques " classiques " permettant d'inférer la stratégie optimale d'un problème décrit sous la forme d'un diagramme d'influences entraînent un certain nombre de difficultés dont une explosion combinatoire quasi incontournable dès que l'horizon de contrôle est important ou bien que le graphe possède une connectivité relativement dense.

La méthode que nous décrivons ici généralise les techniques existantes en élargissant l'espace des stratégies à l'ensemble des réseaux bayésiens. Cela permet de " choisir " a priori la structure du contrôleur en fonction de différents critères liés aux spécificités de l'application considérée, de reformuler le problème de contrôle optimal en un problème d'apprentissage dans les réseaux bayésiens et enfin d'inférer la stratégie optimale des problèmes de contrôle à l'aide d'algorithmes d'apprentissage dans les réseaux bayésiens.

Cette utilisation généralisée du formalisme des réseaux probabilistes enrichit le domaine du contrôle optimal avec un grand nombre de techniques, permettant notamment l'emploi d'algorithmes approximatifs très puissants, indispensables lorsque les problèmes sont complexes. La méthode est aussi bien adaptée aux problèmes de contrôle adaptatif via une technique indirecte et une technique directe.

Nous appliquons la démarche à un problème de contrôle de processus agro-alimentaire : le séchage de grains. Ces expérimentations ont montré la souplesse et la portée des techniques présentées dans cette thèse.

---------------

Optimal control of structured processes: use of bayesian networks

In this thesis we propose a very flexible and very general method solving optimal control problems while taking their structure into account. The structure of a decision problem is the set of the probabilistic independence relations between its different constituents. Mathematically this structure corresponds to the graph of the influence diagram describing the problem. We show that classical techniques allowing to infer the optimal strategy of a problem described by an influence diagram leads to a certain number of difficulties, among which a combinational explosion as soon as the control horizon is important or that the graph has a relatively dense connectivity.

The method that we describe here generalizes the existing techniques by extending the space of strategies to the whole set of bayesian networks. This allows us to choose, a priori, the structure of the controller according to the specificity of the considered application and to replace the optimal control problem by a bayesian network parameter leaning problem. The latter allows us to infer the optimal strategy of a control problem with any bayesian network learning algorithm.

The utilization of the probabilistic network formalism enriches the domain of the optimal control with a large number of techniques, allowing the use of very powerful algorithms, essential when problems are complex. The method is also well adapted to problems of adaptive control via an indirect technique and a direct technique.

We apply the approach to a food industry problem: the grain drying. This experimentation showed the flexibility and the reach of the techniques presented in this thesis.