On Implementation of Dynamic Programming for Optimal Control Problems with Final State Constraints À propos de l’implémentation de la programmation dynamique pour des problèmes de contrôle optimal avec des contraintes sur l’état final

Abstract

In this paper we present issues related to the implementation of dynamic programming for optimal control of a one-dimensional dynamic model, such as the hybrid electric vehicle energy management problem. A study on the resolution of the discretized state space emphasizes the need for careful implementation. A new method is presented to treat numerical issues appropriately. In particular, the method deals with numerical problems that arise due to high gradients in the optimal cost-to-go function. These gradients mainly occur on the border of the feasible state region. The proposed method not only enhances the accuracy of the final global optimum but also allows for a reduction of the state-space resolution with maintained accuracy. The latter substantially reduces the computational effort to calculate the global optimum. This allows for further applications of dynamic programming for hybrid electric vehicles such as extensive parameter studies. Cette publication présente certains problèmes concernant l’implémentation de la programmation dynamique pour le contrôle optimal d’un modèle dynamique scalaire, comme par exemple la gestion énergétique d’un véhicule hybride électrique. Une étude sur la résolution de l’espace d’état discrétisé souligne le besoin d’une implémentation minutieuse. Une nouvelle méthode qui permet de traiter des problèmes numériques d’une façon adéquate est présentée. Cette méthode permet particulièrement de résoudre des problèmes numériques engendrés par de forts gradients dans la fonction coût optimale. Ces gradients se situent surtout aux bornes de l’ensemble d’états atteignables. La méthode proposée améliore non seulement la précision de l’optimum global, mais permet aussi de réduire la résolution de l’espace d’état en conservant la précision. Le nombre de calculs nécessaire pour évaluer l’optimum global est ainsi considérablement réduit. Cela permet des applications ultérieures de la programmation dynamique pour des véhicules hybrides électriques comme par exemple des études paramétriques extensives.