Learning-based reinforced control strategies for autonomous vehicles
Stratégies de contrôle renforcé par apprentissage pour les véhicules autonomes
Résumé
In a world where everyone is constantly on the move and has more preferences for personal mobility, the number of cars on the road is constantly increasing. This has induced higher risks for road accidents, degraded traffic conditions, and further aggravated air pollution. Consequently, the research community has been working toward a shift to autonomous driving for decades. The latter can reshape mobility and transportation by reducing road accidents, traffic jams, and air pollution, yielding energy efficiency, convenience, and more productivity, as significant driving time will be used for other activities instead. Autonomous vehicles are complex systems consisting of several modules that perform perception, decisionmaking, planning, and control. The control module, consisting of longitudinal control for speed tracking and lateral control for path tracking, is essential for achieving automatic driving. Due to the highly dynamic and constantly changing nature of road environments, the control module in autonomous driving systems needs to learn and adapt to these dynamic environments by exploiting available data and using different learning techniques. This thesis contributes to the state-of-the-art enhanced control strategies applied to autonomous driving. The contributions address the longitudinal and the lateral control tasks separately and then the combined coordinated and coupled lateral and longitudinal control. For the longitudinal control, we propose the adaptive PID approach using two techniques : offline optimization and adaptation using genetic algorithms (GA-PID) and online learning and adaptation with neural networks (NNPID). We introduce an adaptive MPC technique enhanced with a new, improved PSO algorithm for steering control. Then we achieve MPC online parameter adaption by using neural networks (NNMPC) and adaptive neuro-fuzzy inference systems (ANFIS-MPC), which learn to adapt the controller to the changing working conditions and external disturbances. For the combined coordinated lateral and longitudinal control, we propose a PSO-PID to handle the task of speed tracking and an enhanced linear parameter varying model predictive controller (LPV-MPC) to control lateral dynamics. The LPV-MPC is enhanced with an improved cost function to provide better performance and stability and formulated with an adaptive LPV model, in which a recursive estimator estimates the tire cornering stiffness coefficients. Then, we address the coupled speed and steering control by developing a more elaborate LPV-MPC capable of simultaneously handling both lateral and longitudinal vehicle dynamics. Furthermore, a neural network adapts the controller’s prediction model online, and an improved genetic algorithm further optimizes its cost function. Finally, we tackle a more challenging autonomous driving problem where the vehicle drives at its handling limits, namely autonomous racing. We introduce a real-time nonlinear model predictive controller (NMPC) coupled with a moving horizon estimator (MHE). We solve the optimal racing problem with an NMPC-based offline trajectory planner that computes the best trajectory while considering the physical limits of the vehicle and circuit constraints. Then, we further enhance the control strategy by adding a learning extension based on Gaussian process regression. The latter improves the NMPC predictions by learning and correcting the mismatch between the actual vehicle dynamics and the NMPC prediction model.
Dans un monde où les gens sont constamment en mouvement et ou la mobilité personnelle est préférée, le nombre de voitures personnelles sur la route ne cesse d'augmenter. Cela a induit plus de risque d'accidents de route, des conditions de circulation et de pollution de l'air plus dégradées. Par conséquent, les chercheurs travaillent depuis des décennies pour une transition vers la conduite autonome. Cette dernière a la capacité de remodeler la mobilité en diminuant les accidents de route, les embouteillages et la pollution de l'air, ce qui se traduirait par plus d'efficacité énergétique et de productivité, oû le temps de conduite pourra plutôt être utilisé pour d'autres activités. Les véhicules autonomes sont des systèmes complexes constitués de plusieurs modules qui effectuent la perception, la prise de décision, la planification et le contrôle. Le module de commande, composé d'un contrôle longitudinal et d'un contrôle latéral, est essentiel pour obtenir une conduite automatique. En raison de la nature hautement dynamique et en constante évolution des environnements routiers, le module de commande des systèmes de conduite autonome doit apprendre et s'adapter à ces environnements dynamiques en exploitant les données disponibles et en utilisant différentes techniques d'apprentissage. Cette thèse apporte quelques contributions à l'état de l'art des stratégies de contrôle amélioré et appliquées à la conduite autonome. Les contributions abordent les tâches de contrôle longitudinal et latéral séparément, puis le contrôle latéral et longitudinal coordonné et couplé. Pour le contrôle longitudinal, nous proposons l'approche PID adaptatif en utilisant deux techniques différentes : l'optimisation et l'adaptation hors ligne à l'aide d'algorithmes génétiques (GA-PID) puis l'apprentissage et l'adaptation en ligne avec les réseaux de neurones (NNPID). Pour le contrôle latéral, nous introduisons une technique de contrôle prédictif MPC adaptatif améliorée avec un nouvel algorithme PSO amélioré. Ensuite, nous réalisons l'adaptation en ligne des paramètres du contrôleur en utilisant les réseaux de neurones (NN-MPC) et les systèmes d'inférence neuro-flou adaptatif (ANFIS-MPC), qui apprennent à adapter le contrôleur aux conditions de fonctionnement et aux perturbations externes. Pour le contrôle latéral et longitudinal coordonné, nous proposons un PSO-PID pour la régulation de la vitesse, et un contrôleur prédictif de type LPV-MPC pour contrôler la dynamique latérale. Le LPV-MPC est développé avec une fonction de coût améliorée pour obtenir de meilleures performances et stabilité, il est aussi formulé avec un modèle LPV adaptatif, dans lequel les coefficients de rigidité de glissement latéral des pneus sont estimés par un estimateur récursif. Ensuite, nous abordons le contrôle couplé de la vitesse et de la direction en développant un contrôleur LPV-MPC plus élaboré et capable de gérer simultanément les dynamiques latérales et longitudinales du véhicule. De plus, le modèle de prédiction du LPV-MPC est adapté en temps réel par un réseau de neurones, et sa fonction de coût est encore optimisée par un algorithme génétique amélioré. Enfin, nous nous abordons le problème de course autonome où le véhicule roule à ses limites de maniabilité. Nous introduisons un contrôleur prédictif de modèle nonlinéaire en temps réel (NMPC) couplé avec un estimateur d'état de type (MHE). Nous résolvons le problème de course optimale par un planificateur de trajectoire hors ligne basé sur la méthode NMPC qui calcule la meilleure trajectoire tout en tenant compte des limites physiques du véhicule et des contraintes du circuit. Ensuite, nous améliorons encore la stratégie de contrôle en ajoutant une extension d'apprentissage basée sur la régression par processus de Gauss. Ce dernier améliore les prédictions NMPC en apprenant et en corrigeant le décalage entre la véritable dynamique du véhicule et le modèle de prédiction NMPC.