Deep Reinforcement Learning for Optimal Energy Management in Smart Multi-Energy Systems - Centre de Mathématiques Appliquées Access content directly
Theses Year : 2023

Deep Reinforcement Learning for Optimal Energy Management in Smart Multi-Energy Systems

Apprentissage par Renforcement Profond pour la Gestion Energétique Optimale dans les Systèmes Intelligents Multi-Energies

Dhekra Bousnina
  • Function : Author
  • PersonId : 1378049
  • IdRef : 277268370

Abstract

This research introduces a Deep Reinforcement Learning (DRL)-based approach for the optimized energy management in Smart Multi-Energy Systems (SMES). A Smart Energy Management System (SEMS) is proposed to efficiently man-age flexible energy systems, including heating, cooling, electricity storage, and District Heating and Cooling Systems. The Meridia Smart Energy (MSE) eco-district, a real-world SMES project in southern France, serves as the case-study. The DRL framework uses actor-critic architecture and is compared to Model Predictive Control (MPC). Results from a first simplified MSE simulation model show that DRL closely approximates MPC’s theoretical optimum (within 98%) and even outperforms some realistic MPC variants. A more complex digital twin-based case-study further validates DRL’s promise for SMES energy management. Future work includes real-world integration, exploring additional objectives, and expanding to other SMES use-cases.
Cette thèse propose une approche de gestion de l’énergie basée sur l’Apprentissage par Renforcement Profond (DRL) pour les Systèmes Multi-Énergies Intelligents (SMEI). Le Système de Gestion Multi-Énergies Intelligente (SGMEI) est conçu pour optimiser la gestion des systèmes d’énergie flexibles, y compris le stockage de chaleur, de froid et d’électricité, ainsi que les systèmes de production dans les réseaux de chaleur et de froid, comm les Thermo-Frigo Pompes (TFPs). On propose ainsi l’application de cette approche sur l’étude de cas du projet Meridia Smart Energie (MSE), un projet réel de SMEI en cours de construction dans l’écoquartier de Nice Meridia, en France. L’agent DRL développé est comparé à un Contrôleur Prédictif (MPC) sur un premier cas d’étude simulé de SMEI simplifié, montrant que le DRL est capable d’approcher l’optimum théorique du MPC (à hauteur de 98%) en termes de réduction des coûts énergétiques. Cette étude suggère que le DRL est une approche prometteuse pour la gestion énergétique optimisée des SMEI. L’approche DRL est également appliquée sur un second cas d’étude à un jumeau numérique plus détaillé de MSE, développé sous Dymola, pour valider ces résultats sur un second cas d’étude plus complexe. Les futurs travaux porteront sur le transfert de l’apprentissage de la simulation à la réalité sur MSE et étendront l’application de cette approche à de nouveaux cas d’usage de SMEI.
Fichier principal
Vignette du fichier
2023UPSLM064_archivage.pdf (24.32 Mo) Télécharger le fichier
Origin Version validated by the jury (STAR)

Dates and versions

tel-04558019 , version 1 (24-04-2024)

Identifiers

  • HAL Id : tel-04558019 , version 1

Cite

Dhekra Bousnina. Deep Reinforcement Learning for Optimal Energy Management in Smart Multi-Energy Systems. Electric power. Université Paris sciences et lettres, 2023. English. ⟨NNT : 2023UPSLM064⟩. ⟨tel-04558019⟩
96 View
17 Download

Share

Gmail Mastodon Facebook X LinkedIn More