Studien- oder Masterarbeit

Motivation / Hintergrund der Aufgabenstellung

Die fünfte Generation der Fernwärme- und Kältenetze (5GDHC) ist eine Schlüsseltechnologie für die Dekarbonisierung urbaner Räume. Durch ihren Betrieb auf niedrigem Temperaturniveau und ihre Fähigkeit zur bidirektionalen Energieverschiebung ermöglichen sie die effiziente Integration von dezentralen, erneuerbaren Energiequellen und Abwärme. Die Regelung dieser hochgradig vermaschten und dynamischen Netze stellt jedoch eine erhebliche Herausforderung dar, die mit klassischen Methoden kaum zu bewältigen ist. Multi-Agenten Reinforcement Learning (MARL) verspricht hier eine revolutionäre Lösung, indem dezentrale KI-Agenten lernen, das Netz autonom und koordiniert zu betreiben. Bislang fehlt jedoch eine adäquate, offene und standardisierte Simulationsumgebung, die es Forschern ermöglicht, solche MARL-Strategien unter realistischen thermohydraulischen Bedingungen zu entwickeln und zu validieren.

Aufgabenstellung / Aufgabenschwerpunkt

Das Ziel dieser Arbeit ist die Konzeption, Entwicklung und Validierung einer Simulationsbibliothek, die eine hochaufgelöste thermohydraulische Netzsimulation mit der standardisierten Schnittstelle des PettingZoo-Frameworks (dem Multi-Agenten-Standard in der KI-Forschung) verbindet. Dies schafft die notwendige, verlässliche "Spielwiese" für die Entwicklung und das Benchmarking von KI-Regelungsstrategien im 5GDHC-Kontext. Ein zentraler Aspekt der Arbeit ist die physikalisch korrekte Abbildung der gekoppelten Druck- und Temperaturdynamiken. Der Fokus liegt dabei auf der Herausforderung, dass sich Druckänderungen quasi instantan ausbreiten, während thermische Änderungen massiven Transportverzögerungen (Totzeiten) unterliegen. Die entwickelte Umgebung soll es ermöglichen, die Wirkung von Aktionen Agenten auf den Gesamtzustand des Netzes präzise und physikalisch plausibel zu beobachten. Die Validierung der Simulationsumgebung anhand analytischer Referenzlösungen und systematischer Tests bildet den Kern der Arbeit und stellt die wissenschaftliche Belastbarkeit des entwickelten Werkzeugs sicher.

Schwerpunkte der Arbeit sind:

• Recherche: Grundlagen der thermohydraulischen Modellierung von Rohrnetzen und Analyse der Anforderungen von MARL-Simulationsumgebungen (z.B. PettingZoo-API)
• Konzeption: Entwurf einer Software-Architektur, die eine physikalische Simulations-Engine robust und effizient mit der PettingZoo-API koppelt
• Implementierung: Prototypische Umsetzung eines physikalischen Modells eines 5GDHC-Netzes (z.B. eine Ringstruktur) und der zugehörigen Komponenten (Rohre, Pumpen, Wärmetauscher) in Python
• Entwicklung der PettingZoo-Umgebung: Implementierung der vollständigen PettingZoo-API (⁠step, ⁠reset, ⁠observe etc.), welche die Simulationslogik steuert und den Netzzustand als Beobachtungsraum (⁠observation space) für die Agenten aufbereitet sowie deren Aktionen (⁠action space) entgegennimmt
• Validierung: Systematische Überprüfung der Simulationsumgebung. Dies umfasst Unit-Tests für einzelne Komponenten sowie den Vergleich der Gesamtsystem-Simulation in definierten Testszenarien mit analytisch berechneten Referenzergebnissen (z.B. stationäre Druckverteilung, Laufzeit einer thermischen Front)

Inhaltliche Aufteilung

0% Experimentell | 20% Recherche | 40% Theoretisch/Konzeptionell | 40% Simulation/Programmierung | 0% Konstruktion

Voraussetzungen

• Studierende/r der Informatik, des Maschinenbaus, des Wirtschaftsingenieurwesen, des Chemieingenieurwesens oder verwandter Fachgebiete
• Sehr gute Programmiererfahrungen, idealerweise in Python
• Grundkenntnisse in Thermodynamik und/oder Strömungsmechanik sind von Vorteil, aber nicht zwingend
• Interesse an den Themen künstliche Intelligenz, Simulation und Energiesysteme
• Fähigkeit zum eigenständigen wissenschaftlichen Arbeiten und zur systematischen Software-Entwicklung