← Alle Projekte

Reinforcement Learning für Komfortbedingungen in Gebäuden

Simulationsbasierte Reinforcement-Learning-Experimente für Regelungsaufgaben in der Gebäudetechnik, mit PPO in stable-baselines3, Gymnasium und Radiance-basierten Simulationswerkzeugen.

  • Python
  • PPO
  • stable-baselines3
  • Gymnasium
  • Radiance
  • Reinforcement Learning

Überblick

Regelungsaufgaben in der Gebäudetechnik verbinden konkurrierende Ziele, die laufend gegeneinander abgewogen werden müssen. Das macht sie zu einem naheliegenden Feld für sequenzielle Entscheidungen. Diese Arbeit untersuchte Reinforcement Learning als Forschungsmethode für diese Art von Problemen.

Meine Rolle: Projektleitung des Workstreams meines Arbeitgebers in einem kooperativen Forschungsprojekt.

Problemstellung

Regelbasierte Steuerung passt sich nicht von selbst an veränderte Bedingungen an. Reinforcement Learning bietet einen Rahmen, in dem eine Strategie gelernt statt vorgegeben wird. Das in einem realen Gebäude zu validieren ist langsam und teuer, deshalb war die Arbeit von vornherein simulationsbasiert.

Vorgehen

  • Simulation: Radiance, über die Kommandozeilenwerkzeuge angesteuert und zwischengespeichert, lieferte die physikalische Umgebung, die der Agent beobachtete
  • Was er steuerte: die künstliche Beleuchtung, geschaltet oder gedimmt, und die Stellung der Verschattung
  • Algorithmus: Proximal Policy Optimization, trainiert mit stable-baselines3 in einer eigens entwickelten Gymnasium-Umgebung
  • Experiment-Tracking: TensorBoard über alle Trainingsläufe, damit Ergebnisse verglichen werden konnten, statt aus dem Gedächtnis beurteilt zu werden

Was ich daraus mitnehme

Praktische Erfahrung darin, Reinforcement-Learning-Experimente durchgängig zu entwerfen, zu trainieren und auszuwerten, und, wichtiger noch, die Gewohnheit, Annahmen der Simulation offen zu benennen, statt ein Ergebnis in der Simulation wie ein Ergebnis im Gebäude aussehen zu lassen.

Grenzen

Die Ergebnisse stammen allein aus der Simulation. Ein Einsatz im realen Gebäude würde eine Echtzeit-Sensorschnittstelle und Sicherheitsvorkehrungen erfordern, die weit über den Rahmen dieser Forschung hinausgehen.